MijnDataProvider » Blog » Wat te doen als webscraping is voltooid?

Wat te doen als webscraping is voltooid?

  • by

 

Stel je voor dat je besteld web schrapen En nu iets met de gegevens willen doen. Er zijn meerdere scenario's.

Opslaan in het voor u benodigde formaat

Het kan excel, csv, xml zijn. Als u gegevens naar een bestand wilt opslaan, moet u de sjabloon van dat bestand beschrijven, een voorbeeld sturen, enz.

Opslaan in database (mysql, sqlite etc)

Soms moet u gegevens rechtstreeks in de database opslaan. Het kan mysql, sqlite, postgree sql, mssql enz. zijn.

Als de database leeg is

Noodzakelijk om de structuur te beschrijven en een manier om gegevens te importeren.

Als de database al gegevens heeft

Je moet alles beschrijven vanaf het vorige punt + plus je moet zeggen hoe je nieuwe items toevoegt en wat je met oude items doet.

Kijk maar naar gegevens

Toon gewoon de resultaten op het scherm. En als je dat nodig hebt, kunnen we filters toevoegen.

Analyseren

Soms is het nodig om geëxtraheerde gegevens te analyseren.
als de hoeveelheid gegevens niet groot is en u het snel kunt doen, is het goed
in het andere geval moet u gegevens opslaan en analyseren om een ​​resultaat te krijgen.