MijnDataProvider » Blog » Hoe dagelijks 1 miljoen pagina's van 1 site te schrapen?

Hoe dagelijks 1 miljoen pagina's van 1 site te schrapen?

  • by

Wat betekent het om dagelijks 1 miljoen webpagina's (URL's) te schrapen?
Onder pagina bedoelen we hier 1 HTTP-webverzoek naar 1 URL.

Het is erg belangrijk omdat het openen van een pagina in elke browser ertoe kan leiden dat extra URL's worden geopend voor afbeeldingen, css, scripts enz.

Het betekent
1000000 pagina's per dag
of 41666.66667 pagina's per uur
of 694.4444444 pagina's per minuut
of 11.57407407 pagina's per seconde
dus je hebt ~ 12 succesvolle pogingen nodig om pagina's per seconde te schrapen.
of 700 pagina's per 1 minuut...
Het is echt een hoge snelheid.
Vergeet bovendien niet dat de bronsite uw verzoek blokkeert, dus u hebt ongeveer 100 proxyservers nodig om het te beheren.

Heeft u een soortgelijk project? Vul vrijblijvend in om contact met ons op te nemen. 😎