Mon fournisseur de données » Blog » Comment gratter 1 million de pages d'un site par jour ?

Comment gratter 1 million de pages d'un site par jour ?

  • by

Qu'est-ce que cela signifie de gratter 1 million de pages Web (URL) par jour ?
Par page, on entend ici 1 requête web HTTP vers 1 URL.

C'est vraiment important car l'ouverture d'une page dans n'importe quel navigateur peut entraîner l'ouverture d'URL supplémentaires pour les images, les CSS, les scripts, etc.

Ça veut dire
1000000 pages par jour
ou 41666.66667 pages par heure
ou 694.4444444 pages par minute
ou 11.57407407 pages par seconde
donc, vous avez besoin d'environ 12 tentatives réussies pour gratter des pages par seconde.
ou 700 pages par minute…
C'est vraiment à grande vitesse.
De plus, n'oubliez pas que le site source bloquera votre demande, vous avez donc besoin d'environ 100 XNUMX serveurs proxy pour la gérer.

Vous avez un projet similaire ? N'hésitez pas à nous contacter. 😁 😎