MiProveedorDeDatos » Blog » ¿Cómo raspar 1 millón de páginas de 1 sitio diariamente?

¿Cómo raspar 1 millón de páginas de 1 sitio diariamente?

  • by

¿Qué significa raspar 1 millón de páginas web (URL) diariamente?
Debajo de la página, nos referimos aquí a 1 solicitud web HTTP a 1 URL.

Es realmente importante porque la apertura de 1 página en cualquier navegador podría causar que se abran URL adicionales para imágenes, css, scripts, etc.

Significa
1000000 páginas diarias
o 41666.66667 páginas por hora
o 694.4444444 páginas por minuto
o 11.57407407 páginas por segundo
por lo tanto, necesita ~ 12 intentos exitosos para raspar páginas por segundo.
o 700 páginas por 1 minuto…
Es realmente de alta velocidad.
Además, no olvide que el sitio de origen bloqueará su solicitud, por lo que necesita alrededor de 100 XNUMX servidores proxy para administrarla.

¿Tienes un proyecto similar? Rellene gratis para ponerse en contacto con nosotros. 😁 😎