MeinDatenanbieter » Blog » Wie kann man täglich 1 Million Seiten von 1 Website kratzen?

Wie kann man täglich 1 Million Seiten von 1 Website kratzen?

  • by

Was bedeutet es, täglich 1 Million Webseiten (URLs) zu scrapen?
Unter Seite verstehen wir hier 1 HTTP-Webanfrage an 1 URL.

Dies ist wirklich wichtig, da das Öffnen einer Seite in einem beliebigen Browser dazu führen kann, dass zusätzliche URLs aufgerufen werden, die für Bilder, CSS, Skripte usw. geöffnet werden.

Es bedeutet
1000000 Seiten täglich
oder 41666.66667 Seiten pro Stunde
oder 694.4444444 Seiten pro Minute
oder 11.57407407 Seiten pro Sekunde
Sie benötigen also ca. 12 erfolgreiche Versuche, Seiten pro Sekunde zu schaben.
oder 700 Seiten pro 1 Minute…
Es ist wirklich eine hohe Geschwindigkeit.
Vergessen Sie außerdem nicht, dass die Quellsite Ihre Anfrage blockiert, sodass Sie etwa 100 Proxy-Server benötigen, um sie zu verwalten.

Haben Sie ein ähnliches Projekt? Füllen Sie kostenlos aus, um uns zu kontaktieren. 😁 😎