كيف تكشط مليون صفحة من موقع واحد يوميا؟

ماذا يعني كشط مليون صفحة ويب (URLs) يوميًا؟
تحت الصفحة ، نعني هنا طلب ويب HTTP واحد إلى عنوان URL واحد.

إنه أمر مهم حقًا لأن فتح صفحة واحدة في أي متصفح قد يتسبب في فتح عناوين URL إضافية للصور و css والنصوص وما إلى ذلك.

هذا يعني
1000000 صفحة يوميا
أو 41666.66667 صفحة بالساعة
أو 694.4444444 صفحة في الدقيقة
أو 11.57407407 صفحة في الثانية
لذلك ، أنت بحاجة إلى 12 محاولة ناجحة لكشط الصفحات في الثانية.
أو 700 صفحة في الدقيقة ...
إنها حقا سرعة عالية.
بالإضافة إلى ذلك ، لا تنس أن الموقع المصدر سوف يحظر طلبك ، لذلك تحتاج إلى حوالي 100 ألف خادم وكيل لإدارته.

هل لديك مشروع مماثل؟ لا تتردد في الاتصال بنا. 😁 😎