MyDataSağlayıcı » Blog » Walmart web kazıma – 1 milyon ürün nasıl kazınır?

Walmart web kazıma – 1 milyon ürün nasıl kazınır?

  • by

Walmart kazıyıcımız var. Ve Walmart'tan 20K yüksek kaliteli ürün indirme görevimiz var.

Burada daha fazlasını bulun https://mydataprovider.com/sites/walmart/

Bu görev basit görünüyor, ancak yüksek kaliteli ürünlerin tanımını biliyorsanız, bunun o kadar basit olmadığını anlayacaksınız.
Neden?
çünkü Walmart'tan kazıma yoluyla 20K yüksek kaliteli ürün almanız gerekiyorsa, yaklaşık 500K hatta 1000K (1 milyon) sıyırmanız gerekir.
Web kazıma işleminden sonra, ürünleri Walmart ürün sayfalarından + satıcı puanlarından ürün incelemelerine göre filtrelemek gerekir.

Ürün URL'lerini nasıl aldık?

İlk adımda ürün URL'lerini kategorilerden toplamaya başladık.
Basit bir iş yapan bir kazıyıcı yarattık
giriş – kategori URL'leri
çıktı – ürün URL'leri.

+ 1 basit özellik – tarayıcı arayüzünden uygulanan tüm filtrelerle kategori URL'si eklemek mümkündür.
istenmeyen ürünlere yönelik istek sayısını azaltmamızı sağladı. (reytinge veya fiyatlara, satıcılara vb. göre filtreledik)

Ancak ! Kategori URL'leri eklemeniz ve bunları UI filtreleri aracılığıyla filtrelemeniz gerekir.
Zaman alır ve bir insan bunun altında çalışmak zorundadır!
Bu yüzden başka bir yol aramaya başladık

Walmart ürünleri URL'leri satemap.xml / robots.txt yoluyla kazıma

Robots.txt dosyasının site haritasına veya site haritalarına bağlantısı olduğunu biliyorsunuzdur.
Walmart robots.txt dosyasına bakalım

https://www.walmart.com/robots.txt
Şuna bak :

Birkaç site haritası olduğunu görüyorsunuz,
mantıksal olarak konulara göre ayrılırlar: makaleler, markalar, ürünler, kategoriler vb.
Bu nedenle, fikir, site haritasından tüm ürün URL'lerini kazımak için kullanmaktır!

Şimdi, Walmart site haritalarından ürün URL'lerini kazımak için bir kazıyıcı geliştirmemiz gerekiyor.
Walmart site haritasının derin bir hiyerarşiye sahip olduğunu bilmek önemlidir + XML verilerini gz algoritması ile arşivlemiştir.

Ve bunu uyguladık!

Umarım bu makale, projeniz için benzer bir şey oluşturmanıza yardımcı olur!