Scraping İçin Proxy Siparişi: Beş Alan, Bir Katalog Satırı

Scraping için proxy seçimi satın alma tarafında beş alana iner: hedef sitenin kabul ettiği adres sınıfı, aylık taşınacak veri, isteklerin oturum gerektirip gerektirmediği, verinin hangi ülkeden görünmesi gerektiği ve işi yapan aracın proxy’ye nasıl bağlanacağı. Bu beş cevap ProxySatınAl kataloğunda tek bir satıra karşılık gelir: ürün ailesi, miktar ve birim, ülke. Satır bulunamıyorsa cevaplardan biri eksiktir; eksik cevapla alınan paket ya erken biter ya da hedefte reddedilir.

Rotasyon stratejisi, havuz yönetimi ve tarayıcı tarafındaki ayarlar bu sitenin konusu değildir; burada konu yalnız siparişi doğru katalog satırına oturtmak. Datacenter ile residential arasındaki fiyat farkı ve iki adımlı pilot sırası ayrı bir rehberde (datacenter mı residential mı), dört faturalama biriminin ne saydığı da fiyatlandırma modelleri rehberinde var; ikisi burada tekrar edilmiyor.

Beş alanın dördü hedef siteye bakılarak doldurulur ve bunun için paket almak gerekmez. Birinci kontrol adres türüdür: alan adının AAAA kaydı yoksa hedef yalnız IPv4 üzerinden ulaşılabilir ve katalogdaki IPv6 satırları bu iş için elenir; AAAA kaydı varsa bile IPv6 üzerinden gelen isteğe aynı içeriği verip vermediği ilk küçük partide görülür. İkinci kontrol giriş ve koruma katmanıdır: istenen sayfalar oturum açmadan açılıyor mu, ilk ziyarette bir doğrulama sayfası ya da bekleme ekranı çıkıyor mu. Giriş isteyen ya da doğrulama sayfası gösteren hedef, oturum alanını ’sticky’ olarak doldurur.

Üçüncü kontrol sayfa boyutudur. Tarayıcının geliştirici araçlarında Ağ sekmesi, bir sayfanın aktarılan toplam boyutunu gösterir; yalnız HTML belgesinin satırına bakınca betik çeken bir aracın taşıyacağı veri, sayfanın tamamına bakınca tarayıcı otomasyonunun taşıyacağı veri okunur. Bu iki sayı hacim alanının temelidir. Dördüncü kontrol istek sınırı belirtisidir: aynı sayfayı kısa aralıkla birkaç kez yenileyince yanıt yavaşlıyor, boş dönüyor ya da hata sayfası geliyorsa hedef adres başına istek sayıyor demektir ve adres çeşitliliği gerektiren rotating aile öne çıkar.

Katalogda scraping için iki rotating satır vardır: datacenter rotating IPv4 ve residential rotating IPv4. İkisi de GB başına, tek seferlik ödemeyle satılır ve aynı miktar kademeleriyle listelenir; 10 GB datacenter 6 dolar, residential 12 dolar; 100 GB 60 dolara karşı 120 dolar. Hedef, veri merkezi adreslerinden gelen isteği kabul ediyorsa datacenter satırı aynı iş için yarı fiyattır. Hedef incelemesinde doğrulama sayfası ya da giriş görüldüyse residential satırından başlamak zaman kazandırır; görülmediyse datacenter satırıyla başlanır ve ilk partide red oranı yüksek çıkarsa residential satırına geçilir.

İki satırda da 2 GB’lık bir başlangıç paketi var (datacenter 1 dolar, residential 2,5 dolar) ve karşılama kampanyasıyla bir artı bir teslim ediliyor. Hedef sınıfı kararı bu küçük paketle verilir; aile seçimi netleşmeden büyük paket almak, yanlış ailede kullanılmayacak GB bırakır. Static adet modelindeki paketler scraping siparişine yalnız hedef sabit adres listesi istiyorsa ya da araç rotasyonu kendi yapıyorsa girer; bu sitedeki static IPv4 rehberi o durumu dört işaretle anlatıyor.

GB satırı, ay içinde taşınacak veriden türetilir ve hesabın girdileri hedef incelemesinden gelir. Örnek bir iş: 20.000 ürün sayfası, haftada bir tarama, yalnız HTML çeken bir betik ve Ağ sekmesinde HTML belgesinin aktarılan boyutu 150 KB olsun. Bir tarama 20.000 × 150 KB = 3 GB; ayda dört tarama 12 GB. Katalogdaki 10 GB paketi bu işe yetmez, 20 GB paketi (datacenter 12 dolar, residential 24 dolar) yeter ve yeniden denemeler için pay bırakır. Aynı iş tarayıcı otomasyonuyla, sayfanın tamamı 1,5 MB aktarılarak yapılsaydı bir tarama 30 GB, ay 120 GB olurdu ve satır 200 GB paketine (datacenter 120 dolar, residential 240 dolar) kayardı.

Hesaba girmeyen üç kalem paketi erken bitirir: hata ve doğrulama sayfaları da veri taşır, yeniden denemeler her seferinde sayılır ve sayfalama linklerinden girilen gereksiz sayfalar listeye eklenir. Tahmin edilen rakamın bir üst kademesini almak bu üç kalemi karşılar; GB kademeleri büyüdükçe birim fiyat düşer, bir üst kademe çoğu zaman tahminin kendisinden az pahalıdır. Satın alma sonrasında panelin GB sayacı ile aracın kendi sayacını ilk gün karşılaştırmak, tahminin tutup tutmadığını bir sonraki sipariş için gösterir.

Tek sayfa GET istekleriyle yapılan tarama rotating moda uyar: her istek farklı adresten çıkar, adres başına istek sınırı aşılmaz. Giriş yapılan, sayfalama ya da filtre ile ilerlenen ve sepet gibi çok adımlı akışlar aynı adresin bir süre tutulmasını ister; adres adım ortasında değişirse oturum düşer ve sayfalar yarım gelir. Katalogda residential rotating IPv4 ürünü sticky ve rotating modu birlikte sunar; ürün sayfası sticky modda aynı adresin belirli bir süre tutulabildiğini söyler. Datacenter rotating ürününde oturum, istek başına ya da belirlenen oturum kuralına göre değişir.

Sipariş açısından sonuç şudur: hedef incelemesinde giriş ya da çok adımlı akış görüldüyse satır residential rotating IPv4’tür ve teslimat bilgisindeki sticky ayarı araca yazılır. Sticky sürenin ne kadar olduğu ve nasıl seçildiği ürün sayfasında ve teslimat bilgisinde yazar; yazmayan bir süreyi varsaymayın, satıcıya sorun. Oturumun tamamı tek adreste kalmalı ve adres aylarca aynı olmalıysa bu static ailenin işidir.

Fiyat, stok ve arama sonuçları ülkeye göre değişen sitelerde proxy’nin ülkesi veri setinin kendisini değiştirir. Türkiye fiyatı toplanacaksa Türkiye adresi, Almanya sayfası toplanacaksa Almanya adresi gerekir; yanlış ülkeden toplanan veri temiz görünür ama yanlış sorunun cevabıdır. İki rotating ürün de ülke seçimi sunar; katalog sayfasında Türkiye, Almanya, Amerika, İngiltere, Fransa, Hollanda ve başka ülkeler listelenir, kapsam notu 180’den fazla ülke ve bölge der. Listede göremediğiniz ülkeyi sipariş öncesi sorun.

Tek ülkede ve sabit adreslerle çalışacak işlerde ülke listesi daralır: static datacenter IPv4 beş ülkede satılır ve Türkiye bu listede yoktur; static residential IPv4 on iki ülkede satılır ve Türkiye için 1 adetten başlar. Ülke alanı bu yüzden aile seçimiyle birlikte doldurulur; Türkiye’den sabit adres isteyen bir scraping işi datacenter static satırına hiç bakmaz.

Son alan, işi yapan programın proxy’ye nasıl bağlanacağıdır. Rotating ürünlerin sayfası proxy’ye kimlik bilgileriyle bağlanıldığını söyler; teslimat bilgisi sunucu adresi, port ve kimlik bilgilerini verir. Aracın proxy alanında kullanıcı adı ve şifre girişi olup olmadığı sipariş öncesi kontrol edilir; şifre giremeyen araçlar için hangi yöntemlerin olduğu kimlik doğrulama rehberinde dört ölçütle anlatılıyor. Protokol (HTTP ya da SOCKS) de teslimat bilgisinde yazar; aracın desteklediği protokolle uyuşmuyorsa araç ayarı değişir, paket aynı kalır.

Bir sipariş satırının tam hali örnekle şöyle okunur: residential rotating IPv4, 20 GB, Türkiye, sticky mod, kullanıcı adı ve şifre ile bağlanan HTML betiği. Bu satırdaki beş parçanın her biri bir alanın cevabıdır; herhangi biri boşsa sipariş erkendir.

Paket geldiğinde işin tamamını başlatmadan önce küçük bir parti çalıştırılır: hedef incelemesinde kullanılan sayfalardan birkaç yüz tanesi, gerçek araçla ve gerçek ayarlarla. Bakılacak üç şey vardır. Birincisi yanıt kodlarının dağılımıdır: başarılı yanıtların yanında doğrulama sayfası, boş içerik ya da engel mesajı ne kadar sık geliyor. İkincisi içerik doğruluğudur: gelen sayfa gerçekten istenen ülkenin fiyatını ve dilini mi taşıyor. Üçüncüsü veri sayacıdır: panelin düşürdüğü GB ile aracın ölçtüğü veri birbirini tutuyor mu.

Kabul testi hedef sınıfının yanlış seçildiğini en ucuz anda gösterir. Datacenter satırıyla başlanıp ilk partide red oranı yüksek çıktıysa kalan GB başka bir hedefte kullanılır ve aynı iş residential satırına taşınır; 2 GB’lık başlangıç paketiyle yapılan test bu geçişi birkaç dolarla sınırlar. Test geçtiyse işin tamamı başlatılır ve ilk günün sonunda GB sayacı tahminle karşılaştırılır.

Beş alandan biri yanlış doldurulduğunda iş belirli bir biçimde aksar; belirti hangi alanın yanlış olduğunu söyler.

Paket tahminden çok önce bitti: hacim alanı yanlış; aracın sayfa başına taşıdığı veri ölçülmemiş ya da yeniden denemeler hesaba girmemiş. Düzeltme bir üst GB kademesi ve aracın gereksiz kaynakları (görsel, betik) çekmesinin kapatılması.

İstekler kabul ediliyor ama sayfalar yarım ya da oturum düşüyor: oturum alanı yanlış; rotating modda çok adımlı akış. Düzeltme residential satırında sticky mod.

İstekler daha ilk partide reddediliyor ya da doğrulama sayfası geliyor: hedef sınıfı yanlış. Düzeltme residential satırına geçiş; residential da reddediliyorsa sorun istek sıklığı ya da araç izleridir ve paket değiştirmek çözmez.

Veri temiz ama fiyatlar ya da dil beklenenden farklı: ülke alanı yanlış. Düzeltme aynı ailede doğru ülke seçimi.

Araç proxy’ye hiç bağlanamıyor: araç uyumu alanı atlanmış; kimlik doğrulama yöntemi ya da protokol uyuşmuyor. Düzeltme araç ayarı ya da satıcıyla yöntem değişikliği; bağlantı hataları rehberindeki sıra burada uygulanır.

Hedef sitenin kullanım şartları, robots.txt dosyası ve kişisel veri kuralları sizin sorumluluğunuzdadır. Proxy çıkış adresini ve ülkesini değiştirir; bir taramayı meşru kılmaz, hedefin koyduğu kuralları aşmak için satılmaz. Kabul testinde hedefin açıkça engel koyduğu görülüyorsa doğru adım hedefle izin görüşmesi ya da resmî bir veri erişimi aramaktır; paket büyütmek sonuç vermez.