Spidr

script bir səhifə, veb, çox domenlərin ya hətta qeyri-stop çalıştırabilirsiniz.
Spidr sürətli və istifadə etmək asan üçün nəzərdə tutulmuşdur

Features .

• əvvəlki sessiya spidering növbə və tarixi bərpa .
• Xüsusi User-Agent strings.
• Xüsusi proxy ayarları.
• HTTPS dəstək.


• əməl
• Bir tags.
• iframe tags.
• çərçivəsində tags.
• Cookie qorunur links.
• HTTP 300, 301, 302, 303 və 307 yönləndirən.
• Meta-Yenile yönləndirən.
• HTTP Basic İcazə qorunur links.

Əsasında
• Qara-list və ya ağ-list URL:
• URL sxemi.
• Host adı
• Port sayı
• Tam link
• URL məsləhət


• üçün zəng arxalarına təmin edir:
• Hər ziyarət Page.
• Hər ziyarət URL.
• müəyyən model oyunları Hər ziyarət URL.

Bir keçid
• Hər mənşə və təyinat URI.
• uğursuz Hər URL ziyarət ediləcək.


• fəaliyyət üsulları təmin edir:
• Pause spidering.
• pages emal keçin.
• links emal Skip.

Bu azad yeni nədir:

• OpenSSL :: SSL tutmaq :: SSLError istisnalar təşəbbüsü zaman HTTPS Sessions.