Scrapy

Kəsik-kəsik Python 100% yazılı və səhifə monitorinqi, Web axtarış motorları və hətta code test üçün sadə data mining üçün istifadə edilə bilər.
Scrapy sözün əsl mənasında bir axtarış mühərriki deyil, lakin o, (endeksleme hissəsi olmadan) kimi çıxış edir. Buna baxmayaraq Scrapy sizin search engine məntiq yaratmaq üçün böyük bir vasitə ola bilər.
Bu çərçivədə əsl güc Scrapy haqqında ümumi və ya xüsusi axtarış örümcekleri (tarayıcıları) qurmaq üçün bir sistem olan, onun əsas nin yönlü əsaslanır.
Bu sənədlərin və mövcud tutorials bir sürətli baxmaq ilə, qeyri-texniki istifadəçilər üçün çox mürəkkəb görünə bilər baxmayaraq, Scrapy bu bütün ağır iş almaq və bütün prosesi azaltmaq bilmişdir necə olduqca sadə yalnız (asan üçün kiçik tarayıcıları) kodu bir neçə xətləri

Bu azad yeni nə:.

• dırnağı bağlamaq tələbi yol FTPClient keçməsi əvvəl, artıq yolları xilas.
• MANIFEST.in paylama mənbə testlər / daxildir.

nədir versiyası 1.0.1 yeni

• dırnağı bağlamaq tələbi yolunu FTPClient keçərək əvvəl, artıq yolları xilas.
• MANIFEST.in paylama mənbə testlər / daxildir.

versiyası 0.24.6 yeni nədir:

• şablonları UTF8 encoding header et
• Telnet konsol indi ismarıcları 127.0.0.1 üçün bağlar
• Update Debian / ubuntu yüklemek təlimat
• lxml XPath qiymətləndirmələrdə smart strings aradan
• HTTP cache middleware üçün default kimi fayl based cache bərpa
• Scrapy shell cari browser ifşa
• CSV və XML ixracatçıları müqayisə testsuite təkmilləşdirilməsi
• Yeni Offsite / süzülür və Offsite / domains stats
• CrawlSpider da generator kimi Support process_links

versiyası 0.24.5 yeni nədir:

• şablonları UTF8 encoding header et
• Telnet konsol indi ismarıcları 127.0.0.1 üçün bağlar
• Update Debian / ubuntu yüklemek təlimat
• lxml XPath qiymətləndirmələrdə smart strings aradan
• HTTP cache middleware üçün default kimi fayl based cache bərpa
• Scrapy shell cari browser ifşa
• CSV və XML ixracatçıları müqayisə testsuite təkmilləşdirilməsi
• Yeni Offsite / süzülür və Offsite / domains stats
• CrawlSpider da generator kimi Support process_links

nədir versiyası 0.22.0 Yeni

• scrapy.spider.BaseSpider scrapy.spider adını dəyişmək .Spider
• INFO səviyyədə parametrləri və middleware başlanğıc info təşviq

Get_func_args util da
• Support partials
• tox
vasitəsilə Indiviual testlər çalışan imkan verir
• link çıxaranların tərəfindən rədd Update uzantıları
• seçiciler default
EXSLT namespaces qeydiyyatdan
Adının dəyişdirilməsi seçiciler oxşar
• birləşdirmək maddə yükləyicilər
• et RFPDupeFilter sinif asanlıqla subclassable
• təkmilləşdirilməsi test əhatə dairəsi və qarşıdakı Python 3 dəstək

versiyası 0.20.1 yeni nədir:

• include_package_data dərc mənbələrdən təkərlər qurmaq üçün tələb olunur.

versiyası 0.18.4 yeni nədir.

• shell əmr sorğu əvəz Sabit AlreadyCalledError
• Sabit start_requests lazyness və erkən askıda.

versiyası 0.18.1 yeni nədir.

• albalı əlavə silindi əlavə idxal dəyişikliklər seçilmiş
• avatarı pre 11.0.0 altında testlər tarama Sabit.
• py26 sıfır uzunluğu sahələri {} format bilməz.
• sərbəst cavab Test PotentiaDataLoss səhvlər.
• yaxşı cavab kimi content uzunluğu və ya Transfer encoding olmadan cavab müalicəsi.

Http11 handler effektiv deyil, əgər
• heç bir ResponseFailed ehtiva edir.

tələblər

• Python 2.7 və ya daha yüksək
• Twisted 2.5.0 və ya daha yüksək
• Libxml2 2.6.28 və ya daha yüksək
• pyOpenSSL