Hadoopy

Bu əsasən Cython yazılmış MapReduce üçün Python kitabxana

Features .

Hadoop API kimi

• oxşar interface (Python / Java interfeys arasında istifadə dizayn nümunələri)
• Dumbo ilə Baş uyğunluğu istifadəçi geri və irəli keçid üçün imkan

Python və ya admin çıxışı olmayan Hadoop qruplar lazımlı
• Fast dönüşüm və emal
• qalmaq kiçik və yaxşı sənədləşdirilmiş
• gedir nə
şəffaf olun
• mürəkkəb .Bu nin, ctypes və uzantıları ilə idarə proqramları
• hack-qabiliyyəti yazılı Kodu
• Sadə HDFS giriş (məsələn, oxu, yazı, ls)
• Support böyük Hadoop ekosistemi (və kopya deyil) (məsələn, Oozie, whirr)
• Avtomatlaşdırılmış iş paralelləşdirilməsi hadoopy axını layihəsi mövcud avtomatik oozie (filialının həyata saxlanılır)
• launch_local
ilə müsbət MapReduce iş Yerli icra
• python birbaşa HDFS üçün TypedBytes oxuyun / yazma ardıcıllıqla faylları (readtb, writetb)
• (hər iki tapşırıq stderr mövcuddur "boru hoppana-hoppana" metoddan istifadə edir) problemləri səbəb olmadan Hadoop vəzifələrdə stdout və stderr çap imkan verir
• hər hansı əlavə quraşdırma olmadan qruplar Python, və ya (bu mənbə ağac daxil Pyinstaller istifadə) hər hansı bir Python kitabxana
Works
• OS X üzərində işləyir
• Kritik yol Cython edir

Python daxili, hətta iş çalışan daxili
• Sadə HDFS giriş (readtb və ls)
• Unit test interface
• Hesabat istifadə vəziyyəti və counters (və çap hesabatları! Ehtiyac Hadoopy onların qorxuram olunacaq)
• Lin & Dyer kitab dizayn nümunələri dəstəkləyir
• Typedbytes dəstəyi (çox sürətli)
• Oozie dəstək

tələblər

• Cython 0.13 və ya daha yüksək