Apache Spark

Python VMs tökülməsi üçün Spark mexanizmi var JVM Python API sürətləndirilməsi, böyük yığın ölçüsü var zaman daha sürətli bunu yaxşılaşdırılmışdır.
• ay giderir: ay vəzifə nəticələri deserializing zaman iş əlavə JARs indi classpath olacaq
.
• Error hesabat:. Qeyri-serializable istisna olmaqla və hədsiz böyük vəzifə nəticələr üçün Better səhv hesabat
• Nümunələr:. UpdateStateByKey ilə stateful stream emal nümunəsi Əlavə
• Build. Streaming artıq Çin qurmaq imkan verməlidir Twitter4J repo asılıdır Spark
• foldByKey Hata düzeltmelerini, axın sayı, statistika metodları, sənədləşdirmə, və web UI.

versiyası 0.7.2 Yeni nədir.

• Scala version 2.9.3 yeniləndi

Performance düzeltmelerini və yapılandırılabilir storage səviyyədə, o cümlədən
• simit bir neçə təkmilləşdirilməsi.
• Yeni API üsulları. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition və başqaları
• hər hesablama mərhələsi haqqında məlumat toplamaq üçün, interface, SparkListener hesabat yeni ölçümlerini. Vəzifəsi uzunluğu, qarışdırılmış bayt s
• K-vasitələri və hesablama pi, o cümlədən Java API istifadə edərək, bir neçə yeni nümunələri.

versiyası 0.7.0 yeni nədir:

• 0.7 Spark PySpark adlı Python API edir <. / li>
• Spark iş indi proqram hər paylanacaq verilənlər bazasının (RDD) yaddaş istifadə monitorinqi üçün bir web kontrol paneli başlamaq.
• Spark indi SBT əlavə Maven istifadə inşa edilə bilər.

versiyası 0.6.1 yeni nədir:

• Sabit hədsiz aqressiv mesaj işçiləri səbəb ola bilər zaman aşımları klaster-dən ayırın.
• HDFS mövqeyində təsir Scheduler üçün ana kompüter adları ifşa etməyib bağımsız yerləşdirilməsinə rejimi bir səhv Sabit.

Çox kiçik shuffles sürətləndirmək bilər
• shuffle Təkmilləşdirilmiş əlaqə təkrar.
• blok meneceri Sabit bir potensial çıxmazlar.
• ay olan uğursuz Host kimlikleri əldə bir səhv Sabit.

Spot hallarda daha yaxşı rəftar kimi
• Bir neçə EC2 script təkmilləşdirilməsi.
• ki, Spark özelleştirilebilir üçün bağlar yerli IP ünvan.
• Hadoop 2 bölüşdürmələri üçün dəstək.
• Debian bölüşdürmələr üzrə Scala yerləşdirilməsi üçün Support.

versiyası 0.6.0 yeni nədir.

• Sadə yerləşdirilməsi
• Spark sənədlər yeni Tez Başlanğıc kitabçası əlavə yerləşdirilməsi təlimatlar, konfiqurasiya guide, tuning bələdçi, və təkmilləşdirilmiş Scaladoc API sənədləri ilə genişləndirilmişdir.
• asinxron Java nio istifadə edərək, yeni rabitə meneceri shuffle əməliyyatlar xüsusilə məlumatın və ya iş bir çox vəzifələri zaman böyük məbləğdə göndərərkən, daha sürətli run imkan verir.
• A yeni storage meneceri dəstəkləyir başına verilənlər bazasının storage səviyyəli ayarları (məsələn, s, və ya hətta qovşaqlarının arasında təkrar, disk, deserialized, yaddaş verilənlər bazasının saxlamaq olub).
• Ətraflı ayıklama.