Software screenshot:
Software ətraflı:
Version: 1.6.0 Yenil?nib
Tarixi Upload: 6 Mar 16
Geliştirici: Apache Software Foundation
Lisenziya: Pulsuz
Məşhurluq: 70
Apache Spark analiz və manipulyasiya proqramları üçün emal sürəti artırmaq üçün nəzərdə tutulmuşdur.
Bu, onlar əsas, nə də qeyri-data emal applications üçün faydalı deyilik, çünki əsasən, Java və Scala yazılı və digər sistemləri tapılmadı xüsusiyyətləri təmin edir.
Spark ilk UC Berkeley AMP Lab yaradılmış və daha sonra Apache Software Foundation hədiyyə edildi
Bu azad yeni nədir.
- Vahid Memory Management -. icrası əvəzinə regionların xüsusi bölməsinin caching üçün Paylaşılan yaddaş
- Parket Performance - düz şemaları istifadə edərkən Parket scan performansını artırın .
- Təkmilləşdirilmiş sorğusu planlayıcısı -. fərqli aggregations Query planları fərqli sütun yüksək cardinality zaman daha möhkəm
- Adaptive sorğu icra -. Avtomatik qoşulur və aggregations üçün kiçiltməklə sayı seçilməsi üçün ilkin dəstək
- Data Source API ikiqat filtreler qaçmaq -. Filter pushdown ilə məlumat mənbəyi həyata zaman, developers indi basdı aşağı filter qiymətləndirən ikiqat qarşısını almaq üçün Spark SQL deyə bilərsiniz
- Fast null təhlükəsiz qoşulur - null təhlükəsiz bərabərlik istifadə qatıldı (& # x3c; = & # x3e;) İndi cartisian məhsul hesablama yerinə SortMergeJoin istifadə icra edəcək .
- - DataFrames və ya SQL kompleks növ edir data caching zaman (up 14x üçün) əhəmiyyətli sürətləndirmək .
- SQL icrası - Support sorğu icrası konfiqurasiya üçün GC yerüstü qarşısını almaq üçün off-yığın yaddaş istifadə baş
fərqli aggregations olan sorgular üçün
In-yaddaş Sütunlu Cache tamaşası
Off-Heap yaddaş istifadə
versiyası 1.5.2-ci yeni nədir:
- core API indi dəstəkləyir multi-level toplama ağacları bahalı əməliyyatları azaltmaq sürətləndirmək kömək edir.
- Təkmilləşdirilmiş səhv hesabat müəyyən gotcha əməliyyatlar üçün əlavə edildi.
- Spark Jetty asılılıq indi user proqramları ilə münaqişələrin qarşısını almaq kömək gölgeli olunur.
- Spark artıq bir neçə rabitə endpoints üçün SSL şifreleme dəstəkləyir.
- Realtime GC ölçümlerini və rekord sayar UI əlavə edilmişdir.
versiyası 1.4.0-ci yeni nədir:
- core API indi dəstəkləyir multi-level toplama ağacları bahalı əməliyyatları azaltmaq sürətləndirmək kömək edir.
- Təkmilləşdirilmiş səhv hesabat müəyyən gotcha əməliyyatlar üçün əlavə edildi.
- Spark Jetty asılılıq indi user proqramları ilə münaqişələrin qarşısını almaq kömək gölgeli olunur.
- Spark artıq bir neçə rabitə endpoints üçün SSL şifreleme dəstəkləyir.
- Realtime GC ölçümlerini və rekord sayar UI əlavə edilmişdir.
nədir versiyası 1.2.0 yeni
- PySpark nin sort operator indi böyük Kümeleri üçün xarici tökülməsin dəstəkləyir .
- PySpark indi 2GB daha yayım dəyişənlərin böyük dəstəkləyir və növ ərzində xarici tökülməsin həyata keçirir.
- Spark iş səviyyəli tərəqqi Spark UI səhifə, tərəqqi hesabat sabit API, və iş tam. kimi çıxış ölçümlerini dinamik yenilənməsi edir
- Spark indi şəkillər və digər ikili formatları üçün ikili faylları oxumaq üçün dəstək var.
versiyası 1.0.0-ci yeni nə:
- Bu azad, spark standart kitabxana genişləndirir yeni tətbiq imkan verir SQL paketi (Spark SQL) istifadəçilər mövcud Spark axınları daxil SQL queries inteqrasiya edir.
- MLlib, spark maşın təlim kitabxana, seyrək vektor dəstək və bir neçə yeni alqoritmləri ilə genişləndirilir.
nədir versiyası 0.9.1-ci yeni
- Xarici axıdılması Sabit hash toqquşması bug
- digər giriş backends əsaslanaraq istifadəçilər üçün Spark Log4J ilə Sabit münaqişə
- Sabit Graphx Maven da Spark toplaşmaq jar itkin qurur
- Sabit səssiz uğursuzluqlar
- ASM silindi Spark lazımsız birbaşa asılılıq
- silindi ölçümlerini-ganglionlar
- distribution tarball Sabit bug olan deyil spark toplaşmaq jar
Akka çərçivəsində ölçüsü dən çox çıxış statusu xəritəsi səbəbiylə
LGPL lisenziya münaqişənin görə default qurmaq
nədir versiyası 0.8.0 yeni
- Development bir kimi Apache Sowftware Fonduna köçürülüb inkubator layihəsi.
versiyası 0.7.3-ci yeni nə:
- Python VMs kürütökmə üçün Spark mexanizmi var JVM Python API sürətləndirilməsi, böyük yığın ölçüsü zaman sürətli bunu yaxşılaşdırılmışdır.
versiyası 0.7.2-ci yeni nədir:.
- Scala version 2.9.3 yeniləndi
- Bagel bir neçə təkmilləşdirilməsi.
- Yeni API üsulları. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition və başqaları
- hər hesablama mərhələsi haqqında məlumat toplamaq, interface, SparkListener hesabat yeni ölçümlerini. Vəzifəsi uzunluğu, qarışdırılmış bytes, və s
- K-vasitələri və hesablama pi o cümlədən Java API istifadə edərək, bir neçə yeni nümunələri.
performance düzeltmelerini və yapılandırılabilir storage səviyyədə, o cümlədən
versiyası 0.7.0 yeni nədir:
- 0.7 Spark PySpark adlı Python API edir <. / li>
- Spark iş indi proqram hər paylandı verilənlər bazasının (RDD) yaddaş istifadə monitorinqi üçün bir web kontrol paneli başlamaq.
- Spark indi SBT əlavə Maven istifadə inşa edilə bilər.
versiyası 0.6.1 yeni nədir:
- Sabit hədsiz aqressiv mesaj işçiləri səbəb ola bilər zaman aşımları klaster-dən ayırın.
- HDFS mövqeyində təsir Scheduler üçün ana kompüter adları ifşa etməyib bağımsız yerləşdirmək rejimində bir səhv Sabit.
- shuffle Təkmilləşdirilmiş bağlantısı təkrar.
- blok meneceri Sabit bəzi potensial çıxmazlar.
- ay olan uğursuz Ordular kimlikleri almaq bir səhv Sabit.
- Bir neçə EC2 script təkmilləşdirilməsi.
- ki, Spark özelleştirilebilir üçün bağlar yerli IP ünvan.
- Hadoop 2 dağıtımlar üçün Support.
- Debian bölüşdürmələr üzrə Scala yerləşdirilməsi üçün Support.
çox kiçik shuffles sürətləndirmək bilər
spot hallarda daha yaxşı rəftar kimi
versiyası 0.6.0 yeni nədir.
- Sadə yerləşdirilməsi
- Spark sənədlərin yeni Quick Start Guide əlavə yerləşdirilməsi təlimatlar, konfiqurasiya guide, tuning bələdçi və təkmilləşdirilmiş Scaladoc API sənədləri ilə genişləndirilmişdir.
- asinxron Java NIO istifadə edərək, yeni rabitə meneceri shuffle əməliyyatlar xüsusilə məlumatın və ya iş bir çox vəzifələri zaman böyük məbləğdə göndərmək zaman, daha sürətli run imkan verir.
- A yeni storage meneceri dəstəkləyir başına verilənlər bazasının saxlama səviyyəli ayarları (məsələn s disk, deserialized, və ya hətta qovşaqlarının arasında təkrar, yaddaş verilənlər bazasının saxlamaq olub).
- Ətraflı ayıklama.
Şərhlər tapılmadı