Apache Spark

Software screenshot:
Apache Spark
Software ətraflı:
Version: 1.3.1 Yenil?nib
Tarixi Upload: 12 May 15
Geliştirici: UC Berkeley AMP Lab
Lisenziya: Pulsuz
Məşhurluq: 195

Rating: 4.0/5 (Total Votes: 2)

Spark analiz və manipulyasiya proqramları üçün emal sürəti artırmaq üçün nəzərdə tutulmuşdur.
Java və Scala yazılı və onlar əsas deyilik, nə də qeyri-data emal applications üçün faydalı əsasən, çünki, digər sistemlərdən tapılmadı xüsusiyyətləri təmin edir.

Yeni nədir Bu azad.

  • əsas API artıq bahalı əməliyyatları azaltmaq sürətləndirmək üçün çox səviyyəli toplama ağac dəstəkləyir
  • Təkmilləşdirilmiş səhv hesabat müəyyən gotcha əməliyyatlar üçün əlavə edildi.
  • Spark Jetty asılılıq indi user proqramları ilə münaqişələrin qarşısını almaq kömək seçilir.
  • Spark artıq bir rabitə endpoints SSL şifreleme dəstəkləyir.
  • Realtime GC ölçümlerini və rekord sayar UI əlavə edilmişdir.

versiyası 1.3.0 Yeni nədir:

  • əsas API indi dəstəkləyir multi-level toplama ağacları bahalı əməliyyatları azaltmaq sürətləndirmək kömək edir.
  • Təkmilləşdirilmiş səhv hesabat müəyyən gotcha əməliyyatlar üçün əlavə edildi.
  • Spark Jetty asılılıq indi user proqramları ilə münaqişələrin qarşısını almaq kömək seçilir.
  • Spark artıq bir rabitə endpoints SSL şifreleme dəstəkləyir.
  • Realtime GC ölçümlerini və rekord sayar UI əlavə edilmişdir.

nədir versiyası 1.2.1 Yeni

  • PySpark sort operator artıq böyük Kümeleri üçün xarici tökülməsin dəstəkləyir .
  • PySpark indi 2GB daha yayım dəyişənlərin böyük dəstəkləyir və növ ərzində xarici tökülməsin həyata keçirir.
  • Spark bir iş səviyyədə tərəqqi Spark UI səhifə, tərəqqi hesabat sabit API, və iş tam.
  • kimi çıxış ölçümlerini dinamik yenilənməsi edir
  • Spark indi şəkillər və digər ikili formatları üçün ikili faylları oxumaq üçün dəstək var.

versiyası 1.0.0 Yeni nə:

  • Bu azad, Spark standart kitabxana genişləndirir yeni tətbiq imkan verir SQL paketi (Spark SQL) istifadəçilər mövcud Spark axınları daxil SQL queries inteqrasiya edir.
  • MLlib, Spark maşın təlim kitabxana, seyrək vektor dəstək və bir neçə yeni alqoritmləri ilə genişləndirilir.

nədir versiyası 0.9.1 Yeni

  • Xarici axıdılması Sabit hash toqquşma bug
  • Digər giriş backends əsaslanaraq istifadəçilər üçün Spark log4j Sabit münaqişə
  • Sabit Graphx Maven da Spark toplaşmaq jar itkin qurur

  • Akka çərçivəsində ölçüsü dən çox çıxış statusu xəritəsi səbəbiylə
  • Sabit səssiz uğursuzluqlar
  • ASM silindi Spark lazımsız birbaşa asılılıq

  • LGPL lisenziya münaqişənin görə default qurmaq
  • silindi ölçümlerini-ganglionlar
  • paylanması tarball Sabit bug olan deyil spark toplaşmaq jar

nədir versiyası 0.8.0 Yeni

  • Development bir kimi Apache Sowftware Fondunun köçürülüb inkubator layihəsi.

versiyası 0.7.3 Yeni nə:

  • Python performance
      Python VMs tökülməsi üçün Spark mexanizmi var JVM Python API sürətləndirilməsi, böyük yığın ölçüsü var zaman daha sürətli bunu yaxşılaşdırılmışdır.
    • ay giderir: ay vəzifə nəticələri deserializing zaman iş əlavə JARs indi classpath olacaq
    • .
    • Error hesabat:. Qeyri-serializable istisna olmaqla və hədsiz böyük vəzifə nəticələr üçün Better səhv hesabat
    • Nümunələr:. UpdateStateByKey ilə stateful stream emal nümunəsi Əlavə
    • Build. Streaming artıq Çin qurmaq imkan verməlidir Twitter4J repo asılıdır Spark
    • foldByKey Hata düzeltmelerini, axın sayı, statistika metodları, sənədləşdirmə, və web UI.

    versiyası 0.7.2 Yeni nədir.

    • Scala version 2.9.3 yeniləndi

    • Performance düzeltmelerini və yapılandırılabilir storage səviyyədə, o cümlədən
    • simit bir neçə təkmilləşdirilməsi.
    • Yeni API üsulları. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition və başqaları
    • hər hesablama mərhələsi haqqında məlumat toplamaq üçün, interface, SparkListener hesabat yeni ölçümlerini. Vəzifəsi uzunluğu, qarışdırılmış bayt s
    • K-vasitələri və hesablama pi, o cümlədən Java API istifadə edərək, bir neçə yeni nümunələri.

    versiyası 0.7.0 yeni nədir:

    • 0.7 Spark PySpark adlı Python API edir <. / li>
    • Spark iş indi proqram hər paylanacaq verilənlər bazasının (RDD) yaddaş istifadə monitorinqi üçün bir web kontrol paneli başlamaq.
    • Spark indi SBT əlavə Maven istifadə inşa edilə bilər.

    versiyası 0.6.1 yeni nədir:

    • Sabit hədsiz aqressiv mesaj işçiləri səbəb ola bilər zaman aşımları klaster-dən ayırın.
    • HDFS mövqeyində təsir Scheduler üçün ana kompüter adları ifşa etməyib bağımsız yerləşdirilməsinə rejimi bir səhv Sabit.

    • Çox kiçik shuffles sürətləndirmək bilər
    • shuffle Təkmilləşdirilmiş əlaqə təkrar.
    • blok meneceri Sabit bir potensial çıxmazlar.
    • ay olan uğursuz Host kimlikleri əldə bir səhv Sabit.

    • Spot hallarda daha yaxşı rəftar kimi
    • Bir neçə EC2 script təkmilləşdirilməsi.
    • ki, Spark özelleştirilebilir üçün bağlar yerli IP ünvan.
    • Hadoop 2 bölüşdürmələri üçün dəstək.
    • Debian bölüşdürmələr üzrə Scala yerləşdirilməsi üçün Support.

    versiyası 0.6.0 yeni nədir.

    • Sadə yerləşdirilməsi
    • Spark sənədlər yeni Tez Başlanğıc kitabçası əlavə yerləşdirilməsi təlimatlar, konfiqurasiya guide, tuning bələdçi, və təkmilləşdirilmiş Scaladoc API sənədləri ilə genişləndirilmişdir.
    • asinxron Java nio istifadə edərək, yeni rabitə meneceri shuffle əməliyyatlar xüsusilə məlumatın və ya iş bir çox vəzifələri zaman böyük məbləğdə göndərərkən, daha sürətli run imkan verir.
    • A yeni storage meneceri dəstəkləyir başına verilənlər bazasının storage səviyyəli ayarları (məsələn, s, və ya hətta qovşaqlarının arasında təkrar, disk, deserialized, yaddaş verilənlər bazasının saxlamaq olub).
    • Ətraflı ayıklama.

  • Oxşar proqram

    Listr
    Listr

    13 May 15

    Sentry
    Sentry

    10 Dec 15

    Uptime
    Uptime

    13 May 15

    Şərh Apache Spark

    Şərhlər tapılmadı
    Şərh əlavə
    Images yandırın!