Apache Hadoop

Apache Hadoop ilkin Yahoo tərəfindən hazırlanmış və layihənin əvvəlki Apache Hadoop Core və Apache Hadoop Common Repos arasında bir birləşməsidir. Edildi

Hadoop layihə məlumatların böyük məbləğlər idarə üçün bir çox server paylanmış hesablama sisteminin həyata keçirilməsi böyük nəticələrə notoriety sayəsində bir çox qazandı.

Layihə özü həqiqətən dörd hissədən ibarətdir. One Hadoop Common, bütün digər modulları işləməyə imkan verir qondarma əsas, ikinci çox öz fayl edir - HDFS (Hadoop Dağıtılmış Fayl Sistemi), üçüncü Hadoop YARN planlaşdırma çərçivə və nəhayət Hadoop MapReduce sistemi var paralel hesablama dəstək üçün.

Bu torpaq breaking sistemi istifadə edərək, Apache kimi bir çox digər tərəfdən layihələr yaratmaq bilmişdir:

- Apache Ambari

- Apache Avro

- Apache Cassandra

- Apache HBase

- Apache Hive

- Apache Mahout

- Apache Pig

- Apache Spark

- Apache Tez

- Apache ZooKeeper

Bütün bunlar onların əsas nin bir yolu və ya digər onun modulları bir inteqrasiya Hadoop güclü data emal mühərrik və ya onun paylanmış hesablama xüsusiyyətləri əsaslanır.

Yeni nədir bu azad

• arxiv Storage Support
• istirahət şifrələmə da Şəffaf data (beta)
• root daxil tələb olmadan təhlükəsiz DataNode Əməliyyat
• Hot swap drive dəstək data node (beta) yeniden başlatmadan data node həcmi əlavə et / Sil
• sürətli tel şifreleme üçün AES dəstək
• Yarn uzun çalışan xidmətlər üçün Support

planlaşdırma zamanı
• Support node yazıları
• Tutum Scheduler zaman-based resurs rezervasyonları üçün Support (beta)
• Global, proqram əsərlər üçün paylaşılan cache (beta)
• Doğrudan yükvuran proqram Support çalışan qablar (alpha)

nədir versiyası 2.7.1-ci yeni

• arxiv Storage Support
• istirahət şifrələmə da Şəffaf data (beta)
• root daxil tələb olmadan təhlükəsiz DataNode Əməliyyat
• Hot swap drive dəstək data node (beta) yeniden başlatmadan data node həcmi əlavə et / Sil
• sürətli tel şifreleme üçün AES dəstək
• Yarn uzun çalışan xidmətlər üçün Support

planlaşdırma zamanı
• Support node yazıları
• Tutum Scheduler zaman-based resurs rezervasyonları üçün Support (beta)
• Global, proqram əsərlər üçün paylaşılan cache (beta)
• Doğrudan yükvuran proqram Support çalışan qablar (alpha)

nədir versiyası 2.7.0 yeni

• arxiv Storage Support
• istirahət şifrələmə da Şəffaf data (beta)
• root daxil tələb olmadan təhlükəsiz DataNode Əməliyyat
• Hot swap drive dəstək data node (beta) yeniden başlatmadan data node həcmi əlavə et / Sil
• sürətli tel şifreleme üçün AES dəstək
• Yarn uzun çalışan xidmətlər üçün Support

planlaşdırma zamanı
• Support node yazıları
• Tutum Scheduler zaman-based resurs rezervasyonları üçün Support (beta)
• Global, proqram əsərlər üçün paylaşılan cache (beta)
• Doğrudan yükvuran proqram Support çalışan qablar (alpha)

nədir versiyası 2.6.0-ci yeni

• arxiv Storage Support
• istirahət şifrələmə da Şəffaf data (beta)
• root daxil tələb olmadan təhlükəsiz DataNode Əməliyyat
• Hot swap drive dəstək data node (beta) yeniden başlatmadan data node həcmi əlavə et / Sil
• sürətli tel şifreleme üçün AES dəstək
• Yarn uzun çalışan xidmətlər üçün Support

planlaşdırma zamanı
• Support node yazıları
• Tutum Scheduler zaman-based resurs rezervasyonları üçün Support (beta)
• Global, proqram əsərlər üçün paylaşılan cache (beta)
• Doğrudan yükvuran proqram Support çalışan qablar (alpha)

versiyası 2.5.0 yeni nədir.

• Authentication təkmilləşdirilməsi bir HTTP proxy server istifadə edərək,
• Graphite birbaşa yazılı verir ki, yeni Hadoop Metrics sink.
• Hadoop uyğun Filesystem səy Specification.
• POSIX-style fayl uzadıla atributları üçün dəstək.
• OfflineImageViewer WebHDFS API vasitəsilə fsimage göz.

NFS Gateway
• supportability təkmilləşdirilməsi və hata düzeltmelerini.

HDFS daemons üçün
• Müasir web MDB (HTML5 və JavaScript).
• iplik REST API dəstək təqdim və proqramları öldürür.

Iplik qrafiki mağaza üçün
• Kerberos inteqrasiya.

versiyası 2.4.0 yeni nədir:

• Access Nəzarət Support HDFS da Lists
• HDFS Rolling Yükseltmeleri üçün Native dəstək
• hamar əməliyyat yükseltmeleri üçün HDFS FSImage üçün protokol-buferlər istifadə
• HDFS tam HTTPS dəstək
• Yarn ResourceManager Avtomatik Failover üçün Support

Application Tarix Server və Tətbiq Timeline Server ilə YARN yeni applications üçün
• Ətraflı dəstək
• Preemption vasitəsilə YARN CapacityScheduler güclü SLAs üçün Support

versiyası 2.3.0 Yeni nədir.

• HDFS ilə heterogen Storage iyerarxiya dəstək
• mərkəzləşdirilmiş idarəetmə və rəhbərliyi ilə HDFS məlumat üçün In-yaddaş cache.
• Yarn Paylanmış Cache HDFS vasitəsilə MapReduce binaries sadələşdirilmiş paylanması.

nədir versiyası 2.2.0-ci yeni

• Yarn - Hadoop üçün ümumi təyinatlı resurslarının idarə edilməsi sistemi MapReduce və digər data emal çərçivəsində və xidmətləri imkan
• HDFS üçün yüksək mövcudluğu
• HDFS Federation
• HDFS Snapshots
• HDFS məlumatlarına NFSv3 giriş

version 2.1.0-beta yeni nədir:

• HDFS Snapshots
• Microsoft Windows Hadoop çalışan Support
• Yarn API stabilləşmə

version 2.0.3-alfa yeni nədir:

• NameNode üçün HDFS HA ​​<üçün QJM / li>
  Iplik üçün
• Multi-resurs planlaşdırma (CPU və yaddaş)
• Yarn ResourceManager yenidən başladın
• Yarn üçün miqyasda əhəmiyyətli sabitlik (30.000-dən çox qovşaqlarının və 14 milyon applications bu günə qədər azad zamanı)

versiyası 1.0.0 yeni nədir.

• Better təhlükəsizlik
• HBase (/ hsynch / hflush və təhlükəsizlik əlavə).

(Təhlükəsizlik üçün tam dəstəyi ilə)
• webhdfs.
• HBase üçün yerli faylları Performance inkişaf etmiş giriş.
• Digər performance aksesuarların, hata düzeltmelerini, və xüsusiyyətləri.

nədir versiyası 0.20.2 Yeni

• RPC Server göndərmək bufer saxlayır böyük reaksiya ölçüsü heç göndərdik.
• C ++ kitabxana Debian Lenny qurmaq deyil.
• Bəzi c ++ scripts ant icrası əvvəl chmodded deyil.
• Streaming. Proses nəzərdə durum mesajları hər 10 seoncds üzerine yazılacaq

CombineFileInputFormat iş InputFormat kimi istifadə olunur
• IllegalArgumentException.
• Birden çox bugs Hadoop arxiv / w.
• fayl hallarda caching başına instansiya əsasında aradan imkan verir.
• Configuration.addResource da defaultResources üçün sinxronizasiya itkin.
• GzipCodec decompressorType kimi BuiltInZlibInflater təmsil olmaz.
• NameNode nin HttpServer InetSocketAddress instantiate bilməz: IllegalArgumentException atılan
.
• HttpServer mənfi dəyərləri ilə kişilik.
• Namenode görə IPC Server yaddaş sızıntısı üçün yaddaş həyata çalışır.

IPC müştəri bug RPC zəng asmaq səbəb ola bilər
• .
• uğursuz testlər icrasından test hədəfləri qalan qarşısını almaq.
• contrib testlər Clover'ed qurmaq uğursuz.
• Testlər 0.20 filialı run deyil.
• TestStreamingStatus 0.20 filialı uğursuz.