mrjob

mrjob yazmaq və Hadoop Streaming iş run kömək edir ki, Python modulu edir.
mrjob tam saatlik bir Hadoop çoxluq vaxt almaq üçün imkan verir Amazon Elastic MapReduce (EMR) xidmət dəstəkləyir. Bu da öz Hadoop klaster ilə işləyir.
Quraşdırma:
python bərpa setup.py
Amazon EMR qurulması
Http://aws.amazon.com/: & nbsp; * Bir Amazon Web Services hesabı yaratmaq
& Nbsp; * Elastik MapReduce üçün qeydiyyatdan: http://aws.amazon.com/elasticmapreduce/
& Nbsp; * Sizin giriş və gizli düymələri alın (http://aws.amazon.com/account/ getmək və "Təhlükəsizlik Credentials" düyməsinə basın) və ətraf mühit dəyişənlər $ AWS_ACCESS_KEY_ID müəyyən və müvafiq olaraq $ AWS_SECRET_ACCESS_KEY

Bu cəhd edin!
# Yerli
python mrjob / nümunələri / mr_word_freq_count.py README.md> sayar
EMR haqqında #
python mrjob / nümunələri / mr_word_freq_count.py README.md r emr> sayar
Sizin Hadoop klaster #
python mrjob / nümunələri / mr_word_freq_count.py README.md r hadoop> sayar
Advanced Configuration
, Digər AWS regionlarda run mənbə ağac, run markası yüklemek və digər inkişaf etmiş mrjob funksiyaları istifadə etmək üçün, mrjob.conf qurmaq lazımdır. mrjob öz conf fayl üçün görünür:
& Nbsp; * ~ / .mrjob
& Nbsp; sizin $ PYTHONPATH hər hansı * mrjob.conf
& Nbsp; * /etc/mrjob.conf
Daha çox məlumat üçün mrjob.conf.example bax

Features .

• EMR Run iş, öz Hadoop cluster ya yerli (test üçün).
• multi-addım iş
(bir addım növbəti feeds xəritə-azaltmaq) yaz
• Hadoop daxilində istehsal mühit Duplicate
• mənbə ağac yüklə və işi dollar PYTHONPATH qoyun
• Run etmək və digər quraşdırma scripts
• Set mühit dəyişənlər (məsələn $ TZ)
• Asanlıqla tarballs olan python paketləri yüklemek (EMR yalnız)
• mrjob.conf konfiqurasiya faylı ilə şəffaf idarə Setup
• Avtomatik olaraq EMR səhv logs şərh
• EMR haqqında hadoop iş tracker SSH tunel
• Minimal quraşdırma
• EMR haqqında çalıştırmak üçün müəyyən $ AWS_ACCESS_KEY_ID və $ AWS_SECRET_ACCESS_KEY
• Sizin Hadoop klaster çalıştırmak üçün müəyyən $ HADOOP_HOME

tələblər

• Python