MO809/MC964 - Tópicos em Computação Distribuída
Estudo de entradas no JIRA
Segundo Semestre de 2015
Como executar o Hadoop a partir do código fonte.
A partir de uma versão específica
$ wget http://ftp.unicamp.br/pub/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1-src.tar.gz
$ tar xzvf hadoop-2.7.1-src.tar.gz
$ cd hadoop-2-7.1-src
$ mvn clean package -Pdist -Dtar -DskipTests -Pnative
$ cd hadoop-dist/target/hadoop-2.7.1/
Fazendo um clone do repositório
O repositório oficial é:
$ git clone git://git.apache.org/hadoop.git
Se estiver em uma das máquinas do laboratório do IC pode usar:
$ git clone file:///home/staff/islene/public_html/hadoop
Para executar, siga um roteiro semelhante ao anterior:
$ cd hadoop
$ mvn package -Pdist -Pdoc -Psrc -Dtar -DskipTests
$ cd hadoop-dist/target/hadoop-3.0.0-SNAPSHOT
Para mais informações veja How to Contribute to Hadoop.
Parte 1: Projeto Colaborativo Newbie
A issue MAPREDUCE-5747 é um ótimo exemplo de issue simples e está marcada como newbie. O problema foi apontado e uma solução com patch foi disponibilizada. Faltam os testes...
Foi aberta uma wiki no Moodle para o registro de contribuições. Exemplos de contribuições:
- Dicas para aplicar o patch
- Explicação sobre a função da classe em que ocorre o problema.
- Links para issues semelhantes ou relacionadas
- Links para sites com dicas de como preparar os testes unitários.
- Links sobre funcionamento do Hadoop QA.
- Testes
Pontuação: 1.0 (1 ponto equivale a 10% da média final)
Parte 2: Objetivo e avaliação
Estudo de uma issue do projeto HDFS ou HADOOP MAPREDUCE. As entradas disponíveis possuem uma diversidade muito grande. Podem ser escolhidas:
- Issues tipo bug simples. Neste caso, o objetivo pode ser reproduzir e corrigir o bug.
- Issues tipo improvement ou new
feature. Neste caso, o objetivo pode ser analisar a complexidade
da melhoria. Em particular, são interessantes
as issues que estão relacionadas a artigos científicos. Exemplo:
- [HDFS-7345] Local Repairable Codes (LRC) XORing Elephants: Novel Erasure Codes for Big Data, Maheswaran Sathiamoorthy,Megasthenis Asteris, Dimitris Papailiopoulos, Alexandros G. Dimakis, Ramkumar Vadali, Scott Chen, Dhruba Borthakur, Proceedings of the VLDB Endowment, 2013.
Pontuação: 3.0 (3 pontos equivalem a 30% da média final)