Instituto de Computação - UNICAMP

MC855 - Projeto em Sistemas de Computação

Exemplos do Hadoop MapReduce

Segundo Semestre de 2014

Islene Calciolari Garcia


Objetivo

No experimento anterior, você deve ter instalado o Hadoop em modo single node e executado o tutorial Word Count v.01. Neste experimento você vai poder ver e alterar o código dos outros exemplos que vêm junto com o Hadoop. Os exemplos mais complexos podem ser utilizados como aplicação para o projeto 1. Se você se basear em um dos exemplos mais simples, mas tiver uma alteração interessante para mostrar, também vale!

Exemplos do Hadoop Mapreduce

O pacote Hadoop vem com os seguintes exemplos. Você pode fazer o download do Hadoop com o código fonte ou obter apenas os exemplos aqui.

Como rodar

A ideia é que você reproduza a abordagem utilizada na aula passada com o Word Count com o código destes exemplos. Caso não queira rodar inicialmente com o Single Node Cluster, utilize o modo Standalone.

Alguns código estão utilizando APIs obsoletas. Talvez você receba mensagens do tipo:

Note: RandomWriter.java uses or overrides a deprecated API.
Note: Recompile with -Xlint:deprecation for details.
Para solucionar o problema acrescente a linha @SuppressWarnings antes de criar o novo job
   @SuppressWarnings("deprecation")
   Job job = new Job(conf);
ou use a nova API:
   Job job = Job.getInstance(conf, "random writer");

Jira

Note que os exemplos do MapReduce também estão no Jira. Faça uma busca com Hadoop examples e veja as issues relacionadas.