Instituto de Computação - UNICAMP

MC855 - Projeto em Sistemas de Computação

Experimento com o Hadoop MapReduce

Segundo Semestre de 2014

Islene Calciolari Garcia


Instalação do Hadoop

Na primeira parte do experimento, você deve instalar o Hadoop. Existem três modos: Sugiro o modo Pseudo-Distributed, também chamado de Single Node Cluster. Neste modo, você precisará de apenas um computador e poderá verificar o funcionamento dos componentes do Hadoop (HDFS e YARN).

Principais passos:

MapReduce

Na segunda parte, iremos rodar o código do WordCount v1.0, seguindo o MapReduce Tutorial

A partir deste passo, você poderá alterar este teste, para implementar o seu próprio código mapreduce. Por exemplo, você pode escrever uma variação que conta as palavras de mesmo tamanho ou as palavras que começam com uma dada letra (veja Developing First MapReduce Job, http://www.coreservlets.com/hadoop-tutorial/).