Instituto de Computação - UNICAMP

MC855 - Projeto em Sistemas de Computação

Segundo Semestre de 2015

Islene Calciolari Garcia

Notas finais

Veja aqui as notas finais da disciplina. Boas festas e um excelente 2016!

Objetivos da disciplina

Veja os slides da aula introdutória e o plano de desenvolvimento da disciplina.

Projeto 4

Análise mais detalhada de uma issue livre escolha em qualquer sistema do projeto Apache Hadoop. Um membro de cada grupo deverá registrar sua escolha em uma tarefa no Moodle e escolher uma data para apresentação na agenda. Os slides e arquivos de código (se tiverem sido desenvolvidos) deverão ser colocados neste repositório

Entrega

Projeto 3

Pesquise em Issue Tracking uma issue tipo umbrella para trabalhar. Procure issues em HDFS, MAPREDUCE ou YARN. Uma issue umbrella é uma issue mais abrangente, que precisa de vários passos para ser concluída. Por exemplo: HDFS-1599 Umbrella Jira for Improving HBASE support in HDFS. Não é necessário ter a denominação umbrella no título. Um bom exemplo é a issue (já fechada) sobre alta disponibilidade do NameNode: HDFS-1623 High Availability Framework for HDFS NN.

Entrega

Projeto 2

Para começar, pesquise em Issue Tracking uma issue tipo bug para trabalhar. Procure issues em HDFS e MAPREDUCE.

Entrega

Datas para a apresentação da issue e do plano de trabalho a ser seguido para a professora no lab CC04: 22/09, 24/09 e 29/09. Cada grupo deverá também registrar sua escolha em uma tarefa no Moodle.

Apresentação para a turma no CB15

Cada grupo deverá apresentar para a turma qual foi a issue escolhida e qual foi a contribuição feita (aumento do entedimento do problema, reprodução ou correção do bug).

Links interessantes:

Como executar o Hadoop a partir do código fonte.

A partir de uma versão específica

  $ wget http://ftp.unicamp.br/pub/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1-src.tar.gz
  $ tar xzvf hadoop-2.7.1-src.tar.gz
  $ cd hadoop-2-7.1-src
  $ mvn clean package -Pdist -Dtar -DskipTests -Pnative

  $ cd hadoop-dist/target/hadoop-2.7.1/
Caso o mvn não esteja funcionando corretamente, tente com: 
$ mvn clean package -Pdist -Dtar -Dmaven.javadoc.skip=true -DskipTests -fail-at-end -Pnative

Fazendo um clone do repositório

$ git clone git://git.apache.org/hadoop.git
Se estiver em uma das máquinas do laboratório do IC pode usar: 
$ git clone file:///home/staff/islene/public_html/hadoop
Para executar, siga um roteiro semelhante ao anterior: 
$ cd hadoop
$ mvn package -Pdist -Pdoc -Psrc -Dtar -DskipTests
$ cd hadoop-dist/target/hadoop-3.0.0-SNAPSHOT

Projeto 1

Instruções

Entrega

Apresentação do código no lab CC04

Cada grupo deverá mostrar uma aplicação rodando, explicar seu funcionamento e a alteração.

Apresentação do tema no CB15

Cada grupo deverá explicar para a turma o funcionamento da aplicação e a alteração feita. Não é necessário mostrar o código rodando na hora. O grupo deve ter feito a apresentação no laboratório antes.

Moodle

Para o acompanhamento desta disciplina será aberta uma área no Moodle fornecido pela Unicamp. Faça acesso MC855A+B com seu login e senha da DAC.

Calendário

Fique atento à lista abaixo para saber quais aulas serão nos laboratórios e quando serã na sala CB15.

Introdução e MapReduce

Issue tipo bug

Issue tipo umbrella

Issue tipo livre escolha

Material