Experimento com Spark e Python
MC851B - Projeto em Computação I
MC855AB - Projeto em Sistemas de Computação
MC857B - Projeto em Sistemas de Informação
Segundo Semestre de 2016
Instalação simples do Spark
Na primeira parte do experimento, você deve instalar o Spark:
$ http://ftp.unicamp.br/pub/apache/spark/spark-2.0.0/spark-2.0.0-bin-hadoop2.7.tgz
Descompacte com
$ tar xzf spark-2.0.0-bin-hadoop2.7.tgz
Utilize o pyspark em:
$ bin/pyspark
Siga as instruções em Quick Start.
Veja mais detalhes em Spark Programming Guide
Closures
Um programa que gera o resultado esperado quando executa em uma única
máquina, pode gerar um resultado diferente quando executar em um
cluster. Isto pode ocorrer porque os nós que contém o cluster estão
fazendo acesso a cópias locais de uma variável que o programador
considerava ser global. Veja mais detalhes em Local vs cluster modes
Escolha uma aplicação
Explore os usos possíveis do modelo de programação fornecido pelo Spark. Estude ou implemente uma aplicação e apresente para a turma. Registre o seu plano no Moodle.