ESTRUTURA HADOOP<\/h1>\n
Segundo Carmen Placios a arquitetura das vers\u00f5es do Hadoop 0 e 1 se dividem em tr\u00eas pilares fundamentais:<\/p>\n
- \n
- Hadoop MapReduce: que podemos definir como o motor ou modelo de programa\u00e7\u00e3o que impulsiona o Hadoop.<\/li>\n
- Sistema de arquivos: Hadoop utiliza seu pr\u00f3prio sistema de arquivos distribu\u00eddos, denominado Apache Hadoop Distributed File System (HDFS).<\/li>\n
- Hadoop Common: utilit\u00e1rios que possibilitam a integra\u00e7\u00e3o dos subprojetos do ecossistema Hadoop.<\/li>\n<\/ul>\n
Durante o processo de amadurecimento do Apache Hadoop um quarto pilar, denominado Yarn, foi inserido a partir da vers\u00e3o 2 (Apache, 2012):<\/p>\n
Hadoop Yarn: pode ser considerado a evolu\u00e7\u00e3o do MapReduce, ou MRv2 como veremos mais adiante.
\n<\/p>\nMAPREDUCE<\/h1>\n
Uma aplica\u00e7\u00e3o MapReduce em execu\u00e7\u00e3o no Hadoop recebe seu trabalho dividido entre os n\u00f3s – computadores que formam um cluster geralmente s\u00e3o chamados de n\u00f3s – e os arquivos a serem manipulados pela aplica\u00e7\u00e3o residem no sistema de arquivos, HDFS, o que mant\u00e9m a entrada e sa\u00edda a um baixo custo (deRoss; et al, 2014).<\/p>\n
Em linhas gerais, o Hadoop fragmenta os dados no seu sistema de arquivos quando a fun\u00e7\u00e3o map \u00e9 utilizada e destes fragmentos s\u00e3o geradas tuplas formadas por (chave, valor) produzindo um novo conjunto de chaves e valores intermedi\u00e1rios e aplica a fun\u00e7\u00e3o shuffle para classificar todos os valores iguais a uma mesma chave para reduzir as tarefas. Em sequ\u00eancia os n\u00f3s executam a fun\u00e7\u00e3o de redu\u00e7\u00e3o e processam as tuplas geradas pela fun\u00e7\u00e3o shuffle produzindo uma tupla \u00fanica para cada valor e chave correspondentes. A fun\u00e7\u00e3o de redu\u00e7\u00e3o tamb\u00e9m se encarrega de escrever as sa\u00eddas de dados no sistema de arquivos distribu\u00eddo. Para exemplificar todo esse processo, vamos observar a imagem 1:<\/p>\n
![\"Linux:](\"http:\/\/img.vivaolinux.com.br\/imagens\/artigos\/comunidade\/thumb_Hadoop---MapReduce.png\")
<\/a>
\nFonte: Adaptado de Apache, 2014<\/div>\nComo podemos ver, existe um \u00fanico n\u00f3, denominado JobTracker, que se encarrega de delegar as fun\u00e7\u00f5es de mapeamento e redu\u00e7\u00e3o para os demais n\u00f3s, chamados de TaskTrackers.<\/p>\n
HDFS<\/h1>\n
Como vimos o MapReduce segue sua hierarquia de n\u00f3s e com o HDFS n\u00e3o \u00e9 diferente. Existe o NameNode, ou master, que \u00e9 respons\u00e1vel pelo controle de acesso, organiza\u00e7\u00e3o dos diret\u00f3rios e metadados. Os DataNodes, ou workers, que s\u00e3o respons\u00e1veis pelos fragmentos de arquivos e suas replica\u00e7\u00f5es, como podemos ver na imagem 2:<\/p>\n
![\"Linux:](\"http:\/\/img.vivaolinux.com.br\/imagens\/artigos\/comunidade\/thumb_Hadoop---HDFS.png\")
<\/a>
\nFonte: Adaptada de Apache 2014<\/div>\nAs letras usadas (A, B, C e D) representam fragmentos de arquivos divididos entre os n\u00f3s para garantir redund\u00e2ncia e toler\u00e2ncia a falhas no sistema de arquivos (White, 2014).<\/p>\n
YARN<\/h1>\n
Como dito anteriormente, o Yarn \u00e9 uma evolu\u00e7\u00e3o do MapReduce onde as fun\u00e7\u00f5es do JobTracker s\u00e3o repartidas em deamons independentes. Uma das fun\u00e7\u00f5es principais do MapReduce \u00e9 a de partilhar os dados para as fun\u00e7\u00f5es de Map e Reduce, a outra fun\u00e7\u00e3o \u00e9 gerenciar as falhas e procurar n\u00f3s dispon\u00edveis para executar a fun\u00e7\u00e3o onde houve falha. Para isso o Yarn muda um pouco a nomenclatura do n\u00f3 master e o apelida de Resource Manager (RM) ou Application Master (AM), onde cada fun\u00e7\u00e3o MapReduce \u00e9 uma aplica\u00e7\u00e3o definida pelo n\u00f3 mestre e o resource manager fica respons\u00e1vel por reordenar os n\u00f3s no caso de falhas dos n\u00f3s escravos, NodeManager (NM). (Apache, 2014)<\/p>\n
HADOOP COMMOM<\/h1>\n
Por tr\u00e1s do Hadoop n\u00e3o existem s\u00f3 o MapReduce e HDFS, existe um ecossistema com mais de uma dezena de projetos relacionados e que podem facilitar atividades e a configura\u00e7\u00e3o de um cluster. Em grande parte projetos do ecossistema tamb\u00e9m s\u00e3o hospedados pela Apache Software Foundation (deRoss; et al, 2014) e agora veremos alguns dos principais projetos (Apache, 2014):<\/p>\n
- \n
- Ambari: um framework web para constru\u00e7\u00e3o, monitoramento e manuten\u00e7\u00e3o de um cluster Hadoop, fornecendo uma interface amig\u00e1vel para tais fun\u00e7\u00f5es e uma sess\u00e3o para inclus\u00e3o ou exclus\u00e3o de n\u00f3s escravos. Dispon\u00edvel em: http:\/\/ambari.apache.org<\/a><\/li>\n
- Avro: um sistema para serializa\u00e7\u00e3o de dados, compactando-os em formato bin\u00e1rio. Dispon\u00edvel em: http:\/\/avro.apache.org<\/a><\/li>\n
- Cassandra: um banco de dados que preza por escalabilidade, alta disponibilidade e toler\u00e2ncia a falhas para hardware commodity. Dispon\u00edvel em: http:\/\/cassandra.apache.org<\/a><\/li>\n
- Chukwa: um framework escal\u00e1vel para an\u00e1lises de logs. Dispon\u00edvel em: http:\/\/chukwa.apache.org<\/a><\/li>\n
- Hbase: um banco de dados escal\u00e1vel, distribu\u00eddo, que suporta o armazenamento de dados estruturado para grandes mesas. Dispon\u00edvel em: http:\/\/hbase.apache.org<\/a><\/li>\n
- Hive: uma infraestrutura para Datawarehouse que tem como caracter\u00edstica um compactador pr\u00f3prio e um sistema para consultas ad hoc. Dispon\u00edvel em: http:\/\/hive.apache.org<\/a><\/li>\n
- Mahout: um framework escal\u00e1vel para machine learning e data mining. Dispon\u00edvel em: http:\/\/mahout.apache.org<\/a><\/li>\n
- Pig: uma plataforma para an\u00e1lise de grandes conjuntos de dados que roda sobre o HDFS, como um compilador pr\u00f3prio para produzir programas de MapReduce usando uma linguagem de programa\u00e7\u00e3o chamada Pig Latin. Dispon\u00edvel em:http:\/\/pig.apache.org<\/a><\/li>\n
- Sqoop: uma ferramenta para mover dados de bases relacionais para o HDFS.<\/li>\n
- ZooKeeper: um framework coordenador de computa\u00e7\u00e3o distribu\u00edda altamente confi\u00e1vel, como nomes, configura\u00e7\u00e3o e sincroniza\u00e7\u00e3o entre os n\u00f3s. Dispon\u00edvel em: http:\/\/zookeeper.apache.org<\/a><\/li>\n<\/ul>\n
![\"Linux:](\"http:\/\/img.vivaolinux.com.br\/imagens\/artigos\/comunidade\/thumb_Hadoop---projetos.PNG\")
<\/a><\/div>\nCARACTER\u00cdSTICAS DO HADOOP<\/h1>\n
Como dito anteriormente o Hadoop \u00e9 um sistema tolerante a falhas, com grande confiabilidade e alta escalabilidade e para exemplificar podemos usar como exemplo um programa que roda em um \u00fanico computador. Quando o programa falha, ele simplesmente finaliza, mas em um sistema distribu\u00eddo a no\u00e7\u00e3o de falha se faz parcial, pois somente um \u00fanico n\u00f3 pode falhar, ou um conjunto deles. Sobre a grande confiabilidade pode-se afirmar que um cluster deve funcionar durante um grande per\u00edodo de tempo sem interrup\u00e7\u00f5es (Tanenbaum & Steen, 2010).<\/p>\n
A alta escalabilidade do Hadoop \u00e9 referente a facilidade de administra\u00e7\u00e3o quanto a inser\u00e7\u00e3o de novos n\u00f3s para crescimento (Shvachko, 2010). O que pode aumentar seu poder de processamento de forma simples e barata, pois o Hadoop usa hardware commodity (White, 2014).<\/p><\/div>\n
INSTALA\u00c7\u00c3O DO MODO SINGLE-NODE<\/h1>\n
<\/p>\n
1. Modo convencional:<\/p>\nFoi executado download da vers\u00e3o stable do Hadoop (2.6.0 – atual em 13\/abril\/2014). Dispon\u00edvel em:<\/p>\n
- \n
- http:\/\/mirror.nbtelecom.com.br\/apache\/hadoop\/common\/stable\/<\/a><\/li>\n<\/ul>\n
Logo ap\u00f3s n\u00f3s podemos descompactar:<\/p>\n
# tar xvvf hadoop*<\/strong><\/p>\n
E mover para \/usr\/local\/hadoop<\/em> (o local recomendado por conven\u00e7\u00e3o):<\/p>\n
# mv hadoop* \/usr\/local\/hadoop<\/strong><\/p>\n
2. Instala\u00e7\u00e3o em outras distribui\u00e7\u00f5es:<\/p>\n
No caso, eu uso Arch Linux<\/a><\/em>. Ent\u00e3o para instalar no Arch:<\/p>\n
# yaourt -S hadoop<\/strong><\/p>\n
Existem maneiras simples para executar a instala\u00e7\u00e3o no Debian<\/em>, Ubuntu<\/em>, Fedora<\/em> etc. a partir de alguns reposit\u00f3rios.<\/p>\n
3. Vari\u00e1veis de ambiente:<\/p>\n
A configura\u00e7\u00e3o da vari\u00e1vel do Java (ao meu ver) \u00e9 um pouco chata, ent\u00e3o para evitar essa “maldi\u00e7\u00e3o” podemos configurar o hadoop-env.sh:<\/p>\n
# vim \/usr\/local\/hadoop\/etc\/hadoop\/hadoop-env.sh<\/strong><\/p>\n
E faremos a seguinte altera\u00e7\u00e3o na linha 25:<\/p>\n
export JAVA_HOME=[Caminho-de-insta\u00e7\u00e3o-do-seu-Java] <\/samp><\/p>\n
No meu caso:<\/p>\n
export JAVA_HOME=\/usr\/lib\/jvm\/default<\/div>\n4. Vari\u00e1vel Hadoop<\/p>\n
Para facilitar o manuseio dos arquivos do Hadoop, podemos criar algumas vari\u00e1veis \u00fateis ao bash, como:<\/p>\n
HADOOP_INSTALL=\/usr\/local\/hadoop
\nHADOOP_BIN=\/usr\/local\/hadoop\/bin
\nHADOOP_SBIN=\/\/usr\/local\/hadoop\/sbin<\/div>\nE para executarmos o Hadoop de maneira simples, podemos criar uma direta ao execut\u00e1vel do Hadoop:<\/p>\n
HADOOP=\/usr\/local\/hadoop\/bin\/hadoop<\/div>\nPronto! Seu Hadoop est\u00e1 instalado com sucesso, suas vari\u00e1veis est\u00e3o configuradas de uma maneira inteligente. Agora temos que executar um teste b\u00e1sico, s\u00f3 pra verificar como as coisas est\u00e3o.<\/p>\n
Teste:<\/p>\n
$ mkdir input<\/strong>
\n$ cp $HADOOP_INSTALL\/hadoop\/etc\/hadoop\/*.xml input<\/strong>
\n$ hadoop jar $HADOOP_INSTALL\/share\/hadoop\/mapreduce\/hadoop-mapreduce-examples-2.6.0.jar grep input output ‘dfs[a-z.]+’<\/strong>
\n$ cat output\/*<\/strong><\/p>\nSe tudo aconteceu com sucesso, e apareceram algumas boas palavras na tela, parab\u00e9ns, est\u00e1 tudo feito com sucesso.<\/p>\n<\/div>\n
<\/p>\n
INSTALA\u00c7\u00c3O DO MODO PSEUDO-DISTRIBU\u00cdDO<\/h1>\n
<\/p>\n
Para configurar o modo pseudo-distribu\u00eddo voc\u00ea deve configurar o modo single como vimos na p\u00e1gina anterior.<\/p>\nPor default todas as jobs do Hadoop s\u00e3o executadas pelo usu\u00e1rio 0 (root) e se voc\u00ea deseja que as opera\u00e7\u00f5es sejam executadas em um user espec\u00edfico voc\u00ea pode setar em \/etc\/conf.d\/hadoop<\/em> alterando a linha:<\/p>\n
HADOOP_USERNAME = “[seu nome de usu\u00e1rio]”<\/div>\nE em seguida temos que configurar os XMLs do Hadoop e o SSH.<\/p>\n
Os arquivos XML est\u00e3o localizados em \/usr\/local\/hadoop\/etc\/hadoop<\/em>.<\/p>\n
Logo ap\u00f3s, juntei aqui arquivos b\u00e1sicos de configura\u00e7\u00e3o para subir e derrubar os servi\u00e7os.<\/p>\n
1. Arquivos de configura\u00e7\u00e3o:<\/p>\n
core-site.xml:<\/p>\n
<configuration>
\n<property>
\n<name>fs.defaultFS<\/name>
\n<value>hdfs:\/\/localhost:9000<\/value>
\n<\/property>
\n<\/configuration><\/div>\nhdfs-site.xml:<\/p>\n
<configuration>
\n<property>
\n<name>dfs.replication<\/name>
\n<value>1<\/value>
\n<\/property>
\n<property>
\n<name>dfs.namenode.name.dir<\/name>
\n<value>file:\/usr\/local\/hadoop\/hadoop_data\/hdfs\/namenode<\/value>
\n<\/property>
\n<property>
\n<name>dfs.datanode.data.dir<\/name>
\n<value>file:\/usr\/local\/hadoop\/hadoop_store\/hdfs\/datanode<\/value>
\n<\/property>
\n<\/configuration><\/div>\nmapred-site.xml:<\/p>\n
<configuration>
\n<property>
\n<name>mapreduce.framework.name<\/name>
\n<value>yarn<\/value>
\n<\/property>
\n<\/configuration><\/div>\nyarn-site.xml:<\/p>\n
<configuration>
\n<property>
\n<name>yarn.nodemanager.aux-services<\/name>
\n<value>mapreduce_shuffle<\/value>
\n<\/property>
\n<property>
\n<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class<\/name>
\n<value> org.apache.hadoop.mapred.ShuffleHandler<\/value>
\n<\/property>
\n<\/configuration><\/div>\nConfigura\u00e7\u00e3o SSH:<\/p>\n
# ssh-keygen -t rsa -P ” -f ~\/.ssh\/id_rsa<\/strong>
\n# cat ~\/.ssh\/id_rsa.pub >> ~\/.ssh\/authorized_keys<\/strong>
\n# ssh-keyscan -H localhost, localhost >> ~\/.ssh\/known_hosts<\/strong>
\n# ssh-keyscan -H localhost, 0.0.0.0 >> ~\/.ssh\/known_hosts<\/strong><\/p>\nCria\u00e7\u00e3o do script para subir os servi\u00e7os:<\/p>\n
# $HADOOP_INSTALL\/hadoop-2.6.0\/sbin\/start-dfs.sh<\/strong>
\n# $HADOOP_INSTALL\/hadoop-2.6.0\/sbin\/start-yarn.sh<\/strong>
\n# $HADOOP_INSTALL\/hadoop-2.6.0\/sbin\/mr-jobhistory-daemon.sh start historyserver<\/strong><\/p>\nCria\u00e7\u00e3o do script para derrubar os servi\u00e7os:<\/p>\n
# $HADOOP_INSTALL\/hadoop-2.6.0\/sbin\/mr-jobhistory-daemon.sh stop historyserver<\/strong>
\n# $HADOOP_INSTALL\/hadoop-2.6.0\/sbin\/stop-yarn.sh<\/strong>
\n# $HADOOP_INSTALL\/hadoop-2.6.0\/sbin\/stop-dfs.sh<\/strong><\/p>\nTeste de funcionamento: acesse http:\/\/localhost:8088<\/p>\n<\/div>\n
<\/p>\n
INSTALA\u00c7\u00c3O DO MODO TOTALMENTE DISTRIBU\u00cdDO<\/h1>\n
<\/p>\n
Para configurar o modo totalmente distribu\u00eddo voc\u00ea deve configurar o modo pseudo-distribu\u00eddo como vimos na p\u00e1gina anterior.<\/p>\nExistem poucas diferen\u00e7as entre a configura\u00e7\u00e3o do pseudo-distribu\u00eddo e o modo completamente distribu\u00eddo. Na verdade, o Hadoop s\u00f3 precisa estar instalado em todos os n\u00f3s do nosso cluster e podemos fazer isso de uma maneira muito simples:<\/p>\n
# rsync -avxP \/usr\/local\/hadoop root@[ip_do_cliente]:\/usr\/local\/hadoop<\/strong><\/p>\n
Mas para que isso aconte\u00e7a de uma maneira transparente temos que configurar o SSH do server, para autentica\u00e7\u00e3o sem senha, em todos os outros n\u00f3s que far\u00e3o parte do nosso cluster como visto anteriormente.<\/p>\n
Os arquivos XML tem algumas pequenas modifica\u00e7\u00f5es:<\/p>\n
core-site.xml – aqui definimos o uso do HDFS e o endere\u00e7o do seu master e a porta que ser\u00e1 usada:<\/p>\n
<configuration>
\n<property>
\n<name>fs.defaultFS<\/name>
\n<value>hdfs:\/\/NOME_DO_SEU_MASTER:9000<\/value>
\n<\/property>
\n<\/configuration><\/div>\nhdfs-site.xml – aqui est\u00e1 sendo definido o numero de replica\u00e7\u00f5es de cada arquivo do HDFS:<\/p>\n
<configuration>
\n<property>
\n<name>dfs.replication<\/name>
\n<value>3<\/value>
\n<\/property>
\n<\/configuration><\/div>\nmapred-site.xml – aqui passamos a bola do gerenciador de MapReduce para o Yarn e dizemos quem vai ser o Master para distribuir tarefas:<\/p>\n
<configuration>
\n<property>
\n<name>mapred.job.tracker<\/name>
\n<value>NOME_DO_SEU_MASTER:5431<\/value>
\n<\/property>
\n<property>
\n<name>mapred.framework.name<\/name>
\n<value>yarn<\/value>
\n<\/property>
\n<\/configuration><\/div>\nyarn-site.xml:<\/p>\n
<configuration>
\n<property>
\n<name>yarn.resourcemanager.resource-tracker.address<\/name>
\n<value>NOME_DO_SEU_MASTER:8025<\/value>
\n<\/property>
\n<property>
\n<name>yarn.resourcemanager.scheduler.address<\/name>
\n<value>NOME_DO_SEU_MASTER:8035<\/value>
\n<\/property>
\n<property>
\n<name>yarn.resourcemanager.address<\/name>
\n<value>NOME_DO_SEU_MASTER:8050<\/value>
\n<\/property>
\n<\/configuration><\/div>\nTodos os outros n\u00f3s precisam estar nomeados no seu \/etc\/hosts<\/em>, como por exemplo:<\/p>\n
hadoopmaster [IP]
\nhadoopslave1 [IP]
\nhadoopslave2 [IP]
\nhadoopslave3 [IP]
\nhadoopslave4 [IP]
\nhadoopslave5 [IP]
\nhadoopslave6 [IP]
\nhadoopslave7 [IP]
\nhadoopslave8 [IP]
\nhadoopslave9 [IP]<\/div>\nAgora, dois novos arquivos precisam ser criados dentro de \/usr\/local\/hadoop\/etc\/hadoop<\/em>. slaves<\/em> – que s\u00e3o todos os computadores que far\u00e3o parte do nosso cluster como “clientes”:<\/p>\n
hadoopslave1
\nhadoopslave2
\nhadoopslave3
\nhadoopslave4
\nhadoopslave5
\nhadoopslave6
\nhadoopslave7
\nhadoopslave8
\nhadoopslave9<\/div>\nmaster<\/em> – que \u00e9 o computador respons\u00e1vel pelo gerenciamento dos n\u00f3s:<\/p>\n
hadoopmaster<\/div>\nTeste de funcionamento: acesse http:\/\/localhost:8088<\/p>\n<\/div>\n
<\/p>\n
REFER\u00caNCIAS<\/h1>\n
<\/p>\n
Livros:<\/p>\n- \n
- Tom White – Hadoop the definitive guide<\/li>\n
- Chuck Lam – Hadoop in action<\/li>\n
- Dirk deRoos, et al – Hadoop for dummines<\/li>\n
- Sistemas distribu\u00eddos – TeS<\/li>\n<\/ul>\n
Artigo: MaCarmen Palacios D\u00edaz-Zorita – Evaluaci\u00f3n de la herramienta de c\u00f3digo libre Apache Hadoop<\/p>\n
Sites:<\/p>\n
- \n
- Hadoop – Apache Hadoop 2.6.0<\/a><\/li>\n
- Scalability of the Hadoop Distributed File System | Konstantin V. Shvachko – Yahoo<\/a><\/li>\n
- Re: [VOTE] – Establish YARN as a sub-project of Apache Hadoop<\/a><\/li>\n
- Imagem<\/a><\/li>\n<\/ul>\n
Instala\u00e7\u00e3o:<\/p>\n
- \n
- Apache Hadoop 2.5.2 – Hadoop MapReduce Next Generation 2.5.2 – Setting up a Single Node Cluster.<\/a><\/li>\n
- Hadoop – ArchWiki<\/a><\/li>\n
- Install Hadoop 2.5.0 on Arch Linux<\/a><\/li>\n
- chaalpritam: Hadoop 2.6.0 Single Node Cluster Setup on Ubuntu 14.10<\/a><\/li>\n
- The definitive guide. Tom white. 4\u00aa Edi\u00e7\u00e3o<\/li>\n<\/ul>\n<\/div>\n","protected":false},"excerpt":{"rendered":"
O QUE \u00c9 O APACHE HADOOP Apache Hadoop \u00e9 um framework livre administrado pela Apache Software Foundation constru\u00eddo em Java para computa\u00e7\u00e3o distribu\u00edda, de alta escalabilidade, grande confiabilidade e toler\u00e2ncia a falhas. O Hadoop foi desenhado para trabalhar com modelos de programa\u00e7\u00e3o simples para o processamento de grandes volumes de dados (D\u00edaz-Zorita, 2011) usando […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"default","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[455,91,730,1,830,725,42,51,439,552,495,514,68,271,127,548],"tags":[131,968,260],"class_list":["post-4134","post","type-post","status-publish","format-standard","hentry","category-apache2","category-banco-de-dados","category-clusterweb","category-viazap","category-debian","category-hospedagem","category-leitura-recomendada","category-linux-linuxrs","category-midia","category-postgresql","category-profissional-de-ti","category-programacao","category-redes-2","category-seguranca-2","category-sistemas-de-armazenamento","category-ubuntu-2","tag-apache","tag-hadoop","tag-instalando"],"_links":{"self":[{"href":"https:\/\/blog.clusterweb.com.br\/index.php?rest_route=\/wp\/v2\/posts\/4134","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.clusterweb.com.br\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.clusterweb.com.br\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.clusterweb.com.br\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.clusterweb.com.br\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=4134"}],"version-history":[{"count":1,"href":"https:\/\/blog.clusterweb.com.br\/index.php?rest_route=\/wp\/v2\/posts\/4134\/revisions"}],"predecessor-version":[{"id":4135,"href":"https:\/\/blog.clusterweb.com.br\/index.php?rest_route=\/wp\/v2\/posts\/4134\/revisions\/4135"}],"wp:attachment":[{"href":"https:\/\/blog.clusterweb.com.br\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=4134"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.clusterweb.com.br\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=4134"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.clusterweb.com.br\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=4134"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
- Hadoop – ArchWiki<\/a><\/li>\n
- Scalability of the Hadoop Distributed File System | Konstantin V. Shvachko – Yahoo<\/a><\/li>\n
- Hadoop – Apache Hadoop 2.6.0<\/a><\/li>\n
- Avro: um sistema para serializa\u00e7\u00e3o de dados, compactando-os em formato bin\u00e1rio. Dispon\u00edvel em: http:\/\/avro.apache.org<\/a><\/li>\n
- Ambari: um framework web para constru\u00e7\u00e3o, monitoramento e manuten\u00e7\u00e3o de um cluster Hadoop, fornecendo uma interface amig\u00e1vel para tais fun\u00e7\u00f5es e uma sess\u00e3o para inclus\u00e3o ou exclus\u00e3o de n\u00f3s escravos. Dispon\u00edvel em: http:\/\/ambari.apache.org<\/a><\/li>\n
![\"Linux:](\"http:\/\/img.vivaolinux.com.br\/imagens\/artigos\/comunidade\/Hadoop---MapReduce.png\")
<\/a>