Hadoop面试和学习小结[2013版]

[2013 UPDATE]
Hadoop 2.0转型基本无可阻挡，今年下半年要正式发布了，它的出现让大家知识体系都
要更新了。Hadoop1.0搞了8年才发布，2.0不到2年就出来了。2.0的核心是YARN，它的
诞生还是有趣的故事
http://tech.qq.com/a/20130703/015928.htm

YARN介绍
http://hortonworks.com/hadoop/yarn/
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-ya

Hadoop 生态系统
http://www.neevtech.com/blog/2013/03/18/hadoop-ecosystem-at-a-g

SQL on Hadoop
http://gigaom.com/2013/02/21/sql-is-whats-next-for-hadoop-heres

Hadoop Summit
http://hadoopsummit.org/san-jose/

#######################
随着大数据的盛行，Hadoop也流行起来。之前面过一些公司，包括开发Hadoop
:如Cloudera, Hortonworks, MapR, Teradata, Greenplum, Amazon EMR, 使用Hadoop
的除了Google，数不胜数了
这块还是机会挺多的，我就把我知道的给大家分享一下。

书籍和Paper
<Hadoop: The Definitive Guide>: 里面内容非常好，既有高屋建瓴，又有微观把握，
基本适用于0.18-0.20版本。比如mapreduce各个子阶段，Join在里面也有代码实现，
第三版
http://it-ebooks.info/book/635/
https://github.com/tomwhite/hadoop-book
Google的三辆马车，GFS, MapReduce, BigTable
Google的新三辆马车：Caffeine、Pregel、Dremel
http://blog.mikiobraun.de/2013/02/big-data-beyond-map-reduce-go
SIGMOD, VLDB最新

入门：
知道MapReduce大致流程，Map, Shuffle, Reduce
知道Combiner, partition作用，设置Compression
搭建Hadoop集群，Master/Slave 都运行那些服务 NameNode, DataNode, JobTracker,
TaskTracker
Pig, Hive 简单语法，UDF写法
http://www.hadoopwizard.com/when-to-use-pig-latin-versus-hive-s
http://ofps.oreilly.com/titles/9781449302641/index.html
http://www.slideshare.net/zshao
http://www.cloudera.com/content/cloudera/en/resources/library/t
http://i.stanford.edu/~ragho/hive-icde2010.pdf
http://www.slideshare.net/ragho/hive-icde-2010
Hadoop 2.0新知识; HDFS2 HA，snapshot, ResourceManager,ApplicationsManager,
NodeManager

进阶:
HDFS，Replica如何定位
http://hadoop.apache.org/docs/r0.18.0/hdfs_design.pdf
Hadoop 参数调优，性能优化，Cluster level: JVM, Map/Reduce Slots, Job level:
Reducer #,
Memory, use Combiner? use Compression?
http://blog.cloudera.com/blog/2009/12/7-tips-for-improving-mapr
http://www.slideshare.net/ydn/hadoop-summit-2010-tuning-hadoop-

HBase 搭建，region server, key如何选取
http://hbase.apache.org/book.html
数据倾斜怎么办？
http://www.tbdata.org/archives/2109

算法：
字典同位词
翻译SQL语句 select count(x) from a group by b;
http://blog.cloudera.com/wp-content/uploads/2010/01/5-MapReduce

Blog
关注Cloudera, Hortonworks
http://hortonworks.com/blog/
http://blog.cloudera.com/blog/
http://dongxicheng.org/
http://cloud21.iteye.com/blog/607175

相关系统
数据流系统: Storm(Twitter), S4(Yahoo)
https://github.com/nathanmarz/storm/wiki/Tutorial
内存计算系统: Spark and Shark (Berkeley）
http://www.slideshare.net/Hadoop_Summit/spark-and-shark
交互式实时系统：Cloudera Impala， Apache Drill (Dremel开源实现），Tez (
Hortonworks)

公司列表：
http://wiki.apache.org/hadoop/PoweredBy

其他
- 这个领域还是印度人占主体，Hortonworks挺喜欢开源，开发节奏很快，cloudera的
拳头产品Enterprise manager是收费的，估计最被H逼着要开源了。
- 开源让这个世界更美好，Hadoop进化目标：开发部署傻瓜化，性能更强劲，最后为程
序员标配。
- 核心都是被寡头控制的，记得一边文章说一流的公司卖标准，二流的公司卖技术，三
流的公司卖产品，H和C有最多的committer，自然就影响着整个Hadoop社区。
- 技术就是日新月异，还是多看看那些公司的博客，关注感兴趣的新产品，比如
hortonworks.com/hadoop/ambari，我做过跟这个类似。
- 在Hadoop系统中从头裸写MapReduce不现实了，ETL基本靠Hive,Pig, 之前还用过
Scalding，
https://github.com/twitter/scalding
- MapReduce并不是最优的，仅适合批处理，很多问题：JVM的启动overhead很大，小
Job更明显，数据必须先存储，不适合迭代计算，延迟高。DB学术圈讨论很久tradeoff
了，这片MapReduce: 一个巨大的倒退

http://blog.sina.com.cn/s/blog_62a9902f0100gs4q.html

http://www.mitbbs.com/article_t/JobHunting/32058103.html