目錄
第1章 瞭解Hadoop MapReduce 1
1.1 MapReduce模型 1
1.2 Hadoop MapReduce概述 3
1.3 Hadoop MapReduce的工作原理 4
1.4 影響MapReduce性能的因素 5
1.5 小結 8
第2章 Hadoop參數概述 9
2.1 研究Hadoop參數 9
2.1.1 配置文件mapred-site.xml 10
2.1.2 配置文件hdfs-site.xml 15
2.1.3 配置文件core-site.xml 18
2.2 Hadoop MapReduce性能指標 19
2.3 性能監測工具 20
2.3.1 用Chukwa監測Hadoop 21
2.3.2 使用Ganglia監測Hadoop 21
2.3.3 使用Nagios監測Hadoop 21
2.4 用Apache Ambari監測Hadoop 22
2.5 小結 23
第3章 檢測係統瓶頸 25
3.1 性能調優 25
3.2 創建性能基綫 27
3.3 識彆資源瓶頸 30
3.3.1 識彆內存瓶頸 30
3.3.2 識彆CPU瓶頸 31
3.3.3 識彆存儲瓶頸 32
3.3.4 識彆網絡帶寬瓶頸 33
3.4 小結 34
第4章 識彆資源薄弱環節 35
4.1 識彆集群薄弱環節 35
4.1.1 檢查Hadoop集群節點的健康狀況 36
4.1.2 檢查輸入數據大小 37
4.1.3 檢查海量I/O和網絡阻塞 38
4.1.4 檢查並發任務不足 39
4.1.5 檢查CPU過飽和 40
4.2 量化Hadoop集群 41
4.3 正確配置集群 44
4.4 小結 47
第5章 強化map和reduce任務 49
5.1 強化map任務 49
5.1.1 輸入數據和塊大小的影響 51
5.1.2 處置小文件和不可拆分文件 51
5.1.3 在Map階段壓縮溢寫記錄 53
5.1.4 計算map任務的吞吐量 55
5.2 強化reduce任務 57
5.2.1 計算reduce任務的吞吐量 58
5.2.2 改善Reduce執行階段 59
5.3 調優map和reduce參數 60
5.4 小結 64
第6章 優化MapReduce任務 65
6.1 使用Combiner 65
6.2 使用壓縮技術 68
6.3 使用正確Writable類型 72
6.4 明智地復用類型 74
6.5 優化mapper和reducer的代碼 76
6.6 小結 78
第7章 最佳實踐與建議 81
7.1 硬件調優與操作係統推薦 81
7.1.1 Hadoop集群檢查錶 81
7.1.2 Bios調優檢查錶 82
7.1.3 OS配置建議 82
7.2 Hadoop最佳實踐與建議 83
7.2.1 部署Hadoop 83
7.2.2 Hadoop調優建議 84
7.2.3 使用MapReduce模闆類代碼 86
7.3 小結 90
· · · · · · (收起)