Hadoop性能調優培訓
? Hadoop性能調優培訓
培訓大綱
模塊
課程內容
案例及實驗
Hadoop參數調優
l?選擇適合Hadoop的硬件配置
l?Hadoop配置項優化
l?網絡帶寬參數調優
l?選擇正確的JDK
l?Hadoop作業調優
l?Linux操作系統優化
l?其他配置和參數調優
l?Hadoop硬件優化
l?不是所有的硬件都合適拿來直接使用
l?硬件為什么不做raid？
l?設置網絡的注意事項
l?中間結果壓縮對磁盤和網絡的優化
l?常見異?，F象及處理方法
Hive性能優化
l?Hive參數優化
l?Hive其他優化
l?自有軟件Phphiveadmin的介紹及使用
l?對group，join的優化
l?其他參數設計
l?設定并行執行嵌套sql
l?為什么使用外部表和partition
l?Phphiveadmin帶來的優勢和便利
精彩案例解析
案例一：那namenode?被重新格式化，datanode無法連接
案例二：硬盤損壞
案例三：錯誤用戶啟動hadoop
案例四：tasktracker重啟后假死
案例五：jobtracker無故宕機
HBASE調優
l?HBase配置優化綜述
l?讀優化中需要調整的參數
l?寫優化中需要調整的參數
l?Hbase-site.xml參數調優
l?JVM優化中需要調整的參數
l?Split?&?compact優化相關參數
l?表設計優化相關參數
l?Hbase客戶端優化相關參數
l?監控工具使用方法及注意事項
l?Memstore合并設置的時機選擇
l?Mslab使用設置
l?合并storefile策略設置技巧
l?Memstore??flush?設置時機選擇
l?Hbase-env.sh、Single、multi-thread、CMS使用及參數調用
l?GC回收垃圾時機、GC日志打印設置
l?GC階段，region無法提供服務如何如何處理
l?安裝、使用步驟、主要監控參數，如何根據參數進行調優設置
精彩案例解析
案例1：hot??region造成讀請求瓶頸
現象：某臺機器的某個region讀請求非常頻繁，大量讀請求集中在一臺機器的某個region會造成該機器的壓力陡增，JVM內存居高不下，load很高，使得client讀取數據上達到瓶頸值。
Mapreduce的性能調優
Mapreduce中需要調優的相關參數
??Dfs.block.size
??Mapreduce
??Io.sort.mb
??Io.sort.spill.percent
??Mapred.local.dir
??Mapred.map.tasksmapred.tasktracker.map.tasks.maximum
??Mapred.reduce.?tasksmapred.?Sktracker.reduce.tasks.?sktracker
l?Map中選擇合理的塊大小
l?Reduce并行復制線程的調優
l?Map/reduce內存配置的原則及方法
l?槽位數計算方法
l?調度器的選擇集調優
精彩案例解析
案例1：控制map?&?reduce個數
現象：map個數取決于split個數，如果源文件使用壓縮存儲，則不可分割，一個文件一個map。非壓縮文件使用默認block.size進行切分。對reduce因為是中間數據，可以控制reduce數量。