授課方式：培訓課程 + 案例講解 + 小組討論，60%案例講解，40%實踐演練
課程目標：本次課程以實際的演練（環(huán)境部署，程序開發(fā)）為主，分享大規(guī)模Hadoop應用的一線最有效實用經驗，實踐與理論相結合，讓學員能夠對Hadoop生態(tài)系統(tǒng)有一個清晰明了的認識，理解Hadoop系統(tǒng)適用的場景，掌握MapReduce與Hive的中高級應用開發(fā)技能，快速高效搭建穩(wěn)定可靠的Hadoop集群，滿足生產環(huán)境的標準。
課程內容的分為4個部分：
? 進入Hadoop的精彩世界，介紹Hadoop生態(tài)系統(tǒng)的各個組成模塊與適用場景。
? Hadoop部署，編程與管理，講解演示在生產環(huán)境中選用和配置服務器需要注意的事項，介紹HDFS編程的Java API使用。
? MapReduce編程：講解演示MapReduce的中高級應用開發(fā)技能。
? Hive與HBase編程：根據實際例子講解Hive的使用與UDF的開發(fā)，以及如何通過JAVA編寫HBase應用。
培訓內容：
進入Hadoop的精彩世界 文件存儲-HDFS
HDFS-工作原理
數據計算MapReduce
MapReduce工作原理
SQL分析-Hive
海量實時讀寫-HBase
工作流調度-0oize
分布式協(xié)調系統(tǒng)--Zookeeper
Hadoop部署與編程 Hadoop版本介紹與選擇
Hadoop部署實踐
Hadoop安裝文件構成與配置體系
機器硬件建議配置
系統(tǒng)環(huán)境配置
基本參數配置與說明
進程分布規(guī)劃與啟動
Hadoop基本使用操作
HDFS
權限
MapReduce
HDFS編程
開發(fā)環(huán)境準備
讀文件
寫文件
Hadoop系統(tǒng)容災策略
Hadoop資源調度策略
Hadoop安全
Hadoop系統(tǒng)監(jiān)控與報警策略
MapReduce編程 MapReduce的定義與工作機制
MapReduce與分布式計算
編程實戰(zhàn)
MapReduce程序編寫
基于MapReduce的Sort操作
基于MapReduce的Join操作
Hadoop多語言編程框架Streaming
代碼調試
運行日志
Hive與HBase編程 Hive環(huán)境部署與搭建
Hive工作機制
Hive語法與實踐
數據壓縮選擇
gzip
bz2
lzo
rcfile
HBase編程示例
HBase系統(tǒng)架構
HBase性能測試
Hadoop系統(tǒng)管理 Hadoop系統(tǒng)容災策略
Hadoop資源調度策略
Hadoop高級配置參數
Hadoop安全
Hadoop系統(tǒng)監(jiān)控與報警策略
