 班級規模及環境--熱線:4008699035 手機:15921673576( 微信同號) |
|
每期人數限3到5人。 |
| 上課時間和地點 |
上課地點：【上海】：同濟大學(滬西)/新城金郡商務樓(11號線白銀路站) 【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學成教院 【北京分部】：北京中山學院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領館區1號（中和大道） 【沈陽分部】：沈陽理工大學/六宅臻品 【鄭州分部】：鄭州大學/錦華大廈 【石家莊分部】：河北科技大學/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協同大廈
最近開課時間(周末班/連續班/晚班）：2020年3月16日 |
| 實驗設備 |
☆資深工程師授課
☆注重質量
☆邊講邊練
☆合格學員免費推薦工作
★實驗設備請點擊這兒查看★ |
| 質量保障 |
1、培訓過程中，如有部分內容理解不透或消化不好，可免費在以后培訓班中重聽；
2、培訓結束后,授課老師留給學員聯系方式,保障培訓效果,免費提供課后技術支持。
3、培訓合格學員可享受免費推薦就業機會。 |
課程大綱 |
| |
大數據Hadoop最佳實踐培訓
?
大數據Hadoop最佳實踐培訓
培訓內容
第一部分
第1個主題：Hadoop思考
1.Hadoop的設計目標和適用場景
2.Hadoop架構解析
3.MapReduce工作原理和案例說明
第2個主題：Hadoop集群與管理
1、?Hadoop集群的搭建
2、?Hadoop集群的監控
3、?Hadoop集群的管理
4、?集群下運行MapReduce程序
第3主題：徹底掌握HDFS?(具備修改HDFS具體源碼實現的能力)
1、HDFS體系架構剖析
2、NameNode、DataNode、SecondaryNameNode架構
3、保證NodeName高可靠性最佳實踐
4、DataNode中Block劃分的原理和具體存儲方式
5、修改Namenode、DataNode數據存儲位置
6、使用CLI操作HDFS
7、使用Java操作HDFS
第4主題：徹底掌握HDFS?(具備修改HDFS具體源碼實現的能力)
1、RPC架構剖析
2、源碼剖析Hadoop構建于RPC之上
3、源碼剖析HDFS的RPC實現
4、源碼剖析客戶端與與NameNode的RPC通信
第5個主題：徹底掌握MapReduce（從代碼的角度剖析MapReduce執行的具體過程并具備開發MapReduce代碼的能力）
1、MapReduce執行的經典步驟
2、wordcount運行過程解析
3、Mapper和Reducer剖析
4、自定義Writable
5、新舊API的區別以及如何使用就API
6、把MapReduce程序打包成Jar包并在命令行運行
第6個主題：徹底掌握MapReduce（具備掌握Hadoop如何把HDFS文件轉化為Key-Value讓供Map調用的能力）
1、?Hadoop是如何把HDFS文件轉化為鍵值對的？
2、?源碼剖析Hadoop讀取HDFS文件并轉化為鍵值對的過程實現
3、?源碼剖析轉化為鍵值對后供Map調用的過程實現
第7個主題：徹底掌握MapReduce（具備掌握MapReduce內部運行和實現細節并改造MapReduce的能力）
1、?Hadoop內置計數器及如何自定義計數器
2、?Combiner具體的作用和使用以及其使用的限制條件
3、?Partitioner的使用最佳實踐
4、?Hadoop內置的排序算法剖析
5、?自定義排序算法
6、?Hadoop內置的分組算法
7、?自定義分組算法
8、?MapReduce常見場景和算法實現
第二部分
第1個主題：HBase架構設計和實現剖析
1、?HBase定義
2、?HBase與RDBMS的對比
3、?數據模型
4、?系統架構
5、?HBase上的MapReduce
6、?表的設計
第2個主題：HBase集群及其管理
1、?集群的搭建過程講解
2、?集群的監控
3、?集群的管理
第3個主題：HBase客戶端
1、?HBase?Shell以及演示
2、?Java客戶端以及代碼演示
第4個主題：HBase案例實戰1---使用HBase實現微博系統
1.?項目架構和設計
2.?開發環境搭建
3.?實現用戶登錄和注銷
4.“關注”功能的設計和實現
5.“發微博”功能的設計和實現
6.發布和運行整個基于HBase的微博系統
第5個主題：HBase與MapReduce
1.?HBase與MapReduce的關系
2.?HBase如何使用MapReduce
第6個主題：HBase案例實戰2---話單查詢與統計
1.?項目架構設計
2.?開發環境搭建
3.?話單入庫和查詢的設計與實現
4.統計功能的設計與實現
第7個主題：安裝和使用Hive
1.?Hive剖析
2.?安裝Hive
3.Hive的基本使用
第8個主題：Hive與HDFS、MapReduce
1.?Hive向HDFS存入結構化數據
2.?使用MySQL作為Hive的元數據庫
3.Hive與MapReduce
第三部分
第1個主題：Hive
1.?Hive的Java擴展開發
2.?Hive?UDF和UDAF開發
3.?Hive常見場景，實戰練習
第2個主題：Hive案例實戰---數據統計
1.?項目架構設計
2.?表結構設計
3.數據的插入與統計實現
第3個主題：Sqoop
1.?Sqoop原理
2.?Sqoop使用詳解
3.?用Sqoop實現HDFS/Hive與關系數據庫的數據交互
4.?用Sqoop實現HBase與關系數據庫的數據交互
第4個主題：電商業日志流量分析項目
電商業日志流量分析項目，互聯網企業對海量日志的分析是Hadoop應用的一個重要用途，也是對網站流量、客戶行為分析的重要途徑。該項目整合Hive、Hbase、Sqoop等常用組件，涉及從后臺處理到前臺呈現的每一個技術環節。包括：
1·業務需求介紹
2·數據建模
3·后臺算法設計
4·后臺業務處理
5·前臺WEB展示等
第5個主題：Hadoop開發者之路
1.?Hadoop技能模型
2.?Hadoop開發者最佳學習路線和方式
3.Hadoop開發者最佳成長路線
|
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業