欧美色欧美亚洲另类七区,惠美惠精品网,五月婷婷一区,国产亚洲午夜

       1、培訓(xùn)過程中，如有部分內(nèi)容理解不透或消化不好，可免費(fèi)在以后培訓(xùn)班中重聽；
       2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費(fèi)提供課后技術(shù)支持。
       3、培訓(xùn)合格學(xué)員可享受免費(fèi)推薦就業(yè)機(jī)會(huì)。☆合格學(xué)員免費(fèi)頒發(fā)相關(guān)工程師等資格證書，提升職業(yè)資質(zhì)。專注高端技術(shù)培訓(xùn)15年，端海學(xué)員的能力得到大家的認(rèn)同，受到用人單位的廣泛贊譽(yù)，端海的證書受到廣泛認(rèn)可。

• 第1章 課程介紹
  課程介紹
• 1-1 PySpark導(dǎo)學(xué) 試看
  1-2 OOTB環(huán)境演示
  第2章 實(shí)戰(zhàn)環(huán)境搭建
  工欲善其事必先利其器，本章講述JDK、Scala、Hadoop、Maven、Python3以及Spark源碼編譯及部署
• 2-1 -課程目錄
  2-2 -Java環(huán)境搭建
  2-3 -Scala環(huán)境搭建
  2-4 -Hadoop環(huán)境搭建
  2-5 -Maven環(huán)境搭建
  2-6 -Python3環(huán)境部署
  2-7 -Spark源碼編譯及部署
  第3章 Spark Core核心RDD
  本章詳細(xì)講解RDD是什么以及特性(面試常考)、Spark中兩個(gè)核心類SparkContext和SparkConf、pyspark啟動(dòng)腳本分析、RDD的創(chuàng)建方式以及如何使用IDE開發(fā)Python Spark應(yīng)用程序并提交到服務(wù)器上運(yùn)行
• 3-1 -課程目錄
  3-2 -RDD是什么
  3-3 -通過電影描述集群的強(qiáng)大之處
  3-4 -RDD的五大特性
  3-5 -RDD特性在源碼中的體現(xiàn) 試看
  3-6 -圖解RDD
  3-7 -SparkContext&SparkConf詳解
  3-8 -pyspark
  3-9 -RDD創(chuàng)建方式一
  3-10 -RDD創(chuàng)建方式二
  3-11 -使用IDE開發(fā)pyspark應(yīng)用程序
  3-12 -提交pyspark作業(yè)到服務(wù)器上運(yùn)行
  第4章 Spark Core RDD編程
  本章將針對(duì)RDD中常用的算子進(jìn)行詳細(xì)案例講解，并進(jìn)行綜合案例實(shí)戰(zhàn)
• 4-1 -課程目錄
  4-2 -RDD常用操作
  4-3 -map算子使用詳解
  4-4 -filter算子詳解
  4-5 -flatMap算子詳解
  4-6 -groupByKey算子詳解
  4-7 -reduceByKey算子詳解
  4-8 -sortByKey算子詳解
  4-9 -union算子使用詳解
  4-10 -distinct算子使用詳解
  4-11 -join算子詳解
  4-12 -action常用算子詳解
  4-13 -算子綜合案例實(shí)戰(zhàn)一詞頻統(tǒng)計(jì)
  4-14 -算子綜合案例實(shí)戰(zhàn)之詞頻統(tǒng)計(jì)重構(gòu)
  4-15 -算子綜合案例實(shí)戰(zhàn)之TopN統(tǒng)計(jì)
  4-16 -算子綜合案例實(shí)戰(zhàn)之平均數(shù)統(tǒng)計(jì)
  第5章 Spark運(yùn)行模式
  本章將介紹Spark的幾種運(yùn)行模式，需要重點(diǎn)掌握on YARN模式
• 5-1 -課程目錄
  5-2 -local模式運(yùn)行
  5-3 -standalone模式環(huán)境搭建及pyspark運(yùn)行
  5-4 -standalone模式spark-submit運(yùn)行
  5-5 -yarn運(yùn)行模式詳解
  第6章 Spark Core進(jìn)階
  本章將介紹Spark中的核心術(shù)語、運(yùn)行架構(gòu)、并對(duì)比Spark和MapReduce的概念區(qū)分、存儲(chǔ)策略及選擇方式、寬窄依賴及Shuffle
• 6-1 -課程目錄
  6-2 -Spark核心概念詳解
  6-3 -結(jié)合Spark UI詳解Spark核心概念 試看
  6-4 -Spark運(yùn)行架構(gòu)及注意事項(xiàng)
  6-5 -Spark和Hadoop重要概念區(qū)分
  6-6 -Spark緩存的作用
  6-7 -Spark緩存概述
  6-8 -Spark緩存策略詳解
  6-9 -Spark緩存策略選擇依據(jù)
  6-10 -Spark Lineage機(jī)制
  6-11 -Spark窄依賴和寬依賴
  6-12 -Spark Shuffle概述
  6-13 -圖解RDD的shuffle以及依賴關(guān)系
  第7章 Spark Core調(diào)優(yōu)
  本章將從Spark作業(yè)性能指標(biāo)、序列化、內(nèi)存管理、廣播變量及數(shù)據(jù)本地化這幾個(gè)方面來介紹Spark作業(yè)的調(diào)優(yōu)
• 7-1 -課程目錄
  7-2 -優(yōu)化之HistoryServer配置及使用
  7-3 -優(yōu)化之序列化
  7-4 -優(yōu)化之內(nèi)存管理
  7-5 -優(yōu)化之廣播變量
  7-6 -優(yōu)化之?dāng)?shù)據(jù)本地性
  第8章 Spark SQL
  本章將講解Spark SQL的架構(gòu)、DataFrame&Dataset、以及如何使用Python API來對(duì)DataFrame進(jìn)行編程
• 8-1 -課程目錄
  8-2 -Spark SQL前世今生
  8-3 -Spark SQL概述&錯(cuò)誤認(rèn)識(shí)糾正
  8-4 -Spark SQL架構(gòu)
  8-5 -DataFrame&Dataset詳解
  8-6 -DataFrame API編程
  8-7 -RDD與DataFrame互操作方法一
  8-8 -RDD與DataFrame互操作方法二
  8-9 -Spark SQL其他
  第9章 Spark Streaming
  本章將講解Spark Streaming的核心概念、執(zhí)行原理、以及如何Python API來對(duì)Spark Streaming進(jìn)行編程
• 9-1 -課程目錄
  9-2 -Spark Streaming概述
  9-3 -實(shí)時(shí)流處理框架對(duì)比
  9-4 -Spark Streaming執(zhí)行原理
  9-5 -從詞頻統(tǒng)計(jì)案例來了解SparkStreaming
  9-6 -核心概念之StreamingContext
  9-7 -核心概念之DStream及常用操作
  9-8 -SparkStreaming操作文件系統(tǒng)數(shù)據(jù)實(shí)戰(zhàn)
  第10章 Azkaban基礎(chǔ)篇
  本章將講解Azkaban的特性、架構(gòu)、運(yùn)行模式、源碼編譯及部署、快速入門
• 10-1 Azkaban基礎(chǔ)篇課程目錄
  10-2 -工作流概述
  10-3 -工作流在大數(shù)據(jù)處理中的重要性
  10-4 -常用調(diào)度框架介紹
  10-5 -Azkaban概述及特性
  10-6 -Azkaban架構(gòu)
  10-7 -Azkaban運(yùn)行模式詳解
  10-8 -Azkaban源碼編譯
  10-9 -Azkaban solo server環(huán)境部署
  10-10 -Azkaban快速入門案例
  第11章 Azkaban實(shí)戰(zhàn)篇
  本章將講解如何使用Azkaban來完成HDFS、MapReduce、Hive作業(yè)的調(diào)度、定時(shí)作業(yè)調(diào)度以及郵件告警
• 11-1 -Azkaban實(shí)戰(zhàn)篇課程目錄
  11-2 -依賴作業(yè)在Azkaban中的使用
  11-3 -HDFS作業(yè)在Azkaban中的使用
  11-4 -MapReduce作業(yè)在Azkaban中的使用
  11-5 -Hive作業(yè)在Azkaban中的使用
  11-6 -定時(shí)調(diào)度作業(yè)在Azkaban中的使用
  11-7 -郵件告警及SLA在Azkaban中的使用
  第12章 Azkaban進(jìn)階篇
  本章將講解Azkaban在生產(chǎn)上的部署、權(quán)限管理、Ajax API、Plugin、以及短信和調(diào)度框架的二次開發(fā)
• 12-1 -Azkaban進(jìn)階篇課程目錄
  12-2 -Two Server Mode之?dāng)?shù)據(jù)庫準(zhǔn)備工作
  12-3 -Two Server Mode之AzkabanWebServer搭建
  12-4 -Two Server Mode之AzkabanExecServer搭建
  12-5 -Two Server Mode之使用實(shí)戰(zhàn)
  12-6 -Azkaban權(quán)限管理
  12-7 -Azkaban中AJAX API使用
  12-8 -Azkaban Plugin的使用
  12-9 -Azkaban中短信告警改造思路
  12-10 Azbakan在生產(chǎn)上使用的改造思路
  第13章 項(xiàng)目實(shí)戰(zhàn)
  本章將講解在構(gòu)建大數(shù)據(jù)平臺(tái)的技術(shù)選型、集群升級(jí)資源評(píng)估，并使用Spark對(duì)氣象數(shù)據(jù)進(jìn)行分析，講分析結(jié)果寫入ES，并通過Kibana進(jìn)行統(tǒng)計(jì)結(jié)果的可視化展示
• 13-1 -課程目錄
  13-2 -大數(shù)據(jù)項(xiàng)目開發(fā)流程
  13-3 -大數(shù)據(jù)企業(yè)級(jí)應(yīng)用
  13-4 -企業(yè)級(jí)大數(shù)據(jù)分析平臺(tái)
  13-5 -集群數(shù)據(jù)量預(yù)估
  13-6 -集群機(jī)器規(guī)模&資源&作業(yè)規(guī)劃
  13-7 -項(xiàng)目需求
  13-8 -數(shù)據(jù)加載成DataFrame并選出需要的列
  13-9 -SparkSQL UDF函數(shù)開發(fā)
  13-10 -每年Grade出現(xiàn)的次數(shù)統(tǒng)計(jì)
  13-11 -Grade在每年中的占比統(tǒng)計(jì)
  13-12 -ES部署及使用
  13-13 -Kibana部署及使用
  13-14 -將作業(yè)運(yùn)行到Y(jié)ARN上
  13-15 -統(tǒng)計(jì)分析結(jié)果寫入ES測(cè)試
  13-16 -統(tǒng)計(jì)分析結(jié)果入ES并通過Kibana圖形化展示