課程亮點(diǎn)
師資:*講師團(tuán)隊(duì),豐富行業(yè)經(jīng)驗(yàn)和企業(yè)培訓(xùn)經(jīng)驗(yàn)
特色:小班培訓(xùn),精品課程,面授+直播+錄播,上課方式多樣
培訓(xùn):免費(fèi)重聽(tīng)
適用對(duì)象
不限
課程內(nèi)容
*天
主題1:大數(shù)據(jù)平臺(tái)方案與應(yīng)用
傳統(tǒng)大規(guī)模數(shù)據(jù)處理與分析存在的問(wèn)題
大數(shù)據(jù)計(jì)算框架
離線計(jì)算框架
流式計(jì)算框架
內(nèi)存計(jì)算框架
大數(shù)據(jù)分析平臺(tái)方案
CDH 、Hortonworks、MapR
傳統(tǒng)IT公司方案:Oracle Exadata,SAP HANA
核心組件
Hadoop 1.0與2.0版本關(guān)聯(lián)與區(qū)別
Hadoop生態(tài)系統(tǒng)
Apache Hadoop方案
國(guó)外主流大數(shù)據(jù)平臺(tái)方案
國(guó)內(nèi)主流大數(shù)據(jù)平臺(tái)方案與廠商
大數(shù)據(jù)平臺(tái)方案比較
主題2:大數(shù)據(jù)存儲(chǔ)系統(tǒng)
HDFS分布式文件系統(tǒng)
NameNode單點(diǎn)故障解決方案
block的備份策略
fsimage和editslog
HDFS系統(tǒng)架構(gòu)與原理
NameNode功能詳解
DataNode功能詳解
HDFS讀寫(xiě)機(jī)制
HDFS高可用方案
主題3:大數(shù)據(jù)分析技術(shù)(一)–MapReduce計(jì)算框架
MapReduce編程模型
Map處理
Reduce處理
MapReduce處理流程
MapReduce開(kāi)發(fā)高級(jí)應(yīng)用
Combiner技術(shù)
Partitioner技術(shù)
多Reducers應(yīng)用
主題4:SQL on Hadoop大數(shù)據(jù)分析查詢
基于MapReduce的大數(shù)據(jù)查詢Hive
列存儲(chǔ)和行存儲(chǔ)
Hive架構(gòu)與工作原理
Hive數(shù)據(jù)加載
Hive內(nèi)部表和外部表
Hive分區(qū)表和分桶表
Hive的存儲(chǔ)方式
Hive SQL基本操作
第二天
主題5:大數(shù)據(jù)分析技術(shù)(二)– Spark
Spark編程模型
Scala:面向函數(shù)的編程
Scala常見(jiàn)函數(shù)
Spark編譯與運(yùn)行
Spark RDD開(kāi)發(fā)模型
Cache操作
Persist操作與存儲(chǔ)級(jí)別
寬依賴
窄依賴
count
collect
reduce
saveAsTextFile
map
flatmap
filter
reduceByKey
分區(qū)與并行度
Spark RDD運(yùn)行機(jī)制
Spark RDD主要Transformation
Spark RDD主要Action
Spark RDD依賴關(guān)系
Spark緩存機(jī)制
Spark集群架構(gòu)與運(yùn)行模式
本地模式
獨(dú)立模式
YARN模式與Mesos模式
Spark作業(yè)運(yùn)行機(jī)制
執(zhí)行DAG圖
任務(wù)集
executor執(zhí)行模型
BlockManager管理
Spark開(kāi)發(fā)與應(yīng)用實(shí)戰(zhàn)
基于Spark的業(yè)務(wù)日志TopN分析
