課程亮點

師資:*講師團(tuán)隊,豐富行業(yè)經(jīng)驗和企業(yè)培訓(xùn)經(jīng)驗

特色:小班培訓(xùn),精品課程,面授+直播+錄播,上課方式多樣

培訓(xùn):免費重聽

適用對象

不限

學(xué)習(xí)目標(biāo)

掌握Cloudera Manager管理集群的功能

課程內(nèi)容

*天

▲ Apache Hadoop介紹

● Hadoop介紹及優(yōu)勢

● 基本概念

● Hadoop核心組件

● 實操練習(xí):網(wǎng)絡(luò)配置

▲ Hadoop集群安裝

● 集群管理方案

● Cloudera Manager特征

● Cloudera Manager安裝

● CDH介紹及安裝

● 實操練習(xí)1:安裝Cloudera Manager服務(wù)

● 實操練習(xí)2:創(chuàng)建Hadoop集群

▲ Hadoop分布式文件系統(tǒng)(HDFS)

● HDFS特性

● 讀寫文件

● NameNode內(nèi)存注意事項

● HDFS安全簡介

● HDFS web UI

● 使用hadoop 文件 shell

● 實操練習(xí):使用HDFS

第二天

▲ YARN上的MapRduce和Spark

● 計算平臺在hadoop中扮演的角色

● YARN(集群資源管理器)的介紹

● MapRduce概念介紹

● Spark概念介紹

● 在YARN上運行計算框架

● 通過web UIs和shell探索YARN應(yīng)用程序

● YARN應(yīng)用程序日志介紹

● 實操練習(xí):運行YARN應(yīng)用程序

▲ Hadoop配置及服務(wù)運行日志

● Cloudera Manager的配置管理機(jī)制

● 定位配置參數(shù)及更改應(yīng)用配置

● 管理角色實例及添加服務(wù)

● 配置HDFS服務(wù)

● 配置Hadoop Daemon日志

● 配置YARN服務(wù)

● 實操練習(xí):探索hadoop配置及守護(hù)程序日志

▲ 向HDFS導(dǎo)入數(shù)據(jù)

● 使用Flume從外部數(shù)據(jù)源實時導(dǎo)入數(shù)據(jù)

● 使用Sqooq從關(guān)系數(shù)據(jù)庫中導(dǎo)入數(shù)據(jù)

● REST接口介紹

● 導(dǎo)入數(shù)據(jù)的*佳實踐

● 實操練習(xí)1:Flume的使用

● 實操練習(xí)2:使用Sqooq導(dǎo)入數(shù)據(jù)

第三天

▲ Hadoop集群規(guī)劃

● 總體規(guī)劃考慮因素

● 硬件選擇

● 虛擬化選項

● 云部署選項

● 網(wǎng)絡(luò)考慮因素

● 節(jié)點配置

▲ Hive、Impala及Pig的安裝及配置

● Hive介紹

● Impala介紹

● Pig介紹

● Cloudera搜索

● 實操練習(xí):使用Hive和Impala查詢HDFS

▲ Hadoop客戶端及Hue

● Hadoop客戶端介紹

● 安裝和配置Hadoop客戶端

● 安裝和配置Hue

● 使用Hue進(jìn)行身份驗證及授權(quán)

● 實操練習(xí):使用Hue來控制hadoop用戶訪問

▲ 集群高級配置

● 高級配置參數(shù)

● Hadoop端口配置

● HDFS機(jī)柜感知配置

● HDFS高可靠性配置

● 實操練習(xí):配置HDFS的高可靠性