課程亮點
以課堂講解、演示、案例分析為主,輔以互動研討、現(xiàn)場答疑、學(xué)以致用。
適用對象
不限
學(xué)習(xí)目標
了解大數(shù)據(jù)業(yè)內(nèi)*新發(fā)展趨勢,深入掌握Hadoop的原理,Hadoop生態(tài)系統(tǒng)
課程內(nèi)容
大數(shù)據(jù)背景與思維
1. 什么是大數(shù)據(jù)
2. 大數(shù)據(jù)技術(shù)的產(chǎn)生背景
3. 大數(shù)據(jù)應(yīng)用場景
4. 大數(shù)據(jù)思維
5. 大數(shù)據(jù)產(chǎn)業(yè)鏈
6. 大數(shù)據(jù)是如何變革各行業(yè)的技術(shù)架構(gòu)、商業(yè)模
式和組織方式
大數(shù)據(jù)應(yīng)用-運營商案例分析
大數(shù)據(jù)時代的數(shù)據(jù)特征與數(shù)據(jù)來源分析
大數(shù)據(jù)時代的發(fā)展趨勢—軟件應(yīng)用的泛互聯(lián)網(wǎng)化
大數(shù)據(jù)時代的發(fā)展趨勢—行業(yè)應(yīng)用垂直整合
大數(shù)據(jù)時代的發(fā)展趨勢—數(shù)據(jù)銀行的誕生
大數(shù)據(jù)時代處理數(shù)據(jù)理念的三個大改變
大數(shù)據(jù)時代的核心技術(shù)-數(shù)據(jù)分析技術(shù)(Hadoop、MPI、BSP)
大數(shù)據(jù)時代的核心技術(shù)-數(shù)據(jù)挖掘
大數(shù)據(jù)分析的核心技術(shù)-可視化技術(shù)精解
大數(shù)據(jù)時代的精髓-預(yù)測技術(shù)
目前運營商大數(shù)據(jù)利用現(xiàn)狀
利用大數(shù)據(jù)存在的問題
數(shù)據(jù)質(zhì)量分析
場景不足
數(shù)據(jù)不統(tǒng)一的問題解決
如何進化金融行業(yè)的大數(shù)據(jù)基礎(chǔ)數(shù)據(jù)
案例分享: 對外數(shù)據(jù)服務(wù)-數(shù)據(jù)到價值的轉(zhuǎn)換, 我們能夠提供的對外大數(shù)據(jù)服務(wù)
案例分享:位置數(shù)據(jù)貨幣化-如何為俏江南提供選址報告
互聯(lián)網(wǎng)金融大數(shù)據(jù)應(yīng)用案例深度解析
大數(shù)據(jù)在互聯(lián)網(wǎng)金融及傳統(tǒng)金融公司的應(yīng)用案例解析-以下幾個案例將貫穿整個培訓(xùn)內(nèi)容, 作為每個章節(jié)的案例分析細化到每個大數(shù)據(jù)的知識點
互聯(lián)網(wǎng)企業(yè)遇到大數(shù)據(jù)的問題
案例分享:海量數(shù)據(jù)金融解決方案
案例分享:基于區(qū)塊鏈的金融信任體系海量數(shù)據(jù)解決方案
案例分享:淘寶飛天平臺實踐
案例分享:微信紅包大數(shù)據(jù)分析
案例分享:互聯(lián)網(wǎng)金融的大數(shù)據(jù)分析
案例分享:金融行業(yè)在風(fēng)控, 營銷, 產(chǎn)品設(shè)計, 營業(yè)網(wǎng)點分析等領(lǐng)域的大數(shù)據(jù)分析
案例分享:一個大型銀行的核心信用系統(tǒng)大數(shù)據(jù)項目分析案例深入剖析
大數(shù)據(jù)企業(yè)級平臺選型方案
開源方案:Hadoop,Spark
海量數(shù)據(jù)處理系統(tǒng)
的架構(gòu)設(shè)計
這個部分主要講解海量數(shù)據(jù)處理的架構(gòu)設(shè)計,針對海量數(shù)據(jù)的問題設(shè)計海量數(shù)據(jù)的架構(gòu)解決方案。
海量數(shù)據(jù)處理的系統(tǒng)場景
大數(shù)據(jù)時代的數(shù)據(jù)架構(gòu)解決方案
海量數(shù)據(jù)處理的架構(gòu)匯總
8種海量數(shù)據(jù)處理的架構(gòu)設(shè)計比較
分布式系統(tǒng)架構(gòu)的海量數(shù)據(jù)處理設(shè)計
海量數(shù)據(jù)處理設(shè)計
典型案例分析:結(jié)合一個500強實時數(shù)據(jù)系統(tǒng)的實例案例進行分析,詳細分析海量數(shù)據(jù)處理的架構(gòu)設(shè)計
Hadoop集群架構(gòu)搭建及實踐案例沙盤演練
Hadoop版本介紹與選擇
Hadoop部署實踐
系統(tǒng)環(huán)境配置
進程分布規(guī)劃與啟動
Hadoop基本使用操作
HDFS核心架構(gòu)分析
開發(fā)環(huán)境準備
讀文件
寫文件
Eclipse與Hadoop的集成
基于HDFS的命令總結(jié)
基于的API編程模型及其開發(fā)演練
Hadoop集群架構(gòu)搭建方法
Hadoop集群架構(gòu)性能管理
Namenode單點問題改進
HDFS,NameNode,DataNode的調(diào)優(yōu)和節(jié)點擴展*佳實踐
主要調(diào)優(yōu)工具和性能監(jiān)控工具
Hadoop集群對于硬件的要求和選型
Hadoop集群中對硬件、操作系統(tǒng)的調(diào)優(yōu)方法
實際案例分析
基于Hadoop的集群解決方案
典型案例分析:結(jié)合一個大型金融行業(yè)大數(shù)據(jù)系統(tǒng)的實例案例分析及演練Hadoop集群架構(gòu)搭建過程
典型案例分析:通過HDFS API完成一個復(fù)雜數(shù)據(jù)系統(tǒng)的操作過程
動手實驗:完成Hadoop整體集群體系的搭建,配置與優(yōu)化
HDFS原理及高級程序?qū)崙?zhàn)演練(深入理解HDFS)
HDFS架構(gòu)及原理
HDFS NameNode、DataNode解析
HDFS 副本機制塊機制解析
HDFS實戰(zhàn)-命令行等使用
HDFS命令行工具
啟動、停止HDFS服務(wù)
如何查看HDFS日志
如何查看HDFS Web控制臺
HDFS參數(shù)配置
PB級Hadoop存儲架構(gòu)設(shè)計
