面對(duì)大數(shù)據(jù),各種處理系統(tǒng)層出不窮,各有特色.總體來(lái)說(shuō),我們普開數(shù)據(jù)可以總結(jié)出的發(fā)展趨勢(shì)，以下是小編為你整理的怎么學(xué)好大數(shù)據(jù) ?

(1) 數(shù)據(jù)處理引擎專用化:為了降低成本,提高能效,大數(shù)據(jù)系統(tǒng)需要擺脫傳統(tǒng)的通用體系,趨向?qū)Ｓ没軜?gòu)技術(shù).為此,國(guó)內(nèi)外的互聯(lián)網(wǎng)龍頭企業(yè)都在基于開源系統(tǒng)開發(fā)面向典型應(yīng)用的大規(guī)模、高通量、低成本、強(qiáng)擴(kuò)展的專用化系統(tǒng);

(2) 數(shù)據(jù)處理平臺(tái)多樣化:自2008年以來(lái)克隆了Google的GFS和MapReduce的Apache Hadoop逐漸被互聯(lián)網(wǎng)企業(yè)所廣泛接納,并成為大數(shù)據(jù)處理領(lǐng)域的事實(shí)標(biāo)準(zhǔn).但在全面兼容Hadoop的基礎(chǔ)上,Spark通過(guò)更多的利用內(nèi)存處理大幅提高系統(tǒng)性能.而Scribe,Flume,Kafka,Storm,Drill,Impala,TEZ/Stinger,Presto,Spark/Shark等的出現(xiàn)并不是取代Hadoop,而是擴(kuò)大了大數(shù)據(jù)技術(shù)的生態(tài)環(huán)境,促使生態(tài)環(huán)境向良性化和完整化發(fā)展. ?

(3) 數(shù)據(jù)計(jì)算實(shí)時(shí)化:在大數(shù)據(jù)背景下,作為批量計(jì)算的補(bǔ)充,旨在將PB級(jí)數(shù)據(jù)的處理時(shí)間縮短到秒級(jí)的實(shí)時(shí)計(jì)算受到越來(lái)越多的關(guān)注. ?

大數(shù)據(jù)學(xué)習(xí)的(必備技能) ?

1. 數(shù)據(jù)結(jié)構(gòu) ?

2. 關(guān)系型數(shù)據(jù)庫(kù) ?

3. Linux系統(tǒng)操作 ?

4. Linux操作系統(tǒng)概述 ?

5. 安裝Linux操作系統(tǒng) ?

6. 圖形界面操作基礎(chǔ) ?

7. Linux字符界面基礎(chǔ) ?

8. 字符界面操作進(jìn)階 ?

9. 用戶、組群和權(quán)限管理 ?

10. 文件系統(tǒng)管理 ?

11. 軟件包管理與系統(tǒng)備份 ?

12. Linux網(wǎng)絡(luò)配置 ?

主要掌握Linux操作系統(tǒng)的理論基礎(chǔ)和服務(wù)器配置實(shí)踐知識(shí)，同時(shí)通過(guò)大量實(shí)驗(yàn)，著重培養(yǎng)學(xué)生的動(dòng)手能力。使學(xué)生了解Linux操作系統(tǒng)在行業(yè)中的重要地位和廣泛的使用范圍。在學(xué)習(xí)Linux的基礎(chǔ)上，加深對(duì)服務(wù)器操作系統(tǒng)的認(rèn)識(shí)和實(shí)踐配置能力。加深對(duì)計(jì)算機(jī)網(wǎng)絡(luò)基礎(chǔ)知識(shí)的理解，并在實(shí)踐中加以應(yīng)用。掌握Linux操作系統(tǒng)的安裝、命令行操作、用戶管理、磁盤管理、文件系統(tǒng)管理、軟件包管理、進(jìn)程管理、系統(tǒng)監(jiān)測(cè)和系統(tǒng)故障排除。掌握Linux操作系統(tǒng)的網(wǎng)絡(luò)配置、DNS、DHCP、HTTP、FTP、SMTP和POP3服務(wù)的配置與管理。為更深一步學(xué)習(xí)其它網(wǎng)絡(luò)操作系統(tǒng)和軟件系統(tǒng)開發(fā)奠定堅(jiān)實(shí)的基礎(chǔ)。與此同時(shí)，如果大家有時(shí)間把javaweb及框架學(xué)習(xí)一番，會(huì)讓你的大數(shù)據(jù)學(xué)習(xí)更自由一些。 ?

學(xué)大數(shù)據(jù)要注意的事項(xiàng) ?

特征。特征分析是從數(shù)據(jù)庫(kù)中的一組數(shù)據(jù)中提取出關(guān)于這些數(shù)據(jù)的特征式，這些特征式表達(dá)了該數(shù)據(jù)集的總體特征。如營(yíng)銷人員通過(guò)對(duì)客戶流失因素的特征提取，可以得到導(dǎo)致客戶流失的一系列原因和主要特征，利用這些特征可以有效地預(yù)防客戶的流失。

?

變化和偏差分析。偏差包括很大一類潛在有趣的知識(shí)，如分類中的反常實(shí)例，模式的例外，觀察結(jié)果對(duì)期望的偏差等，其目的是尋找觀察結(jié)果與參照量之間有意義的差別。在企業(yè)危機(jī)管理及其預(yù)警中，管理者更感興趣的是那些意外規(guī)則。意外規(guī)則的挖掘可以應(yīng)用到各種異常信息的發(fā)現(xiàn)、分析、識(shí)別、評(píng)價(jià)和預(yù)警等方面。 ?

Web頁(yè)挖掘。隨著Internet的迅速發(fā)展及Web 的全球普及， 使得Web上的信息量無(wú)比豐富，通過(guò)對(duì)Web的挖掘，可以利用Web 的海量數(shù)據(jù)進(jìn)行分析，收集政治、經(jīng)濟(jì)、政策、科技、金融、各種市場(chǎng)、競(jìng)爭(zhēng)對(duì)手、供求信息、客戶等有關(guān)的信息，集中精力分析和處理那些對(duì)企業(yè)有重大或潛在重大影響的外部環(huán)境信息和內(nèi)部經(jīng)營(yíng)信息，并根據(jù)分析結(jié)果找出企業(yè)管理過(guò)程中出現(xiàn)的各種問(wèn)題和可能引起危機(jī)的先兆，對(duì)這些信息進(jìn)行分析和處理，以便識(shí)別、分析、評(píng)價(jià)和管理危機(jī)。 ?

Mesos(分布式資源管理器) ?

Mesos誕生于UC Berkeley的一個(gè)研究項(xiàng)目，現(xiàn)已成為Apache項(xiàng)目，當(dāng)前有一些公司使用Mesos管理集群資源，比如Twitter。 ?

與yarn類似，Mesos是一個(gè)資源統(tǒng)一管理和調(diào)度的平臺(tái)，同樣支持比如MR、steaming等多種運(yùn)算框架。 ?

Tachyon(分布式內(nèi)存文件系統(tǒng)) ?

Tachyon(/'t?ki:??n/ 意為超光速粒子)是以內(nèi)存為中心的分布式文件系統(tǒng)，擁有高性能和容錯(cuò)能力， ?

能夠?yàn)榧嚎蚣?如Spark、MapReduce)提供可靠的內(nèi)存級(jí)速度的文件共享服務(wù)。 ?

Tachyon誕生于UC Berkeley的AMPLab。 ?

Tez(DAG計(jì)算模型) ?

Tez是Apache*開源的支持DAG作業(yè)的計(jì)算框架，它直接源于MapReduce框架，核心思想是將Map和Reduce兩個(gè)操作進(jìn)一步拆分， ?

即Map被拆分成Input、Processor、Sort、Merge和Output， Reduce被拆分成Input、Shuffle、Sort、Merge、Processor和Output等， ?

這樣，這些分解后的元操作可以任意靈活組合，產(chǎn)生新的操作，這些操作經(jīng)過(guò)一些控制程序組裝后，可形成一個(gè)大的DAG作業(yè)。 ?

目前hive支持mr、tez計(jì)算模型，tez能完美二進(jìn)制mr程序，提升運(yùn)算性能。 ?