大數(shù)據(jù)是一個(gè)含義廣泛的術(shù)語(yǔ)，是指數(shù)據(jù)集，如此龐大而復(fù)雜的，他們需要專門設(shè)計(jì)的硬件和軟件工具進(jìn)行處理。該數(shù)據(jù)集通常是萬(wàn)億或EB的大小。以下是小編為你整理的大數(shù)據(jù)該怎么學(xué)習(xí) ?

HADOOPP 是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。但是HADOOPP 是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。HADOOPP 是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。 ?

HPCC高性能計(jì)算與 通信”的報(bào)告。開發(fā)可擴(kuò)展的計(jì)算系統(tǒng)及相關(guān)軟件，以支持太位級(jí)網(wǎng)絡(luò)傳輸性能，開發(fā)千兆 比特網(wǎng)絡(luò)技術(shù)，擴(kuò)展研究和教育機(jī)構(gòu)及網(wǎng)絡(luò)連接能力。

Storm是自由的開源軟件，一個(gè)分布式的、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。Storm可以非?？煽康奶幚睚嫶蟮臄?shù)據(jù)流，用于處理HADOOPP的批量數(shù)據(jù)。 ?

為了幫助企業(yè)用戶尋找更為有效、加快HADOOPP數(shù)據(jù)查詢的方法，Apache發(fā)起了一項(xiàng)名為“Drill”的開源項(xiàng)目。 ?

Pentaho BI 平臺(tái)不同于傳統(tǒng)的BI 產(chǎn)品，它是一個(gè)以流程為中心的，面向解決方案(Solution)的框架。其目的在于將一系列企業(yè)級(jí)BI產(chǎn)品、開源軟件、API等等組件集成起來(lái)，方便商務(wù)智能應(yīng)用的開發(fā)。 ?

RapidMiner是*的數(shù)據(jù)挖掘解決方案，在一個(gè)非常大的程度上有著先進(jìn)技術(shù)。它數(shù)據(jù)挖掘任務(wù)涉及范圍廣泛，包括各種數(shù)據(jù)藝術(shù)，能簡(jiǎn)化數(shù)據(jù)挖掘過(guò)程的設(shè)計(jì)和評(píng)價(jià)。 ?

學(xué)大數(shù)據(jù)的必備知識(shí) ?

Java基礎(chǔ)** ?

數(shù)據(jù)類型 ?

運(yùn)算符、循環(huán) ?

順序結(jié)構(gòu)程序設(shè)計(jì) ?

程序結(jié)構(gòu) ?

數(shù)組及多維數(shù)組 ?

面向?qū)ο?* ?

構(gòu)造方法、控制符、封裝 ?

繼承** ?

多態(tài)** ?

抽象類、接口** ?

常用類、集合Collection、list** ?

HashSet、TreeSet、Collection ?

集合類Map** ?

異常 ?

File ?

文件/流** ?

數(shù)據(jù)流和對(duì)象流 ?

線程(理解即可) ?

網(wǎng)絡(luò)通信(理解即可) ?

如果如果你已經(jīng)是脫離小白生涯，你理大數(shù)據(jù)不遠(yuǎn)了，需要學(xué)習(xí)一些額外的小知識(shí)(數(shù)據(jù)結(jié)構(gòu)、關(guān)系型數(shù)據(jù)庫(kù)、linux系統(tǒng)操作)第二階段以夯實(shí)基礎(chǔ)，之后就可以進(jìn)入大數(shù)據(jù)學(xué)習(xí)了; ?

大數(shù)據(jù)需要學(xué)什么 ?

分類。分類是找出數(shù)據(jù)庫(kù)中一組數(shù)據(jù)對(duì)象的共同特點(diǎn)并按照分類模式將其劃分為不同的類，其目的是通過(guò)分類模型，將數(shù)據(jù)庫(kù)中的數(shù)據(jù)項(xiàng)映射到某個(gè)給定的類別。 ?

回歸分析?；貧w分析方法反映的是事務(wù)數(shù)據(jù)庫(kù)中屬性值在時(shí)間上的特征，產(chǎn)生一個(gè)將數(shù)據(jù)項(xiàng)映射到一個(gè)實(shí)值預(yù)測(cè)變量的函數(shù)，發(fā)現(xiàn)變量或?qū)傩蚤g的依賴關(guān)系，其主要研究問(wèn)題包括數(shù)據(jù)序列的趨勢(shì)特征、數(shù)據(jù)序列的預(yù)測(cè)以及數(shù)據(jù)間的相關(guān)關(guān)系等。

?

聚類。聚類分析是把一組數(shù)據(jù)按照相似性和差異性分為幾個(gè)類別，其目的是使得屬于同一類別的數(shù)據(jù)間的相似性盡可能大，不同類別中的數(shù)據(jù)間的相似性盡可能小。 ?

關(guān)聯(lián)規(guī)則。關(guān)聯(lián)規(guī)則是描述數(shù)據(jù)庫(kù)中數(shù)據(jù)項(xiàng)之間所存在的關(guān)系的規(guī)則，即根據(jù)一個(gè)事務(wù)中某些項(xiàng)的出現(xiàn)可導(dǎo)出另一些項(xiàng)在同一事務(wù)中也出現(xiàn)，即隱藏在數(shù)據(jù)間的關(guān)聯(lián)或相互關(guān)系。 ?

Mahout(數(shù)據(jù)挖掘算法庫(kù)) ?

Mahout起源于2008年，最初是Apache Lucent的子項(xiàng)目，它在極短的時(shí)間內(nèi)取得了長(zhǎng)足的發(fā)展，現(xiàn)在是Apache的頂級(jí)項(xiàng)目。 ?

Mahout的主要目標(biāo)是創(chuàng)建一些可擴(kuò)展的機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)典算法的實(shí)現(xiàn)，旨在幫助開發(fā)人員更加方便快捷地創(chuàng)建智能應(yīng)用程序。 ?

Mahout現(xiàn)在已經(jīng)包含了聚類、分類、推薦引擎(協(xié)同過(guò)濾)和頻繁集挖掘等廣泛使用的數(shù)據(jù)挖掘方法。 ?

除了算法，Mahout還包含數(shù)據(jù)的輸入/輸出工具、與其他存儲(chǔ)系統(tǒng)(如數(shù)據(jù)庫(kù)、MongoDB 或Cassandra)集成等數(shù)據(jù)挖掘支持架構(gòu)。 ?

10、Oozie(工作流調(diào)度器) ?

Oozie是一個(gè)可擴(kuò)展的工作體系，集成于Hadoop的堆棧，用于協(xié)調(diào)多個(gè)MapReduce作業(yè)的執(zhí)行。它能夠管理一個(gè)復(fù)雜的系統(tǒng)，基于外部事件來(lái)執(zhí)行，外部事件包括數(shù)據(jù)的定時(shí)和數(shù)據(jù)的出現(xiàn)。 ?

Oozie工作流是放置在控制依賴DAG(有向無(wú)環(huán)圖 Direct Acyclic Graph)中的一組動(dòng)作(例如，Hadoop的Map/Reduce作業(yè)、Pig作業(yè)等)，其中指定了動(dòng)作執(zhí)行的順序。 ?

Oozie使用hPDL(一種XML流程定義語(yǔ)言)來(lái)描述這個(gè)圖。 ?

11、 Yarn(分布式資源管理器) ?

YARN是下一代MapReduce，即MRv2，是在*代MapReduce基礎(chǔ)上演變而來(lái)的，主要是為了解決原始Hadoop擴(kuò)展性較差，不支持多計(jì)算框架而提出的。 ?

Yarn是下一代 Hadoop 計(jì)算平臺(tái)，yarn是一個(gè)通用的運(yùn)行時(shí)框架，用戶可以編寫自己的計(jì)算框架，在該運(yùn)行環(huán)境中運(yùn)行。 ?

用于自己編寫的框架作為客戶端的一個(gè)lib，在運(yùn)用提交作業(yè)時(shí)打包即可。該框架為提供了以下幾個(gè)組件： ?

- 資源管理：包括應(yīng)用程序管理和機(jī)器資源管理 ?

- 資源雙層調(diào)度 ?

- 容錯(cuò)性：各個(gè)組件均有考慮容錯(cuò)性 ?

- 擴(kuò)展性：可擴(kuò)展到上萬(wàn)個(gè)節(jié)點(diǎn) ?