想要成為一名合格的全棧大數(shù)據(jù)開發(fā)工程師，需要知道大數(shù)據(jù)的整個(gè)生態(tài)圈，需要知道每一個(gè)組件的使用場(chǎng)景及使用方法，同時(shí)還需要對(duì)每一個(gè)組件有更深入的理解。以下是小編為你整理的0基礎(chǔ)大數(shù)據(jù)學(xué)習(xí)教程 ?

HDFS(Hadoop分布式文件系統(tǒng)) ?

源自于Google的GFS論文，發(fā)表于2003年10月，HDFS是GFS克隆版。 ?

HDFS是Hadoop體系中數(shù)據(jù)存儲(chǔ)管理的基礎(chǔ)。它是一個(gè)高度容錯(cuò)的系統(tǒng)，能檢測(cè)和應(yīng)對(duì)硬件故障，用于在低成本的通用硬件上運(yùn)行。

HDFS簡(jiǎn)化了文件的一致性模型，通過流式數(shù)據(jù)訪問，提供高吞吐量應(yīng)用程序數(shù)據(jù)訪問功能，適合帶有大型數(shù)據(jù)集的應(yīng)用程序。 ?

它提供了一次寫入多次讀取的機(jī)制，數(shù)據(jù)以塊的形式，同時(shí)分布在集群不同物理機(jī)器上。 ?

Mapreduce(分布式計(jì)算框架) ?

源自于google的MapReduce論文，發(fā)表于2004年12月，Hadoop MapReduce是google MapReduce 克隆版。 ?

MapReduce是一種分布式計(jì)算模型，用以進(jìn)行大數(shù)據(jù)量的計(jì)算。它屏蔽了分布式計(jì)算框架細(xì)節(jié)，將計(jì)算抽象成map和reduce兩部分， ?

其中Map對(duì)數(shù)據(jù)集上的獨(dú)立元素進(jìn)行指定的操作，生成鍵-值對(duì)形式中間結(jié)果。Reduce則對(duì)中間結(jié)果中相同“鍵”的所有“值”進(jìn)行規(guī)約，以得到最終結(jié)果。 ?

MapReduce非常適合在大量計(jì)算機(jī)組成的分布式并行環(huán)境里進(jìn)行數(shù)據(jù)處理。 ?

什么是數(shù)據(jù)挖掘 ?

是知識(shí)發(fā)現(xiàn)、商業(yè)智能、預(yù)測(cè)分析還是預(yù)測(cè)建模。其實(shí)都可以歸為一類：數(shù)據(jù)挖掘是一項(xiàng)探測(cè)大量數(shù)據(jù)以發(fā)現(xiàn)有意義的模式(pattern)和規(guī)則(rule)的業(yè)務(wù)流程。 ?

數(shù)據(jù)挖掘成功的關(guān)鍵是把其結(jié)合到業(yè)務(wù)流程中，并能夠促進(jìn)數(shù)據(jù)挖掘人員和使用結(jié)果的業(yè)務(wù)用戶之間的通信。首先，必須明確，找到合適的業(yè)務(wù)需求，很多的人員，沒有在意這一點(diǎn)，導(dǎo)致解決的是對(duì)業(yè)務(wù)沒有幫助的問題。 ?

模型集中的每個(gè)變量都有一個(gè)與它相關(guān)的時(shí)間幀，它描述了該變量產(chǎn)生作用的時(shí)間段?？梢岳斫鉃閷?duì)在過去一段時(shí)間的數(shù)據(jù)的整合，超過這個(gè)時(shí)間的數(shù)據(jù)就作廢。 ?

很多數(shù)據(jù)挖掘問題都可以概括為預(yù)測(cè)問題：基于過去的響應(yīng)，基于過去的相應(yīng)，誰將會(huì)有相應(yīng)?基于過去的注銷記錄，誰有一個(gè)不良風(fēng)險(xiǎn)?解決問題*的辦法是限定輸入變量嚴(yán)格產(chǎn)生于目標(biāo)變臉之前。 ?

剖析，從字面上的理解是，基于人口統(tǒng)計(jì)變量，例如：地理位置、性別和年齡等。剖析模型能發(fā)現(xiàn)同一條件下的關(guān)系，但他們不能指出原因和影響。出于這個(gè)原因，剖析模型經(jīng)常使用客戶的人口統(tǒng)計(jì)信息作為輸入，而把客戶行為作為目標(biāo)，在這種情況下，確定原因和影響更直觀。 ?

數(shù)據(jù)的收集方式有很多方法 ?

可以根據(jù)人們上網(wǎng)主要瀏覽的網(wǎng)頁，或者主要搜索的關(guān)鍵字，看出來到底人們對(duì)什么東西感興趣，也可以根據(jù)人們?cè)谏缃卉浖厦娴牧奶煊涗泚硎占杏玫男畔?，還可以通過讓別人做網(wǎng)頁上面的答卷來收集信息，知道人們對(duì)于一種東西的看法和態(tài)度。 ?

這些收集起來的數(shù)據(jù)就會(huì)全部都儲(chǔ)藏在一起，然后有用的時(shí)候就會(huì)用特殊的軟件來分析處理這些數(shù)據(jù)，*有*的數(shù)據(jù)，很多的公司也有自己的數(shù)據(jù)庫，一個(gè)公司的數(shù)據(jù)庫越大就代表了這個(gè)公司的實(shí)力越強(qiáng)，未來發(fā)展的可能性也就越大越好。

?

當(dāng)然這些數(shù)據(jù)最主要的并不是大，而是有用的信息比較多，這樣分析出來的結(jié)果也就越準(zhǔn)確，這些數(shù)據(jù)可以準(zhǔn)確的反映現(xiàn)在社會(huì)上面發(fā)生的事情和現(xiàn)在人們的心理狀態(tài)，可以預(yù)測(cè)到很多事情的未來的發(fā)展方向，有的公司可以根據(jù)這些數(shù)據(jù)發(fā)現(xiàn)自己的不足和管理漏洞，及時(shí)的改變和處理，延長(zhǎng)企業(yè)的壽命，增加企業(yè)的資產(chǎn)和競(jìng)爭(zhēng)能力。 ?

通過數(shù)據(jù)，也可以知道現(xiàn)在社會(huì)上面主流的東西是什么，只有抓住主流的社會(huì)，才能跟上時(shí)代的步伐，順應(yīng)歷史的潮流，抓住機(jī)遇，發(fā)展自己的公司和事業(yè)。 ?

大數(shù)據(jù)就是一個(gè)公司的軟實(shí)力，就好像是一個(gè)無形的資產(chǎn)，蘊(yùn)含著很多的機(jī)會(huì)和信息，但是這些數(shù)據(jù)一定要好好的利用，不要用這些數(shù)據(jù)去做一些違背道德和違背法律的事情，否則一定要承擔(dān)法律的責(zé)任。 ?

Hadoop起源

Hadoop有個(gè)背景，就是起源于Apache Lucene項(xiàng)目中的一個(gè)搜索引擎Nutch。Lucene目前是世界上*，并且開源的搜索引擎框架和產(chǎn)品。Lucene本身就有非常多好的大數(shù)據(jù)經(jīng)驗(yàn)和思路。這為Hadoop預(yù)備了巨大能量，使得Hadoop注定是一個(gè)偉大的產(chǎn)品。 ?

其實(shí)是一個(gè)孩子給棕黃色大象的命名。Hadoop圖標(biāo)在本系列中也隨處可見。Google也是一個(gè)這樣的例子。這樣有一個(gè)很好的點(diǎn)就是想到Hadoop，就會(huì)想到大數(shù)據(jù)，而不會(huì)是其他。 ?

Hadoop的出現(xiàn)是為了解決搜索引擎無法接受數(shù)以億計(jì)單位的數(shù)據(jù)量的問題。借助Google分享的GFS和MapReduce成熟理論，Hadoop一躍而出，成功解決了海量數(shù)據(jù)存儲(chǔ)和搜索的架構(gòu)問題。未來Hadoop將支持更巨大的數(shù)據(jù)和更智能的數(shù)據(jù)管理。 ?

為什么選擇Hadoop，而不是其他數(shù)據(jù)處理架構(gòu)，比如傳統(tǒng)關(guān)系型數(shù)據(jù)庫或者其他。Hadoop在我的眼里，更像是在“暴力解鎖”，它可以處理每一條數(shù)據(jù)，乃至每一種可能的設(shè)想。Hadoop的巨大貢獻(xiàn)在于快速分析大數(shù)據(jù)所隱藏的事實(shí)，這在過去也許需要幾天甚至幾個(gè)月的時(shí)間才能完成，而Hadoop很可能只需要幾分鐘甚至幾秒鐘的時(shí)間就可以很完整地做好!