大數(shù)據(jù)目前這個(gè)詞很火，作為編程人員是必須學(xué)習(xí)的基礎(chǔ)知識(shí)之一，對(duì)于其它行業(yè)的同時(shí)，了解一下大數(shù)據(jù)也是非常有必要的，也許你們公司將來有一天就會(huì)使用大數(shù)據(jù)技術(shù)來分析你們公司的發(fā)展方向，畢竟這是一個(gè)大數(shù)據(jù)時(shí)代。以下是小編為你整理的大數(shù)據(jù)要學(xué)哪些東西 ?

首先簡介一下大數(shù)據(jù)能夠干什么：首先舉個(gè)例子，大家都喜歡上淘寶買東西，淘寶網(wǎng)站會(huì)記錄每個(gè)人在它網(wǎng)站上都買了什么，瀏覽了什么。。。等等一系列信息。然后分析什么產(chǎn)品賣的火爆，哪個(gè)客戶喜歡買什么，那個(gè)商家盈利高等等，挖掘一系列有潛在價(jià)值 ?

其次分析一下大數(shù)據(jù)的含義，大數(shù)據(jù)既然含有數(shù)據(jù)這個(gè)詞匯，就表明他是和數(shù)據(jù)相關(guān)的，而數(shù)據(jù)無非就是如何存儲(chǔ)數(shù)據(jù)和如何使用存儲(chǔ)的數(shù)據(jù)這兩個(gè)問題

首先說一下如何存儲(chǔ)：傳統(tǒng)的數(shù)據(jù)都是保存在關(guān)系型數(shù)據(jù)庫，比如oracle和mysql等，這些數(shù)據(jù)庫存儲(chǔ)空間是有限的，并且數(shù)據(jù)庫的東西多了之后，查詢存取的速度會(huì)變得很慢，根本做數(shù)據(jù)分析等。此外傳統(tǒng)數(shù)據(jù)都安裝在一臺(tái)服務(wù)器上，一旦服務(wù)器宕機(jī)了，數(shù)據(jù)庫的內(nèi)容就全部銷毀了，無法恢復(fù) ?

大數(shù)據(jù)的含義就是說數(shù)據(jù)量很大，數(shù)據(jù)量達(dá)到pb級(jí)別，大公司也許需要幾千臺(tái)服務(wù)器才能存儲(chǔ)，用的是分布式存儲(chǔ)技術(shù)。所謂的分布式存儲(chǔ)技術(shù)是指，同樣一份文件，分別存儲(chǔ)在3臺(tái)不同的服務(wù)器上，假設(shè)其中服務(wù)器掛機(jī)了，還有另外兩臺(tái)服務(wù)器工作，并且迅速備份一份文件，始終保證相同文件有3臺(tái)服務(wù)器提供工作 ?

大數(shù)據(jù)的使用主要是指根據(jù)公司需求，對(duì)現(xiàn)有的數(shù)據(jù)進(jìn)行挖掘分析。而挖掘分析做的最多的就是查詢數(shù)據(jù)，大數(shù)據(jù)的查詢速度是非常快的，因?yàn)榈讓佑玫氖穷愃朴趌ucene技術(shù)。但是大數(shù)據(jù)不適合修改存儲(chǔ)的文件。因?yàn)榇髷?shù)據(jù)存儲(chǔ)數(shù)據(jù)是以文件的形式存儲(chǔ)的，如果想修改數(shù)據(jù)，它會(huì)把原先的文件刪掉，然后重新寫入。 ?

*什么人適合學(xué)習(xí)大數(shù)據(jù)：一般做數(shù)據(jù)的公司通常都會(huì)要求你會(huì)大數(shù)據(jù)，其次互聯(lián)網(wǎng)行業(yè)也用到了大數(shù)據(jù)相關(guān)的部分技術(shù)，比如：zookeeper，但是你要想找到一份好的工作，大數(shù)據(jù)知識(shí)是必須有所了解。 ?

大數(shù)據(jù)處理需要什么語言 ?

R語言：它的有點(diǎn)在于簡單易上手，通過R語言，你可以從復(fù)雜的數(shù)據(jù)集中篩選你想要的數(shù)據(jù)，從負(fù)責(zé)的模型函數(shù)中操作數(shù)據(jù)，建立有序的圖表呈現(xiàn)數(shù)字，只需要幾行代碼就可以了，比如說，像是好動(dòng)版本的Excel表格。 ?

Pythom語言：Python結(jié)合了R語言的快速，處理復(fù)雜數(shù)據(jù)的能力以及更務(wù)實(shí)的語言特質(zhì)，迅速地成為主流，也更簡單和直觀了，尤其是近幾年的成長很快。在數(shù)據(jù)處理范疇內(nèi)，通常在規(guī)模與復(fù)雜之間要有個(gè)取舍，Python以折中的姿態(tài)出現(xiàn)，是相當(dāng)好的數(shù)據(jù)處理工具。 ?

java語言：java沒有和Python和R語言一樣好的可視化功能，也不是統(tǒng)計(jì)建模的*工具，但是如果你需要建立一個(gè)龐大的系統(tǒng)，使用過去的原型，java是最基本的選擇了。 ?

Hadoop pand Hive：為了迎合大量數(shù)據(jù)處理的需求，以java為基礎(chǔ)的大數(shù)據(jù)開始了。Hadoop為一批數(shù)據(jù)處理，發(fā)展以java為基礎(chǔ)的架構(gòu)關(guān)鍵，相對(duì)于其他處理工具，Hadoop慢許多，但是無比的準(zhǔn)確可被后端數(shù)據(jù)庫分析廣泛使用，和Hive搭配的很好。 ?

Scala：另一個(gè)以java為基礎(chǔ)的語言，和java很像，對(duì)任何想要進(jìn)行大規(guī)模的機(jī)械學(xué)習(xí)或是建立高階的算法，Scala是逐漸興起的工具，善于呈現(xiàn)且擁有建立可靠系統(tǒng)的能力， ?

Kafkaand Storm：是一個(gè)特別快速的查詢信息系統(tǒng)，缺點(diǎn)是太快了，因此在實(shí)施操作時(shí)會(huì)犯錯(cuò)，有時(shí)候會(huì)漏掉東西。使用Scala寫出來的架構(gòu)，大幅增加他在串流處理的受歡迎程度， ?

HTML ?

HTML標(biāo)簽名和屬性都是不區(qū)分大小寫的，例如、或都是定義相同的標(biāo)記，但推薦全部使用小寫字母書寫。 ?

HTML屬性一般都出現(xiàn)在HTML標(biāo)簽中, 是HTML標(biāo)簽的一部分。 ?

標(biāo)簽可以有屬性,它包含了額外的信息.屬性的值一定要在雙引號(hào)中。 ?

標(biāo)簽可以擁有多個(gè)屬性。 ?

屬性由屬性名和值成對(duì)出現(xiàn)。 ?

大多數(shù)的瀏覽器都支持顏色名集合，顏色值是一個(gè)關(guān)鍵字或一個(gè)RGB格式的數(shù)字，在網(wǎng)頁中用得很多。 ?

BASE(分布式列存數(shù)據(jù)庫)

?

源自Google的Bigtable論文，發(fā)表于2006年11月，HBase是Google Bigtable克隆版 ?

HBase是一個(gè)建立在HDFS之上，面向列的針對(duì)結(jié)構(gòu)化數(shù)據(jù)的可伸縮、高可靠、高性能、分布式和面向列的動(dòng)態(tài)模式數(shù)據(jù)庫。 ?

HBase采用了BigTable的數(shù)據(jù)模型：增強(qiáng)的稀疏排序映射表(Key/Value)，其中，鍵由行關(guān)鍵字、列關(guān)鍵字和時(shí)間戳構(gòu)成。 ?

HBase提供了對(duì)大規(guī)模數(shù)據(jù)的隨機(jī)、實(shí)時(shí)讀寫訪問，同時(shí)，HBase中保存的數(shù)據(jù)可以使用MapReduce來處理，它將數(shù)據(jù)存儲(chǔ)和并行計(jì)算完美地結(jié)合在一起。 ?

Zookeeper(分布式協(xié)作服務(wù)) ?

源自Google的Chubby論文，發(fā)表于2006年11月，Zookeeper是Chubby克隆版 ?

解決分布式環(huán)境下的數(shù)據(jù)管理問題：統(tǒng)一命名，狀態(tài)同步，集群管理，配置同步等。 ?

Hadoop的許多組件依賴于Zookeeper，它運(yùn)行在計(jì)算機(jī)集群上面，用于管理Hadoop操作。 ?