隨著互聯(lián)網(wǎng)時(shí)代的到來，也誕生出了很多領(lǐng)域，現(xiàn)在大家最關(guān)心的是大數(shù)據(jù)領(lǐng)域，那到底什么是大數(shù)據(jù)，大數(shù)據(jù)可以應(yīng)用在哪些領(lǐng)域和行業(yè)呢?大數(shù)據(jù)的應(yīng)用有沒有什么弊端呢?以下是小編為你整理的怎么快速學(xué)習(xí)大數(shù)據(jù) ?

大數(shù)據(jù)(big data,mega data)，或稱巨量資料，指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。 ?

1.理解客戶、滿足客戶服務(wù)需求 ?

大數(shù)據(jù)的應(yīng)用現(xiàn)在在這領(lǐng)域是最廣為人知的。重點(diǎn)是怎樣應(yīng)用大數(shù)據(jù)更好的了解客戶以及他們的喜好和行為。企業(yè)極度喜歡搜集社交方面的數(shù)據(jù)、瀏覽器的日志、剖析出文本和傳感器的數(shù)據(jù)，為了更加全面的了解客戶。在通常情況下，創(chuàng)建出數(shù)據(jù)模型進(jìn)行預(yù)測(cè)。好比美國(guó)的著名零售商Target就是通過大數(shù)據(jù)的剖析，獲得有價(jià)值的信息，精準(zhǔn)得預(yù)測(cè)到客戶在什么時(shí)間想要小孩。另外，通過大數(shù)據(jù)的應(yīng)用，電信公司可以更好預(yù)測(cè)出流失的客戶，沃爾瑪則更加精準(zhǔn)的預(yù)測(cè)哪個(gè)產(chǎn)品會(huì)大賣，汽車保險(xiǎn)行業(yè)會(huì)了解客戶的需求和駕駛水平，*也能了解到選民的偏好。

2.業(yè)務(wù)流程優(yōu)化 ?

大數(shù)據(jù)也更多的幫助業(yè)務(wù)流程的優(yōu)化?？梢酝ㄟ^利用社交媒體數(shù)據(jù)、網(wǎng)絡(luò)搜索以及天氣預(yù)告挖掘出有價(jià)值的數(shù)據(jù)，其中大數(shù)據(jù)的應(yīng)用最廣泛的就是供應(yīng)鏈以及配送路線的優(yōu)化。在這2個(gè)方面，地理定位和無線電頻率的識(shí)別追蹤貨物和送貨車，利用實(shí)時(shí)交通路線數(shù)據(jù)制訂更加優(yōu)化的路線。人力資源業(yè)務(wù)也通過大數(shù)據(jù)的剖析來進(jìn)行改良，這其中就包括了人才招聘的優(yōu)化。 ?

3.大數(shù)據(jù)正在改善我們的生活 ?

大數(shù)據(jù)不但單只是應(yīng)用于企業(yè)和*，同樣也適用我們生活當(dāng)中的每個(gè)人。我們可以利用穿著的裝備(如智能手表或者智能手環(huán))生成*的數(shù)據(jù)，這讓我們可以憑據(jù)我們熱量的消耗以及睡眠模式來進(jìn)行追蹤。而且還利用利用大數(shù)據(jù)剖析來尋找屬于我們的愛情，大多數(shù)時(shí)間交友網(wǎng)站就是大數(shù)據(jù)應(yīng)用工具來幫助需要的人匹配合適的對(duì)象。 ?

商業(yè)性應(yīng)用 ?

數(shù)據(jù)再利用：數(shù)據(jù)完成*次使命后，再次用作它用。如：用戶搜索關(guān)鍵詞后，除了顯示內(nèi)容外，網(wǎng)站會(huì)將搜索內(nèi)容收集并記錄下來，用來揭示用戶喜好，預(yù)測(cè)今年什么樣的商品將成為流行。 ?

數(shù)據(jù)重組：兩個(gè)或多個(gè)數(shù)據(jù)源，以一種新穎的方式結(jié)合起來的混搭式應(yīng)用。 ?

可擴(kuò)展數(shù)據(jù)：在收集數(shù)據(jù)時(shí)，就設(shè)計(jì)好可擴(kuò)展性。在一開始就考慮到各種潛在的二次或多次用途。如：谷歌的街景車不僅拍攝了房屋和街道的圖片，還同時(shí)采集GPS數(shù)據(jù)，GPS數(shù)據(jù)不僅優(yōu)化了谷歌的地圖服務(wù)，而且對(duì)谷歌自動(dòng)駕駛汽車的運(yùn)作功不可沒。 ?

數(shù)據(jù)折舊：在某些領(lǐng)域，為追求全部數(shù)據(jù)而使用舊數(shù)據(jù)，不僅不能增加價(jià)值，還會(huì)破壞新數(shù)據(jù)的價(jià)值。 ?

數(shù)據(jù)廢氣：即在線交互的副產(chǎn)品，包括瀏覽了哪些頁(yè)面，停留了多久，輸入了什么信息等。 ?

開放數(shù)據(jù)：事實(shí)上，*才是大規(guī)模數(shù)據(jù)的原始采集者，但他們?cè)跀?shù)據(jù)的使用上往往效率很低。近年來，“開放*數(shù)據(jù)”的倡議響徹全球，在美國(guó)、英國(guó)、澳大利亞等*也基于了肯定的答復(fù)，出臺(tái)并實(shí)施了開放數(shù)據(jù)策略。 ?

數(shù)據(jù)交易平臺(tái) ?

*牽頭 ?

1.地區(qū)性數(shù)據(jù)交易平臺(tái)：貴州、上海、北京、江蘇、武漢、哈爾濱、海南等 ?

2.模式：部分采用會(huì)員制，提供交易的場(chǎng)所以及必要的技術(shù)支持，收取交易費(fèi);部分僅提供在線交易平臺(tái) ?

3.特點(diǎn)：享有龐大的*數(shù)據(jù)資源，并且聯(lián)合各行業(yè)的龍頭企業(yè) ?

(此處參考“北京秋”的文章“走馬觀花：國(guó)內(nèi)各路大數(shù)據(jù)交易平臺(tái)現(xiàn)狀”) ?

API平臺(tái) ?

1.列表：apistore、京東萬象、聚合、阿凡達(dá)、showapi、haoservice、極速數(shù)據(jù)、apix、通聯(lián)數(shù)據(jù)商城 ?

2.模式：按調(diào)用量收費(fèi) ?

3.特點(diǎn)：即時(shí)性很好，質(zhì)量相對(duì)有保障，并且可以更大程度保護(hù)數(shù)據(jù)所有者的權(quán)益 ?

淘寶模式 ?

1.列表：數(shù)糧、數(shù)據(jù)寶(、淘寶) ?

2.模式：數(shù)據(jù)商入駐，創(chuàng)造良好的交易環(huán)境、鼓勵(lì)交易 ?

3.特點(diǎn)：數(shù)據(jù)范圍較廣、態(tài)度開放，比起到處搜羅數(shù)據(jù)方便很多，有潛力進(jìn)一步發(fā)展

?

數(shù)據(jù)包定制/下載 ?

1.列表：數(shù)多多、大海洋、發(fā)源地 ?

2.模式：以數(shù)據(jù)下載和定制為主 ?

3.特點(diǎn)：有一定的固定用戶不斷提供新鮮數(shù)據(jù)，可以定制采集 ?

其他 ?

1.列表：數(shù)據(jù)堂、優(yōu)易數(shù)據(jù)、數(shù)據(jù)淘 ?

2.特點(diǎn)：目前的數(shù)據(jù)平臺(tái)(包括未列舉的和不斷出現(xiàn)的新興平臺(tái))都比較有自己的特點(diǎn)，希望這些平臺(tái)能夠共同推動(dòng)數(shù)據(jù)市場(chǎng)的成熟 ?

Sqoop ?

Sqoop(發(fā)音：skup)是一款開源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(kù)(mysql、postgresql...)間進(jìn)行數(shù)據(jù)的傳遞，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)(例如 ： MySQL ,Oracle ,Postgres等)中的數(shù)據(jù)導(dǎo)進(jìn)到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫(kù)中。 ?

1、配置Sqoop 2、使用Sqoop把數(shù)據(jù)從MySQL導(dǎo)入到HDFS中 3、使用Sqoop把數(shù)據(jù)從HDFS導(dǎo)出到MySQL中 ?

Storm為分布式實(shí)時(shí)計(jì)算提供了一組通用原語，可被用于“流處理”之中，實(shí)時(shí)處理消息并更新數(shù)據(jù)庫(kù)。這是管理隊(duì)列及工作者集群的另一種方式。 Storm也可被用于“連續(xù)計(jì)算”(continuous computation)，對(duì)數(shù)據(jù)流做連續(xù)查詢，在計(jì)算時(shí)就將結(jié)果以流的形式輸出給用戶。它還可被用于“分布式RPC”，以并行的方式運(yùn)行昂貴的運(yùn)算。 ?

1、Storm基礎(chǔ)知識(shí)：包括Storm的基本概念和Storm應(yīng)用場(chǎng)景，體系結(jié)構(gòu)與基本原理，Storm和Hadoop的對(duì)比 2、Storm集群搭建：詳細(xì)講述Storm集群的安裝和安裝時(shí)常見問題 3、Storm組件介紹: spout、bolt、stream groupings等 4、Storm消息可靠性：消息失敗的重發(fā) 5、Hadoop 2.0和Storm的整合：Storm on YARN 6、Storm編程實(shí)戰(zhàn) ?