據(jù)的資源化是指大數(shù)據(jù)在企業(yè)、社會和*層面成為重要的戰(zhàn)略資源。2014年大數(shù)據(jù)將成為新的戰(zhàn)略制高點，是大家搶奪的新焦點;大數(shù)據(jù)將不斷成為機構(gòu)的資產(chǎn)，成為提升機構(gòu)和公司競爭力的有力武器。以下是小編為你整理的學(xué)大數(shù)據(jù)要學(xué)什么 ?

大數(shù)據(jù)對于隱私將是一個重大挑戰(zhàn)，現(xiàn)有的隱私保護法規(guī)和技術(shù)手段難于適應(yīng)大數(shù)據(jù)環(huán)境，個人隱私越來越難以保護，有可能會出現(xiàn)有償隱私服務(wù)，數(shù)據(jù)“面罩”將會流行。而且預(yù)計2014年將會頒布關(guān)于大數(shù)據(jù)隱私的標準和條例。 ?

大數(shù)據(jù)處理離不開云計算技術(shù)，云計算為大數(shù)據(jù)提供彈性可擴展的基礎(chǔ)設(shè)施支撐環(huán)境以及數(shù)據(jù)服務(wù)的高效模式，大數(shù)據(jù)則為云計算提供了新的商業(yè)價值，因此從2013年開始大數(shù)據(jù)技術(shù)與云計算技術(shù)必然進入更完美的結(jié)合期。總體而言，云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新興計算形態(tài)，既是產(chǎn)生大數(shù)據(jù)的地方，也是需要大數(shù)據(jù)分析方法的領(lǐng)域。 ?

2014年將會有更多基于海量數(shù)據(jù)(知識)的智能成果出現(xiàn)，甚至有可能產(chǎn)生人工大腦。至少類似于Chinese Room這樣的問題將得到徹底解決。因為所有人們能想到的問題，在問之前就都已經(jīng)被人回答過了，所以，即便在沒有思考和邏輯的情況下，也可以利用前人的經(jīng)驗同樣可以起到腦的功能，甚至也可能通過大數(shù)據(jù)直接進行推理。 ?

? ?

如何進行深度學(xué)習(xí) ?

從谷歌貓到百度大腦，這些聽著令人震撼和心潮澎湃的事情，帶給我們的跟多的是深度學(xué)習(xí)的重要性。如何利用深度學(xué)習(xí)去實現(xiàn)機器視覺，已經(jīng)成為我們愛好者不能停步的重要原因。以下是小編為你整理的 ?

百度大腦是個可以利用目標分類檢索，以及可以達到最終預(yù)測的可靠性。例如可以根據(jù)當前人們對各個領(lǐng)域的關(guān)注熱度，以及預(yù)測現(xiàn)實生活旅游的走勢，他會檢索出海量數(shù)據(jù)中，找到適合最終結(jié)果的答案，不得不說，重視深度學(xué)習(xí)的研究成果，將更多帶給我們意想不到的驚喜。 ?

我們不曾想到過機器可以帶著人的思維去思考，或者更有甚于人類，人可能同時在一個地方犯同樣的錯誤，如果你在機器中存儲了大量分類數(shù)據(jù)，和海量信息，它便會根據(jù)自我認知，提取了解結(jié)果的重要性，避免多余的重復(fù)性操作，這樣使得科學(xué)性思維更加縝密。

深度學(xué)習(xí)延伸到深度模型的建立，尤其是語音識別已經(jīng)在現(xiàn)在的時代是一個大數(shù)據(jù)的機器學(xué)習(xí)的時代了，利用大數(shù)據(jù)(現(xiàn)有的成就)去構(gòu)建深度學(xué)習(xí)框架，有著積極的推動作用。 ?

圖像是深度學(xué)習(xí)最早嘗試的應(yīng)用領(lǐng)域，往后圖像也將是深度學(xué)習(xí)領(lǐng)域中最有利的一面，在現(xiàn)在很多應(yīng)用領(lǐng)域中，對圖像識別，提取信息還是相當多的，因此有必要先掌握圖像處理的技術(shù)能力。 ?

當前應(yīng)用最為火的還是在搜索領(lǐng)域里，深度學(xué)習(xí)有著預(yù)測性強的能力，當機器可以深度判讀的預(yù)測正確性，將給社會帶來福祉。 ?

對于大型互聯(lián)網(wǎng)公司而言，更好運用在工程項目上，是一個值得思考的問題，首先當然是技術(shù)人員必須從事深度學(xué)習(xí)技術(shù)研發(fā)，考慮數(shù)據(jù)的利用性，判斷其深度學(xué)習(xí)的價值。 ?

? ?

搭建Zookeeper集群 ?

下載安裝Java JDK，官方下載鏈接為http://java.sun.com/javase/downloads/index.jsp，JDK版本為JDK 6或以上。 ?

根據(jù)Zookeeper集群的負載情況，合理設(shè)置Java堆大小，盡可能避免發(fā)生swap，導(dǎo)致Zookeeper性能下降。保守期間，4GB內(nèi)存的機器可以為Zookeeper分配3GB*堆空間。 ?

下載后解壓安裝Zookeeper包，官方下載鏈接為http://hadoop.apache.org/zookeeper/releases.html。

?

根據(jù)Zookeeper集群節(jié)點情況，按照圖片上的內(nèi)容添加配置： ?

在dataDir目錄下創(chuàng)建myid文件，文件中只包含一行，且內(nèi)容為該節(jié)點對應(yīng)的server.id中的id編號。 ?

啟動Zookeeper服務(wù)。通過Zookeeper客戶端測試服務(wù)是否可用。 ?

? ?

大數(shù)據(jù)處理 ?

大數(shù)據(jù)處理數(shù)據(jù)時代理念的三大轉(zhuǎn)變：要全體不要抽樣，要效率不要絕對精確， ?

要相關(guān)不要因果。具體的大數(shù)據(jù)處理方法其實有很多，但是根據(jù)長時間的實踐， ?

筆者總結(jié)了一個基本的大數(shù)據(jù)處理流程，并且這個流程應(yīng)該能夠?qū)Υ蠹依眄槾髷?shù)據(jù)的處理有所幫助。整個處理流程可以概括為四步，分別是采集、導(dǎo)入和預(yù)處理、統(tǒng)計和分析，以及挖掘。 ?

大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫來接收發(fā)自客戶端的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進行簡單的查詢和處理工作。比如，電商會使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫MySQL和Oracle等來存儲每一筆事務(wù)數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫也常用于數(shù)據(jù)的采集。 ?

在大數(shù)據(jù)的采集過程中，其主要特點和挑戰(zhàn)是并發(fā)數(shù)高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時達到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。并且如何在這些數(shù)據(jù)庫之間進行負載均衡和分片的確是需要深入的思考和設(shè)計。 ?