隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,數(shù)據(jù)庫呈現(xiàn)井噴式發(fā)展,出現(xiàn)了各式各樣的產(chǎn)品,如文件存儲數(shù)據(jù)庫、列存儲數(shù)據(jù)庫、NewSQL 數(shù)據(jù)庫。之所有如此,歸結(jié)于數(shù)據(jù)量不斷快速膨脹,傳統(tǒng)數(shù)據(jù)庫在大數(shù)據(jù)上的處理性能不能滿足需求等。企業(yè)和開發(fā)者趨于去針對不同應(yīng)用類型開發(fā)不同的數(shù)據(jù)庫,來滿足對特定數(shù)據(jù)處理的需求。以下是小編為你整理的大數(shù)據(jù)分析的學(xué)習(xí)方法 ?
阿里巴巴在多種場景下同樣有不同的數(shù)據(jù)存儲技術(shù)實踐,比如: ?
海量數(shù)據(jù)場景下的 OLAP 列式數(shù)據(jù)庫 —— HiStore
?
HiStore 是一款基于獨特的知識網(wǎng)格技術(shù)的列式數(shù)據(jù)庫,定位于海量數(shù)據(jù)高壓縮比列式存儲,是低存儲成本,低維護成本,海量數(shù)據(jù) OLAP 存儲引擎;有效的解決了海量數(shù)據(jù)存儲的成本問題,以及在百億數(shù)據(jù)場景下支持實時高效的多維度自由組合的檢索。適用場景: ?
日志/事件管理系統(tǒng):調(diào)用鏈路日志跟蹤,消息軌跡分析,系統(tǒng)/網(wǎng)絡(luò)安全審計記錄; ?
通信行業(yè):話單分析,用戶行為分析等; ?
大數(shù)據(jù)量的分析應(yīng)用:網(wǎng)頁/在線分析,移動分析,客戶行為分析,營銷和廣告數(shù)據(jù);《linux就該這么學(xué)》中有相關(guān)知識 ?
數(shù)據(jù)倉庫/數(shù)據(jù)集市:實時展示統(tǒng)計分析后數(shù)據(jù),便于用戶根據(jù)統(tǒng)計結(jié)果做決策; ?
對數(shù)據(jù)存儲成本敏感,查詢有實時性要求的場景應(yīng)考慮HiStore; ?
物聯(lián)網(wǎng):保存大量物理節(jié)點的采集上報,狀態(tài)等信息,用于后期統(tǒng)計處理; ?
歷史評價數(shù)據(jù),歷史訂單數(shù)據(jù)等。 ?
應(yīng)用層面 ?
人類所有的知識可以分為三個大類:自然科學(xué)、社會科學(xué)和人文科學(xué)。一直以來,營銷的科學(xué)性正是因為運用了自然科學(xué)中的數(shù)據(jù)收集手段,嚴(yán)謹(jǐn)?shù)挠涗?、搜集和分析消費者的各項數(shù)據(jù)和行為軌跡;同時又采用了社會心理學(xué)的方法,通過現(xiàn)象去解釋人的內(nèi)心世界。這種主客觀的結(jié)合,讓營銷能夠推測與接近市場需求的方向,讓生產(chǎn)者與消費者達到和諧交換。因此,數(shù)據(jù)與營銷之間存在著密不可分的關(guān)系。 ?
我們對于數(shù)據(jù)的計量單位已經(jīng)從位(bit)、字節(jié)(B)、千字節(jié)(KB)、兆字節(jié)(MB)、吉字節(jié)(GB)、太子節(jié)(TB)等走向了澤字節(jié)(ZB),甚至堯字節(jié)(YB)。大數(shù)據(jù)帶來的影響不僅是數(shù)據(jù)量幾何級的增長,還有從量變到質(zhì)變的顛覆性變革。另一方面,互聯(lián)網(wǎng)的發(fā)展使得消費者個性化需求的日益凸顯,也讓營銷領(lǐng)域發(fā)生了從“以產(chǎn)品為中心”到“以客戶為中心”的轉(zhuǎn)變?;诖髷?shù)據(jù)的精準(zhǔn)營銷對企業(yè)的營銷戰(zhàn)略帶來了挑戰(zhàn)也賦予了新的可能。 ?
何為精準(zhǔn)營銷 ?
精準(zhǔn)營銷(Precision marketing)的概念是由營銷專家菲利普·科特勒在2005年底提出,他認(rèn)為企業(yè)需要更精準(zhǔn)、可衡量和高投資回報的營銷溝通,需要制定更注重結(jié)果和行動的營銷傳播計劃,還有越來越注重對直接銷售溝通的投資。簡單來說就是5個合適,在合適的時間、合適的地點、將合適的產(chǎn)品以合適的方式提供給合適的人。像戀愛一樣,讓消費者能夠一見鐘情、二見傾心、三定終生,實現(xiàn)產(chǎn)品與用戶多維度的契合。 ?
數(shù)據(jù)貫穿營銷過程的始末 ?
從啤酒和尿布這個古老的故事說起,沃爾瑪通過對超市一段時間的原始交易數(shù)據(jù)的詳細分析,發(fā)現(xiàn)了這對神奇的組合,將它們放在一起銷售,提升了兩種商品的銷量,這是傳統(tǒng)零售的一個經(jīng)典故事。 ?
大數(shù)據(jù)的作用 ?
一旦手機丟失,*時間掛失sim卡,并趕緊凍結(jié)賬戶。記住一個公式:手機丟+身份證丟=錢丟!因為有了這兩大“神器”,你的支付寶、微信支付、手機銀行等賬戶很容易被不法分子更換密碼,前面說了驗證碼是改密碼中很重要的一步,所以要*時間致電客服掛失sim卡,并且要趕緊將銀行卡、支付寶賬號、微信賬號之類的賬戶凍結(jié)。 ?
別隨意填寫問卷或者參與掃碼活動。大家平時肯定在一些街頭、店鋪門口等地方,遇到有人讓你幫忙填寫調(diào)查問卷,或者是掃二維碼注冊,然后送你一些小獎品,這種行為也會造成個人信息泄露。做這些事情,要了解清楚再進行相關(guān)活動。
?
驗證碼是個神奇的東西,打死也不能告訴別人。驗證碼有的時候可能是你卡里的錢被盜之前的“*一根救命稻草”,支付寶賬號更改密碼是要輸入驗證碼才能完成的,前段時間比較火的騙術(shù)之“幫你買銀行貴金屬”也是如此,所以大家要像保護銀行卡密碼一樣的保護驗證碼,打死也不要告訴陌生人。 ?
手機號不用了一定要注銷各種綁定的賬號。手機號不用了別以為停機就行了,停用的手機號會被銷號回收,二次放號給其他人使用。如果你以前用它綁定了微博、微信、支付寶、銀行卡等又沒取消,就很危險了。所以手機號不用了一定要注銷綁定的各種賬號,另外,*在更換號碼前重新綁定新手機號。 ?
車票、飛機票要妥善保存好。那回程的票根,你留作紀(jì)念,不必害怕面對離別~可以,但是前提是務(wù)必保存好,因為這些票根上面也有你的個人信息,一旦丟失,被壞人撿到就不好了。 ?
大數(shù)據(jù)服務(wù)對比
不同大數(shù)據(jù)服務(wù)提供商有不同的產(chǎn)品線,因此不同提供商的產(chǎn)品適用場景也會有所不同。我們重點分析三大服務(wù)提供商的大數(shù)據(jù)服務(wù)架構(gòu)。 ?
擁有大量關(guān)于大數(shù)據(jù)處理的經(jīng)驗。初期大數(shù)據(jù)使用者大部分都使用亞馬遜打造的Hadoop架構(gòu)服務(wù)(EC2)。 ?
經(jīng)過厚重沉淀之后,Amazon在2009年提供開發(fā)EMR大數(shù)據(jù)服務(wù)。EMR服務(wù)提供了多種大數(shù)據(jù)處理分析方案,比如簡單查詢服務(wù),關(guān)聯(lián)數(shù)據(jù)分析服務(wù)。EMR服務(wù)可以使用Hadoop語言繼續(xù)開發(fā),并且訪問EMR服務(wù)的步驟也相當(dāng)簡單并且安全。 ?
亞馬遜使用托管DynamoDB代替HBase,作為易于擴展的NoSQL數(shù)據(jù)庫。 ?
谷歌云服務(wù)平臺出類拔萃,它所提供的并非虛擬化解決方案,而是提供由API定義的服務(wù)和應(yīng)用程序。程序員無需顧慮硬件,甚至不需要關(guān)心后臺的運作行為。 ?
當(dāng)然這從某種程度也限制了程序員的工作,不過如果谷歌的服務(wù)適合業(yè)務(wù),那么使用起來將是全世界*效快捷的大數(shù)據(jù)架構(gòu)服務(wù)。 ?
谷歌的AppEngine作為云平臺管理服務(wù),提供了基于MapReduce的大數(shù)據(jù)并行計算服務(wù)。所有的這些服務(wù)都可以通過REST風(fēng)格的API訪問。 ?
BigQuery作為分析的數(shù)據(jù)庫,提供了類SQL的查詢語法。它的性能要比Apache Hive來得快! ?
微軟在大數(shù)據(jù)中屬于后來居上者。通過Microsoft Azure大數(shù)據(jù)服務(wù)平臺,微軟融合自身海量成熟的軟件,例如SQL Server,提供了多種IaaS服務(wù)。 ?
微軟的服務(wù)面向更多的程序員,使得可以使用不同語言來對接大數(shù)據(jù)平臺Azure。Azure旨在提供一個生態(tài)的大數(shù)據(jù)分析開發(fā)環(huán)境,使得普通研究員也可以施展自己對大數(shù)據(jù)的理解!
?