咨詢熱線：
【北京華盛恒輝科技有限公司 ——（hivekion）是一家軟件定制開發(fā)公司，專注IT產(chǎn)品研發(fā)與服務，堅持穩(wěn)健經(jīng)營、持續(xù)創(chuàng)新、開放合作，在安全生產(chǎn)、大數(shù)據(jù)處理等領(lǐng)域構(gòu)筑了端到端的解決方案優(yōu)勢，為企業(yè)客戶提供有競爭力的IT解決方案、 產(chǎn)品和服務。】
原理
1、數(shù)據(jù)核心原理
從“流程”核心轉(zhuǎn)變?yōu)?ldquo;數(shù)據(jù)”核心
大數(shù)據(jù)時代，計算模式也發(fā)生了轉(zhuǎn)變，從“流程”核心轉(zhuǎn)變?yōu)?ldquo;數(shù)據(jù)”核心。Hadoop體系的分布式計算框架已經(jīng)是“數(shù)據(jù)”為核心的范式。非結(jié)構(gòu)化數(shù)據(jù)及分析需求，將改變IT系統(tǒng)的升級方式：從簡單增量到架構(gòu)變化。大數(shù)據(jù)下的新思維——計算模式的轉(zhuǎn)變。
例如：IBM將使用以數(shù)據(jù)為中心的設計，目的是降低在超級計算機之間進行大量數(shù)據(jù)交換的必要性。大數(shù)據(jù)下，云計算找到了破繭重生的機會，在存儲和計算上都體現(xiàn)了數(shù)據(jù)為核心的理念。大數(shù)據(jù)和云計算的關(guān)系：云計算為大數(shù)據(jù)提供了有力的工具和途徑，大數(shù)據(jù)為云計算提供了很有價值的用武之地。而大數(shù)據(jù)比云計算更為落地，可有效利用已大量建設的云計算資源，后加以利用。
科學進步越來越多地由數(shù)據(jù)來推動，海量數(shù)據(jù)給數(shù)據(jù)分析既帶來了機遇，也構(gòu)成了新的挑戰(zhàn)。大數(shù)據(jù)往往是利用眾多技術(shù)和方法，綜合源自多個渠道、不同時間的信息而獲得的。為了應對大數(shù)據(jù)帶來的挑戰(zhàn)，我們需要新的統(tǒng)計思路和計算方法。
說明：用數(shù)據(jù)核心思維方式思考問題，解決問題。以數(shù)據(jù)為核心，反映了當下IT產(chǎn)業(yè)的變革，數(shù)據(jù)成為人工智能的基礎(chǔ)，也成為智能化的基礎(chǔ)，數(shù)據(jù)比流程更重要，數(shù)據(jù)庫、記錄數(shù)據(jù)庫，都可開發(fā)出深層次信息。云計算機可以從數(shù)據(jù)庫、記錄數(shù)據(jù)庫中搜索出你是誰，你需要什么，從而推薦給你需要的信息。
2、數(shù)據(jù)價值原理
由功能是價值轉(zhuǎn)變?yōu)閿?shù)據(jù)是價值
大數(shù)據(jù)真正有意思的是數(shù)據(jù)變得在線了，這個恰恰是互聯(lián)網(wǎng)的特點。非互聯(lián)網(wǎng)時期的產(chǎn)品，功能一定是它的價值，今天互聯(lián)網(wǎng)的產(chǎn)品，數(shù)據(jù)一定是它的價值。
華盛恒輝舉例：大數(shù)據(jù)的真正價值在于創(chuàng)造，在于填補無數(shù)個還未實現(xiàn)過的空白。有人把數(shù)據(jù)比喻為蘊藏能量的煤礦，煤炭按照性質(zhì)有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數(shù)據(jù)并不在“大”，而在于“有用”，價值含量、挖掘成本比數(shù)量更為重要。不管大數(shù)據(jù)的核心價值是不是預測，但是基于大數(shù)據(jù)形成決策的模式已經(jīng)為不少的企業(yè)帶來了盈利和聲譽。
數(shù)據(jù)能告訴我們，每一個客戶的消費傾向，他們想要什么，喜歡什么，每個人的需求有哪些區(qū)別，哪些又可以被集合到一起來進行分類。大數(shù)據(jù)是數(shù)據(jù)數(shù)量上的增加，以至于我們能夠?qū)崿F(xiàn)從量變到質(zhì)變的過程。舉例來說，這里有一張照片，照片里的人在騎馬，這張照片每一分鐘，每一秒都要拍一張，但隨著處理速度越來越快，從1分鐘一張到1秒鐘1張，突然到1秒鐘10張后，就產(chǎn)生了電影。當數(shù)量的增長實現(xiàn)質(zhì)變時，就從照片變成了一部電影。
美國有一家創(chuàng)新企業(yè)Decide.com
它可以幫助人們做購買決策，告訴消費者什么時候買什么產(chǎn)品，什么時候買最便宜，預測產(chǎn)品的價格趨勢，這家公司背后的驅(qū)動力就是大數(shù)據(jù)。他們在全球各大網(wǎng)站上搜集數(shù)以十億計的數(shù)據(jù)，然后幫助數(shù)以十萬計的用戶省錢，為他們的采購找到最好的時間，降低交易成本，為終端的消費者帶去更多價值。
在這類模式下，盡管一些零售商的利潤會進一步受擠壓，但從商業(yè)本質(zhì)上來講，可以把錢更多地放回到消費者的口袋里，讓購物變得更理性，這是依靠大數(shù)據(jù)催生出的一項全新產(chǎn)業(yè)。這家為數(shù)以十萬計的客戶省錢的公司，在幾個星期前，被eBay以高價收購。
北京軟件開發(fā)公司再舉一個例子，SWIFT是全球最大的支付平臺，在該平臺上的每一筆交易都可以進行大數(shù)據(jù)的分析,他們可以預測一個經(jīng)濟體的健康性和增長性。比如，該公司現(xiàn)在為全球性客戶提供經(jīng)濟指數(shù)，這又是一個大數(shù)據(jù)服務。,定制化服務的關(guān)鍵是數(shù)據(jù)?！洞髷?shù)據(jù)時代》的作者維克托·邁爾·舍恩伯格認為，大量的數(shù)據(jù)能夠讓傳統(tǒng)行業(yè)更好地了解客戶需求，提供個性化的服務。
華盛恒輝說明：用數(shù)據(jù)價值思維方式思考問題，解決問題。信息總量的變化導致了信息形態(tài)的變化，量變引發(fā)了質(zhì)變，先經(jīng)歷信息爆炸的學科，如天文學和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個概念。如今，這個概念幾乎應用到了所有人類致力于發(fā)展的領(lǐng)域中。從功能為價值轉(zhuǎn)變?yōu)閿?shù)據(jù)為價值，說明數(shù)據(jù)和大數(shù)據(jù)的價值在擴大，數(shù)據(jù)為“王”的時代出現(xiàn)了。數(shù)據(jù)被解釋是信息，信息常識化是知識，所以說數(shù)據(jù)解釋、數(shù)據(jù)分析能產(chǎn)生價值。
3、全樣本原理
從抽樣轉(zhuǎn)變?yōu)樾枰繑?shù)據(jù)樣本
需要全部數(shù)據(jù)樣本而不是抽樣，你不知道的事情比你知道的事情更重要，但如果現(xiàn)在數(shù)據(jù)足夠多，它會讓人能夠看得見、摸得著規(guī)律。數(shù)據(jù)這么大、這么多，所以人們覺得有足夠的能力把握未來，對不確定狀態(tài)的一種判斷，從而做出自己的決定。這些東西我們聽起來都是非常原始的，但是實際上背后的思維方式，和我們今天所講的大數(shù)據(jù)是非常像的。
華盛恒輝舉例：在大數(shù)據(jù)時代，無論是商家還是信息的搜集者，會比我們自己更知道你可能會想干什么。現(xiàn)在的數(shù)據(jù)還沒有被真正挖掘，如果真正挖掘的話，通過信用卡消費的記錄，可以成功預測未來5年內(nèi)的情況。統(tǒng)計學里頭基本的一個概念就是，全部樣本才能找出規(guī)律。為什么能夠找出行為規(guī)律?一個更深層的概念是人和人是一樣的，如果是一個人特例出來，可能很有個性，但當人口樣本數(shù)量足夠大時，就會發(fā)現(xiàn)其實每個人都是一模一樣的。
華盛恒輝說明：用全數(shù)據(jù)樣本思維方式思考問題，解決問題。從抽樣中得到的結(jié)論總是有水分的，而全部樣本中得到的結(jié)論水分就很少，大數(shù)據(jù)越大，真實性也就越大，因為大數(shù)據(jù)包含了全部的信息。
4、關(guān)注效率原理
由關(guān)注精確度轉(zhuǎn)變?yōu)殛P(guān)注效率
關(guān)注效率而不是精確度，大數(shù)據(jù)標志著人類在尋求量化和認識世界的道路上前進了一大步，過去不可計量、存儲、分析和共享的很多東西都被數(shù)據(jù)化了，擁有大量的數(shù)據(jù)和更多不那么精確的數(shù)據(jù)為我們理解世界打開了一扇新的大門。大數(shù)據(jù)能提高生產(chǎn)效率和銷售效率，原因是大數(shù)據(jù)能夠讓我們知道市場的需要，人的消費需要。大數(shù)據(jù)讓企業(yè)的決策更科學，由關(guān)注精確度轉(zhuǎn)變?yōu)殛P(guān)注效率的提高，大數(shù)據(jù)分析能提高企業(yè)的效率。
華盛恒輝例如：在互聯(lián)網(wǎng)大數(shù)據(jù)時代，企業(yè)產(chǎn)品迭代的速度在加快。三星、小米手機制造商半年就推出一代新智能手機。利用互聯(lián)網(wǎng)、大數(shù)據(jù)提高企業(yè)效率的趨勢下，快速就是效率、預測就是效率、預見就是效率、變革就是效率、創(chuàng)新就是效率、應用就是效率。
競爭是企業(yè)的動力，而效率是企業(yè)的生命，效率低與效率高是衡量企來成敗的關(guān)鍵。一般來講，投入與產(chǎn)出比是效率，追求高效率也就是追求高價值。手工、機器、自動機器、智能機器之間效率是不同的，智能機器效率更高，已能代替人的思維勞動。智能機器核心是大數(shù)據(jù)制動，而大數(shù)據(jù)制動的速度更快。在快速變化的市場，快速預測、快速決策、快速創(chuàng)新、快速定制、快速生產(chǎn)、快速上市成為企業(yè)行動的準則，也就是說，速度就是價值，效率就是價值，而這一切離不開大數(shù)據(jù)思維。
華盛恒輝說明：用關(guān)注效率思維方式思考問題，解決問題。大數(shù)據(jù)思維有點像混沌思維，確定與不確定交織在一起，過去那種一元思維結(jié)果，已被二元思維結(jié)果取代。過去尋求精確度，現(xiàn)在尋求高效率;過去尋求因果性，現(xiàn)在尋求相關(guān)性;過去尋找確定性，現(xiàn)在尋找概率性，對不精確的數(shù)據(jù)結(jié)果已能容忍。只要大數(shù)據(jù)分析指出可能性，就會有相應的結(jié)果，從而為企業(yè)快速決策、快速動作、創(chuàng)占先機提高了效率。
5、關(guān)注相關(guān)性原理
由因果關(guān)系轉(zhuǎn)變?yōu)殛P(guān)注相關(guān)性
關(guān)注相關(guān)性而不是因果關(guān)系，社會需要放棄它對因果關(guān)系的渴求，而僅需關(guān)注相關(guān)關(guān)系，也就是說只需要知道是什么，而不需要知道為什么。這就推翻了自古以來的慣例，而我們做決定和理解現(xiàn)實的基本方式也將受到挑戰(zhàn)。
華盛恒輝例如：大數(shù)據(jù)思維一個突出的特點，就是從傳統(tǒng)的因果思維轉(zhuǎn)向相關(guān)思維，傳統(tǒng)的因果思維是說我一定要找到一個原因，推出一個結(jié)果來。而大數(shù)據(jù)沒有必要找到原因，不需要科學的手段來證明這個事件和那個事件之間有一個必然，先后關(guān)聯(lián)發(fā)生的一個因果規(guī)律。它只需要知道，出現(xiàn)這種跡象的時候，我就按照一般的情況，這個數(shù)據(jù)統(tǒng)計的高概率顯示它會有相應的結(jié)果，那么我只要發(fā)現(xiàn)這種跡象的時候，我就可以去做一個決策，我該怎么做。這是和以前的思維方式很不一樣，老實說，它是一種有點反科學的思維，科學要求實證，要求找到準確的因果關(guān)系。
在這個不確定的時代里面，等我們?nèi)フ业綔蚀_的因果關(guān)系，再去辦事的時候，這個事情早已經(jīng)不值得辦了。所以“大數(shù)據(jù)”時代的思維有點像回歸了工業(yè)社會的這種機械思維——機械思維就是說我按那個按鈕，一定會出現(xiàn)相應的結(jié)果，是這樣狀態(tài)。而農(nóng)業(yè)社會往前推，不需要找到中間非常緊密的、明確的因果關(guān)系，而只需要找到相關(guān)關(guān)系，只需要找到跡象就可以了。社會因此放棄了尋找因果關(guān)系的傳統(tǒng)偏好，開始挖掘相關(guān)關(guān)系的好處。
華盛恒輝例如：美國人開發(fā)一款“個性化分析報告自動可視化程序”軟件從網(wǎng)上挖掘數(shù)據(jù)信息，這款數(shù)據(jù)挖掘軟件將自動從各種數(shù)據(jù)中提取重要信息，然后進行分析，并把此信息與以前的數(shù)據(jù)關(guān)聯(lián)起來，分析出有用的信息。
非法在屋內(nèi)打隔斷的建筑物著火的可能性比其他建筑物高很多。紐約市每年接到2.5萬宗有關(guān)房屋住得過于擁擠的投訴，但市里只有200名處理投訴的巡視員，市長辦公室一個分析專家小組覺得大數(shù)據(jù)可以幫助解決這一需求與資源的落差。該小組建立了一個市內(nèi)全部90萬座建筑物的數(shù)據(jù)庫，并在其中加入市里19個部門所收集到的數(shù)據(jù)：欠稅扣押記錄、水電使用異常、繳費拖欠、服務切斷、救護車使用、當?shù)胤缸锫?、鼠患投訴，諸如此類。
接下來，他們將這一數(shù)據(jù)庫與過去5年中按嚴重程度排列的建筑物著火記錄進行比較，希望找出相關(guān)性。果然，建筑物類型和建造年份是與火災相關(guān)的因素。不過，一個沒怎么預料到的結(jié)果是，獲得外磚墻施工許可的建筑物與較低的嚴重火災發(fā)生率之間存在相關(guān)性。利用所有這些數(shù)據(jù)，該小組建立了一個可以幫助他們確定哪些住房擁擠投訴需要緊急處理的系統(tǒng)。他們所記錄的建筑物的各種特征數(shù)據(jù)都不是導致火災的原因，但這些數(shù)據(jù)與火災隱患的增加或降低存在相關(guān)性。這種知識被證明是極具價值的：過去房屋巡視員出現(xiàn)場時簽發(fā)房屋騰空令的比例只有13%，在采用新辦法之后，這個比例上升到了70%——效率大大提高了。
全世界的商界人士都在高呼大數(shù)據(jù)時代來臨的優(yōu)勢：一家超市如何從一個17歲女孩的購物清單中，發(fā)現(xiàn)了她已懷孕的事實;或者將啤酒與尿不濕放在一起銷售，神奇地提高了雙方的銷售額。大數(shù)據(jù)透露出來的信息有時確實會起顛覆。比如，騰訊一項針對社交網(wǎng)絡的統(tǒng)計顯示，愛看家庭劇的男人是女性的兩倍還多;關(guān)心金價的是中國大媽，但緊隨其后的卻是90后。而在過去一年，支付寶中無線支付比例排名前十的竟然全部在青海、西藏和內(nèi)蒙古地區(qū)。
華盛恒輝說明：用關(guān)注相關(guān)性思維方式來思考問題，解決問題。尋找原因是一種現(xiàn)代社會的一神論，大數(shù)據(jù)推翻了這個論斷。過去尋找原因的信念正在被“更好”的相關(guān)性所取代。當世界由探求因果關(guān)系變成挖掘相關(guān)關(guān)系，我們怎樣才能既不損壞建立在因果推理基礎(chǔ)之上的社會繁榮和人類進步的基石，又取得實際的進步呢?這是值得思考的問題。
華盛恒輝解釋：轉(zhuǎn)向相關(guān)性，不是不要因果關(guān)系，因果關(guān)系還是基礎(chǔ)，科學的基石還是要的。只是在高速信息化的時代，為了得到即時信息，實時預測，在快速的大數(shù)據(jù)分析技術(shù)下，尋找到相關(guān)性信息，就可預測用戶的行為，為企業(yè)快速決策提供提前量。
比如預警技術(shù)，只有提前幾十秒察覺，防御系統(tǒng)才能起作用。比如，雷達顯示有個提前量，如果沒有這個預知的提前量，雷達的作用也就沒有了，相關(guān)性也是這個原理。比如，相對論與量子論的爭論也能說明問題，一個說上帝不擲骰子，一個說上帝擲骰子，爭論幾十年，后承認兩個都存在，而且量子論取得更大的發(fā)展——一個適用于宇宙尺度，一個適用于原子尺度。
6、預測原理
從不能預測轉(zhuǎn)變?yōu)榭梢灶A測
大數(shù)據(jù)的核心就是預測，大數(shù)據(jù)能夠預測體現(xiàn)在很多方面。大數(shù)據(jù)不是要教機器像人一樣思考，相反，它是把數(shù)學算法運用到海量的數(shù)據(jù)上來預測事情發(fā)生的可能性。正因為在大數(shù)據(jù)規(guī)律面前，每個人的行為都跟別人一樣，沒有本質(zhì)變化，所以商家會比消費者更了消費者的行為。
華盛恒輝例如：大數(shù)據(jù)助微軟準確預測世界杯
微軟大數(shù)據(jù)團隊在2014年巴西世界足球賽前設計了世界杯模型，該預測模型正確預測了賽事后幾輪每場比賽的結(jié)果，包括預測德國隊將終獲勝。預測成功歸功于微軟在世界杯進行過程中獲取的大量數(shù)據(jù)，到淘汰賽階段，數(shù)據(jù)如滾雪球般增多，常握了有關(guān)球員和球隊的足夠信息，以適當校準模型并調(diào)整對接下來比賽的預測。
世界杯預測模型的方法與設計其它事件的模型相同，訣竅就是在預測中去除主觀性，讓數(shù)據(jù)說話。預測性數(shù)學模型幾乎不算新事物，但它們正變得越來越準確。在這個時代，數(shù)據(jù)分析能力終于開始趕上數(shù)據(jù)收集能力，分析師不僅有比以往更多的信息可用于構(gòu)建模型，也擁有在很短時間內(nèi)通過計算機將信息轉(zhuǎn)化為相關(guān)數(shù)據(jù)的技術(shù)。
幾年前，得等每場比賽結(jié)束以后才能獲取所有數(shù)據(jù)，現(xiàn)在，數(shù)據(jù)是自動實時發(fā)送的，這讓預測模型能獲得更好的調(diào)整且更準確。微軟世界懷模型的成績說明了其模型的實力，它的成功為大數(shù)據(jù)的力量提供了強有力的證明，利用同樣的方法還可預測選舉或關(guān)注股票。類似的大數(shù)據(jù)分析正用于商業(yè)、政府、經(jīng)濟學和社會科學，它們都關(guān)于原始數(shù)據(jù)進行分析。
我們進入了一個用數(shù)據(jù)進行預測的時代，雖然我們可能無法解釋其背后的原因。如果一個醫(yī)生只要求病人遵從醫(yī)囑，卻沒法說明醫(yī)學干預的合理性的話，情況會怎么樣呢?實際上，這是依靠大數(shù)據(jù)取得病理分析的醫(yī)生們一定會做的事情。
從一個人亂穿馬路時行進的軌跡和速度來看他能及時穿過馬路的可能性，都是大數(shù)據(jù)可以預測的范圍。當然，如果一個人能及時穿過馬路，那么他亂穿馬路時，車子就只需要稍稍減速就好。但是這些預測系統(tǒng)之所以能夠成功，關(guān)鍵在于它們是建立在海量數(shù)據(jù)的基礎(chǔ)之上的。
此外，隨著系統(tǒng)接收到的數(shù)據(jù)越來越多，通過記錄找到的好的預測與模式，可以對系統(tǒng)進行改進。它通常被視為人工智能的一部分，或者更確切地說，被視為一種機器學習。真正的革命并不在于分析數(shù)據(jù)的機器，而在于數(shù)據(jù)本身和我們?nèi)绾芜\用數(shù)據(jù)。一旦把統(tǒng)計學和現(xiàn)在大規(guī)模的數(shù)據(jù)融合在一起，將會顛覆很多我們原來的思維。所以現(xiàn)在能夠變成數(shù)據(jù)的東西越來越多，計算和處理數(shù)據(jù)的能力越來越強，所以大家突然發(fā)現(xiàn)這個東西很有意思。所以，大數(shù)據(jù)能干啥?能干很多很有意思的事情。
華盛恒輝例如：預測當年葡萄酒的品質(zhì)
很多品酒師品的不是葡萄酒，那時候葡萄酒還沒有真正的做成，他們品的是發(fā)爛的葡萄。因此在那個時間點就預測當年葡萄酒的品質(zhì)是比較冒險的。而且人的心理的因素是會影響他做的這個預測，比如說地位越高的品酒師，在做預測時會越保守，因為他一旦預測錯了，要損失的名譽代價是很大的。所以的品酒大師一般都不敢貿(mào)然說今年的酒特別好，或者是特別差;而剛出道的品酒師往往會“語不驚人死不休的”。
普林斯頓大學有一個英語學教授，他也很喜歡喝酒，喜歡儲藏葡萄酒，所以他就想是否可以分析到底哪年酒的品質(zhì)好。然后他就找了很多數(shù)據(jù)，比如說降雨量、平均氣溫、土壤成分等等，然后他做回歸，后他說把參數(shù)都找出來，做了個網(wǎng)站，告訴大家今年葡萄酒的品質(zhì)好壞以及秘訣是什么。
當他的研究公布的時候，引起了業(yè)界的軒然大波，因為他做預測做的很提前，因為今年的葡萄收獲后要經(jīng)過一段的時間發(fā)酵，酒的味道才會好，但這個教授突然預測說今年的酒是世紀好的酒。大家說怎么敢這么說，太瘋狂了。更瘋狂的是到了第二年，他預測今年的酒比去年的酒更好，連續(xù)兩次預測說是百年好的酒，但他真的預測對了?，F(xiàn)在品酒師在做評判之前，要先到他的網(wǎng)站上看看他的預測，然后再做出自己的判斷。有很多的規(guī)律我們不知道，但是它潛伏在這些大數(shù)據(jù)里頭。
華盛恒輝例如：大數(shù)據(jù)描繪“傷害圖譜”
廣州市傷害監(jiān)測信息系統(tǒng)通過廣州市紅十字會醫(yī)院、番禺區(qū)中心醫(yī)院、越秀區(qū)兒童醫(yī)院3個傷害監(jiān)測哨點醫(yī)院，持續(xù)收集市內(nèi)發(fā)生的傷害信息，分析傷害發(fā)生的原因及危險因素，系統(tǒng)共收集傷害患者14681例，接近九成半都是意外事故。整體上，傷害多發(fā)生于男性，占61.76%，5歲以下兒童傷害比例高達14.36%，家長和社會應高度重視，45.19%的傷害都是發(fā)生在家中，其次才是公路和街道。
收集到監(jiān)測數(shù)據(jù)后，關(guān)鍵是通過分析處理，把數(shù)據(jù)“深加工”以利用。比如，監(jiān)測數(shù)據(jù)顯示，老人跌倒多數(shù)不是發(fā)生在雨天屋外，而是發(fā)生在家里，尤其是旱上剛起床時和浴室里，這就提示，防控老人跌倒的對策應該著重在家居，起床要注意不要動作過猛，浴室要防滑，加扶手等等。
北京軟件開發(fā)公司說明：用大數(shù)據(jù)預測思維方式來思考問題，解決問題。數(shù)據(jù)預測、數(shù)據(jù)記錄預測、數(shù)據(jù)統(tǒng)計預測、數(shù)據(jù)模型預測，數(shù)據(jù)分析預測、數(shù)據(jù)模式預測、數(shù)據(jù)深層次信息預測等等，已轉(zhuǎn)變?yōu)榇髷?shù)據(jù)預測、大數(shù)據(jù)記錄預測、大數(shù)據(jù)統(tǒng)計預測、大數(shù)據(jù)模型預測，大數(shù)據(jù)分析預測、大數(shù)據(jù)模式預測、大數(shù)據(jù)深層次信息預測。
互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)和云計算機保證了大數(shù)據(jù)實時預測的可能性，也為企業(yè)和用戶提供了實時預測的信息，相關(guān)性預測的信息，讓企業(yè)和用戶搶占先機。由于大數(shù)據(jù)的全樣本性，人和人都是一樣的，所以云計算機軟件預測的效率和準確性大大提高，有這種跡象，就有這種結(jié)果。
7、信息找人原理
從人找信息轉(zhuǎn)變?yōu)樾畔⒄胰?/b>
互聯(lián)網(wǎng)和大數(shù)據(jù)的發(fā)展，是一個從人找信息，到信息找人的過程。先是人找信息，人找人，信息找信息，現(xiàn)在是信息找人的這樣一個時代。信息找人的時代，就是說一方面我們回到了一種初的，廣播模式是信息找人，我們聽收音機，我們看電視，它是信息推給我們的，但是有一個缺陷，不知道我們是誰，后來互聯(lián)網(wǎng)反其道而行，提供搜索引擎技術(shù),讓我知道如何找到我所需要的信息，所以搜索引擎是一個很關(guān)鍵的技術(shù)。
華盛恒輝例如：從搜索引擎——向推薦引擎轉(zhuǎn)變。今天，后搜索引擎時代已經(jīng)正式來到，什么叫做后搜索引擎時代呢?使用搜索引擎的頻率會大大降低，使用的時長也會大大的縮短，為什么使用搜索引擎的頻率在下降?時長在下降?原因是推薦引擎的誕生。就是說從人找信息到信息找人越來越成為了一個趨勢，推薦引擎就是說它很懂我，知道我要知道，所以是好的技術(shù)。喬布斯說，讓人感受不到技術(shù)的技術(shù)是好的技術(shù)。
大數(shù)據(jù)還改變了信息優(yōu)勢。按照循證醫(yī)學，現(xiàn)在治病的第一件事情不是去研究病理學，而是拿過去的數(shù)據(jù)去研究，相同情況下是如何治療的。這導致專家和普通人之間的信息優(yōu)勢沒有了。原來我相信醫(yī)生，因為醫(yī)生知道的多，但現(xiàn)在我可以到谷歌上查一下，知道自己得了什么病。
谷歌有一個機器翻譯的團隊，開始的時候翻譯之后的文字根本看不懂，但是現(xiàn)在60%的內(nèi)容都能讀得懂。谷歌機器翻譯團隊里頭有一個笑話，說從團隊每離開一個語言學家，翻譯質(zhì)量就會提高。越是專家越搞不明白，但打破常規(guī)讓數(shù)據(jù)說話，得到真理的速度反而更快。
華盛恒輝說明：用信息找人的思維方式思考問題，解決問題。從人找信息到信息找人，是交互時代一個轉(zhuǎn)變，也是智能時代的要求。智能機器已不是冷冰冰的機器，而是具有一定智能的機器。信息找人這四個字，預示著大數(shù)據(jù)時代可以讓信息找人，原因是企業(yè)懂用戶，機器懂用戶，你需要什么信息，企業(yè)和機器提前知道，而且主動提供你需要的信息。
8、機器懂人原理
由人懂機器轉(zhuǎn)變?yōu)闄C器更懂人
不是讓人更懂機器，而是讓機器更懂人，或者說是能夠在使用者很笨的情況下，仍然可以使用機器。甚至不是讓人懂環(huán)境，而是讓我們的環(huán)境來懂我們，環(huán)境來適應人，某種程度上自然環(huán)境不能這樣講，但是在數(shù)字化環(huán)境中已經(jīng)是這樣的一個趨勢，就是我們所在的生活世界，越來越趨向于它更適應于我們，更懂我們。哪個企業(yè)能夠真正做到讓機器更懂人，讓環(huán)境更懂人，讓我們隨身攜帶的整個的生活世界更懂得我們的話，那他一定是具有競爭力的了，而“大數(shù)據(jù)”技術(shù)能夠助我們一臂之力。
北京軟件開發(fā)公司例如：亞馬遜網(wǎng)站，只要買書，就會提供一個今天司空見慣的推薦，買了這本書的人還買了什么書，后來發(fā)現(xiàn)相關(guān)推薦的書比我想買的書還要好，時間久之后就會對它產(chǎn)生一種信任。這種信任就像在北京的那么多書店里面，以前買書的時候就在幾家，原因在于我買書比較多，他都已經(jīng)認識我了，都是我一去之后，我不說我要買什么書，他會推薦最近上來的幾本書，可能是我感興趣的。這樣我就不會到別的很近的書店，因為這家書店更懂我。
北京軟件開發(fā)公司例如，解題機器人挑戰(zhàn)大型預科學校高考模擬試題的結(jié)果，解題機器人的學歷水平應該比肩普通高三學生。計算機不擅長對語言和知識進行綜合解析，但通過借助大規(guī)模數(shù)據(jù)庫對普通文章做出判斷的方法，在對話填空和語句重排等題型上成績有所提高。
讓機器懂人，是讓機器具有學習的功能。人工智能已轉(zhuǎn)變?yōu)檠芯繖C器學習。大數(shù)據(jù)分析要求機器更智能，具有分析能力，機器即時學習變得更重要。機器學習是指：計算機利用經(jīng)驗改善自身性能的行為。機器學習主要研究如何使用計算機模擬和實現(xiàn)人類獲取知識(學習)過程、創(chuàng)新、重構(gòu)已有的知識，從而提升自身處理問題的能力，機器學習的最終目的是從數(shù)據(jù)中獲取知識。
大數(shù)據(jù)技術(shù)的其中一個核心目標是要從體量巨大、結(jié)構(gòu)繁多的數(shù)據(jù)中挖掘出隱蔽在背后的規(guī)律，從而使數(shù)據(jù)發(fā)揮大化的價值。由計算機代替人去挖掘信息，獲取知識。從各種各樣的數(shù)據(jù)(包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù))中快速獲取有價值信息的能力，就是大數(shù)據(jù)技術(shù)。大數(shù)據(jù)機器分析中，半監(jiān)督學習、集成學習、 概率模型等技術(shù)尤為重要。
華盛恒輝說明：用機器更懂人的思維方式思考問題，解決問題。機器從沒有常識到逐步有點常識，這是很大的變化。去年，美國人把一臺云計算機送到大學里去進修，增加知識和常識。近俄羅斯人開發(fā)一臺計算機軟件通過圖林測試，表明計算機已初步具有智能。
讓機器懂人，這是人工智能的成功，同時，也是人的大數(shù)據(jù)思維轉(zhuǎn)變。你的機器、你的軟件、你的服務是否更懂人?將是衡量一個機器、一件軟件、一項服務好壞的標準。人機關(guān)系已發(fā)生很大變化，由人機分離，轉(zhuǎn)化為人機溝通，人機互補，機器懂人，現(xiàn)在年青人已離不開智能手機是一個很好的例證。在互聯(lián)網(wǎng)大數(shù)據(jù)時代，有問題—問機器—問百度，成為生活的一部分。機器什么都知道，原因是有大數(shù)據(jù)庫，機器可搜索到相關(guān)數(shù)據(jù)，從而使機器懂人。是人讓機器更懂人，如果機器更懂人，那么機器的價值更高。
9、電子商務智能原理
改變了電子商務模式，讓其更智能
商務智能，在今天大數(shù)據(jù)時代它獲得的重新的定義。
華盛恒輝例如：傳統(tǒng)企業(yè)進入互聯(lián)網(wǎng)，在掌握了“大數(shù)據(jù)”技術(shù)應用途徑之后，會發(fā)現(xiàn)有一種豁然開朗的感覺，我整天就像在黑屋子里面找東西，找不著，突然碰到了一個開關(guān)，發(fā)現(xiàn)那么費力的找東西，原來很容易找得到。大數(shù)據(jù)思維，事實上它不是一個全稱的判斷，只是對我們所處的時代某一個緯度的描述。
大數(shù)據(jù)時代不是說我們這個時代除了大數(shù)據(jù)什么都沒有，哪怕是在互聯(lián)網(wǎng)和IT領(lǐng)域，它也不是一切，只是說在我們的時代特征里面加上這么一道很明顯的光，從而導致我們對以前的生存狀態(tài)，以及我們個人的生活狀態(tài)的一個差異化的一種表達。
華盛恒輝例如：大數(shù)據(jù)讓軟件更智能。盡管我們?nèi)蕴幱诖髷?shù)據(jù)時代來臨的前夕，但我們的日常生活已經(jīng)離不開它了。交友網(wǎng)站根據(jù)個人的性格與之前成功配對的情侶之間的關(guān)聯(lián)來進行新的配對。例如，具有“自動改正”功能的智能手機通過分析我們以前的輸入，將個性化的新單詞添加到手機詞典里。在不久的將來，世界許多現(xiàn)在單純依靠人類判斷力的領(lǐng)域都會被計算機系統(tǒng)所改變甚至取代。計算機系統(tǒng)可以發(fā)揮作用的領(lǐng)域遠遠不止駕駛和交友，還有更多更復雜的任務。別忘了，亞馬遜可以幫我們推薦想要的書，谷歌可以為關(guān)聯(lián)網(wǎng)站排序，F(xiàn)acebook知道我們的喜好，而linkedIn可以猜出我們認識誰。
華盛恒輝當然，同樣的技術(shù)也可以運用到疾病診斷、推薦治療措施，甚至是識別潛在犯罪分子上。或者說，在你還不知道的情況下，體檢公司、醫(yī)院提醒你趕緊去做檢查，可能會得某些病，商家比你更了解你自己，以及你這樣的人在某種情況下會出現(xiàn)的可能變化。就像互聯(lián)網(wǎng)通過給計算機添加通信功能而改變了世界，大數(shù)據(jù)也將改變我們生活中重要的方面，因為它為我們的生活創(chuàng)造了前所未有的可量化的維度。
華盛恒輝說明：用電子商務更智能的思維方式思考問題，解決問題。人腦思維與機器思維有很大差別，但機器思維在速度上是取勝的，而且智能軟件在很多領(lǐng)域已能代替人腦思維的操作工作。例如美國一家媒體公司已用電腦智能軟件寫稿，可用率已達70%。云計算機已能處理超字節(jié)的大數(shù)據(jù)量，人們需要的所有信息都可得到顯現(xiàn)，而且每個人互聯(lián)網(wǎng)行為都可記錄，這些記錄的大數(shù)據(jù)經(jīng)過云計算處理能產(chǎn)生深層次信息，經(jīng)過大數(shù)據(jù)軟件挖掘，企業(yè)需要的商務信息都能實時提供，為企業(yè)決策和營銷、定制產(chǎn)品等提供了大數(shù)據(jù)支持。
10、定制產(chǎn)品原理
由企業(yè)生產(chǎn)產(chǎn)品轉(zhuǎn)為由客戶定制產(chǎn)品
下一波的改革是大規(guī)模定制，為大量客戶定制產(chǎn)品和服務，成本低、又兼具個性化。比如消費者希望他買的車有紅色、綠色，廠商有能力滿足要求，但價格又不至于像手工制作那般讓人無法承擔。因此，在廠家可以負擔得起大規(guī)模定制帶去的高成本的前提下，要真正做到個性化產(chǎn)品和服務，就必須對客戶需求有很好的了解，這背后就需要依靠大數(shù)據(jù)技術(shù)。
華盛恒輝例如：大數(shù)據(jù)改變了企業(yè)的競爭力。定制產(chǎn)品這是一個很好的技術(shù)，但是能不能夠形成企業(yè)的競爭力呢?在產(chǎn)業(yè)經(jīng)濟學里面有一個很重要的區(qū)別，就是生產(chǎn)力和競爭力的區(qū)別，就是說一個東西是具有生產(chǎn)力的，那這種生產(chǎn)力變成一種通用生產(chǎn)力的時候，就不能形成競爭力，因為每一個人，每一個企業(yè)都有這個生產(chǎn)力的時候，只能提高自己的生產(chǎn)力，過去沒有車的時候和有車的時候，你的活動半徑、運行速度大大提高了，但是當每一個人都沒有車的時候，你有車，就會形成競爭力。大數(shù)據(jù)也一樣，你有大數(shù)據(jù)定制產(chǎn)品，別人沒有，就會形成競爭力。
在互聯(lián)網(wǎng)大數(shù)據(jù)的時代，商家最后很可能可以針對每一個顧客進行精準的價格歧視。我們現(xiàn)在很多的行為都是比較粗放的，航空公司會給我們里程卡，根據(jù)飛行公里數(shù)來累計里程，但其實不同顧客所飛行的不同里程對航空公司的利潤貢獻是不一樣的。所以有一天某位顧客可能會收到一封信，“恭喜先生，您已經(jīng)被我們選為幸運顧客，我們提前把您升級到白金卡。”這說明這個顧客對航空公司的貢獻已經(jīng)夠多了。有一天銀行說“恭喜您，您的額度又被提高了，”就說明錢花得已經(jīng)太多了。
正因為在大數(shù)據(jù)規(guī)律面前，每個人的行為都跟別人一樣，沒有本質(zhì)變化。所以商家會比消費者更了消費者的行為。也許你正在想，工作了一年很辛苦，要不要去哪里度假打開e-Mail，就有航空公司、旅行社的郵件。
華盛恒輝說明：用定制產(chǎn)品思維方式思考問題，解決問題。大數(shù)據(jù)時代讓企業(yè)找到了定制產(chǎn)品、訂單生產(chǎn)、用戶銷售的新路子。用戶在家購買商品已成為趨勢，快遞的快速，讓用戶體驗到實時購物的快感，進而成為網(wǎng)購迷，個人消費不是減少了，反而是增加了。為什么企業(yè)要互聯(lián)網(wǎng)化大數(shù)據(jù)化，也許有這個原因。2000萬家互聯(lián)網(wǎng)網(wǎng)店的出現(xiàn)，說明數(shù)據(jù)廣告、數(shù)據(jù)傳媒的重要性。
企業(yè)產(chǎn)品直接銷售給用戶，省去了中間商流通環(huán)節(jié)，使產(chǎn)品的價格可以以出廠價銷售，讓銷費者獲得了好處，網(wǎng)上產(chǎn)品便宜成為用戶的信念，網(wǎng)購市場形成了。要讓用戶成為你的產(chǎn)品粉絲，就必須了解用戶需要，定制產(chǎn)品成為用戶的心愿，也就成為企業(yè)發(fā)展的新方向。
大數(shù)據(jù)思維是客觀存在，大數(shù)據(jù)思維是新的思維觀。用大數(shù)據(jù)思維方式思考問題，解決問題是當下企業(yè)潮流。大數(shù)據(jù)思維開啟了一次重大的時代轉(zhuǎn)型。
誤區(qū)
（1）大數(shù)據(jù)意味著“很多”數(shù)據(jù)
目前，大數(shù)據(jù)已經(jīng)成為一個流行詞。但人們通常對它真正的含義還是不清楚。有些人將大數(shù)據(jù)簡單地認為是大量的數(shù)據(jù)。但是，這并不完全正確，它比這稍微復雜一些。大數(shù)據(jù)是指一個數(shù)據(jù)集，無論是結(jié)構(gòu)（如數(shù)據(jù)表）或非結(jié)構(gòu)化（如元數(shù)據(jù)從電子郵件）結(jié)合的數(shù)據(jù)，如社會媒體分析或物聯(lián)網(wǎng)數(shù)據(jù)，形成一個更大的故事。大數(shù)據(jù)故事說明組織很難用傳統(tǒng)的分析技術(shù)來捕獲發(fā)生的趨勢。
豐田研究院的數(shù)據(jù)研究總監(jiān)吉姆·阿德勒表達了一個很好的觀點：“數(shù)據(jù)也有質(zhì)量。這就像水一樣：玻璃容器中的水是非常易于管理。但是，如果混雜在洪水中，這將是壓倒性的災害。”他說，“在數(shù)據(jù)分析系統(tǒng)中，工作在一臺機器的的數(shù)據(jù)將被沖走時，其數(shù)據(jù)規(guī)模將增長100或1000倍。所以，當然，原型雖小，但其架構(gòu)卻很大。”
（2）數(shù)據(jù)需要清潔
“大的誤區(qū)就是你必須要有干凈的數(shù)據(jù)進行分析。”BeyondCore公司首席執(zhí)行官阿里吉特·森古普塔說，“沒有人有干凈的數(shù)據(jù)，必須將數(shù)據(jù)進行清理，否則分析是行不通的。這是一個瘋狂的想法。你要做的就是進行一個足夠好的分析。你要分析所有的數(shù)據(jù)，盡管這些數(shù)據(jù)是骯臟的，這只說明你有數(shù)據(jù)質(zhì)量問題。我可以告訴你一些模式，盡管數(shù)據(jù)存在質(zhì)量問題，但完全可以進行正常分析?，F(xiàn)在，你可以集中進行數(shù)據(jù)質(zhì)量工作，只是提高數(shù)據(jù)可以得到稍微好一點的洞察力。”
InOutsource商業(yè)智能和分析總監(jiān)梅根·布茨梅因?qū)Υ吮硎举澩?ldquo;很多時候，企業(yè)就會將這些工作能拖就拖，因為他們認為數(shù)據(jù)是不干凈的，這是沒有必要的。部署的分析應用程序?qū)⒖梢哉业綌?shù)據(jù)的薄弱環(huán)節(jié)，”她說。“一旦這些問題已經(jīng)確定，清理計劃可以投入到位。然后，分析應用程序可以利用一種機制，加大清理力度，并監(jiān)測進展情況。”
布茨梅因說。“一旦你把這些數(shù)據(jù)整合在一起，你將在一個應用程序中賦予它生命的視覺，你可以看到這些匯集在一起的數(shù)據(jù)的關(guān)聯(lián)，你會很快看到你的資料不足。”她說，“你可以看到數(shù)據(jù)的問題在于要提供一個清理數(shù)據(jù)的基準。”
（3）等待，讓你的數(shù)據(jù)完美
你不應該等待清理你的數(shù)據(jù)，這里還有一個原因，森古普塔說，“在你完全清除數(shù)據(jù)之后，這可能需要三個月的時間，然而三個月后，這些數(shù)據(jù)已經(jīng)陳舊過時了。”因此，這些信息將不再適用。
森古普塔表示，第一州際銀行的喬希·巴特曼在會議提出了一個重要觀點。喬希展示了他是如何運行分析，發(fā)現(xiàn)問題，分析變化，重新運行分析的。他說，“你看，我的分析時間只有大約四到五分鐘。所以，如果我可以運行分析，發(fā)現(xiàn)問題，解決問題，再重新進行分析，并在四、五分鐘后查看報告，改變?nèi)绾翁幚矸治龅姆椒ā?rdquo;
森古普塔用編碼來比喻那些舊方式。“我的一切都是正確的，然后我進行編碼。但現(xiàn)在，每個人進行編碼都不太靈活。”他說。“你寫好程序之后，你必須要測試它，并查看如何能使它更好，那么等它變得更好之后。世界發(fā)生了變化，人們?nèi)匀徊捎玫氖桥f的做事方法。”
（4）數(shù)據(jù)湖
數(shù)據(jù)湖是持有大量的原始結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)的松散的存儲庫，經(jīng)常在大數(shù)據(jù)的背景下提到。
唯一的問題是，盡管他們是如何經(jīng)常被引用，但它們卻不存在，阿德勒說，“一個組織的數(shù)據(jù)不被倒入一個數(shù)據(jù)湖中。這是精心策劃的一個部門的數(shù)據(jù)庫。鼓勵集中使用專業(yè)知識。他們還提供了良好的數(shù)據(jù)治理和合規(guī)性所需的問責性和透明度。”
（5）分析數(shù)據(jù)是昂貴的
如果假定在數(shù)據(jù)分析工具涉及一些費用的話，你可能會害怕獲得數(shù)據(jù)。而可以告訴你的有好消息是，如今有許多免費的數(shù)據(jù)工具，任何人都可以開始使用這些工具來分析大數(shù)據(jù)。
同時，森古普塔表示，當今云計算的低成本意味著“你真的可以做那些以前從來不可能實現(xiàn)的的事情。”
（6）機器算法將取代人類分析
森古普塔認為在分析大數(shù)據(jù)方法有一個有趣的二分法。“有人說，解決這個問題需要成千上萬的數(shù)據(jù)科學家來分析解決，隨后，又有人說，采用機器學習就可以做到這一切。這將是完全自動的。”
但是，桑古塔并不認為這些都是合適的解決方案。“沒有足夠的數(shù)據(jù)科學家，成本將快速上升。”他說，“此外，企業(yè)用戶有多年的域名登錄經(jīng)驗，并有著對他們業(yè)務的直覺。當你請來一個數(shù)據(jù)科學家，并認為他會搞定這些工作，并告訴你該怎么做。這實際上創(chuàng)造了一個確切的錯誤，數(shù)據(jù)科學家們往往無法無法足夠了解企業(yè)的業(yè)務。”
“完美”的數(shù)據(jù)科學家，是那些準確理解具體業(yè)務如何運作，以及其數(shù)據(jù)是如何工作的，這是一個誤區(qū)。森古普塔說，“這樣的人根本不存在。”
在現(xiàn)實中，森古普塔說，“大多數(shù)數(shù)據(jù)科學項目實際上沒有得到實施，因為它是如此艱難，需要幾個月得到完成，而當它完成的時候，你所關(guān)心的問題是已經(jīng)陳舊過時了。”
但是，也有過于依賴機器學習問題。“機器學習只是給出一個答案，但并沒有解釋。它告訴人們該怎么做，而不是為什么要那樣做，”他說。“人們不喜歡別人告訴他該怎么做，尤其是神奇的機器。”他說，其關(guān)鍵是不只是答案，而是其解釋和建議。
一方面，他說，數(shù)據(jù)科學家將變得越來越專業(yè)化，而這是真正困難的問題。“想一想各機構(gòu)和企業(yè)開始建設了數(shù)據(jù)處理部門和一些處理部門。世界500強企業(yè)也有數(shù)據(jù)處理部門“或數(shù)字加工部門。但他們基本上變成了Excel，Word和PowerPoint。”盡管如此，人們?nèi)匀皇菙?shù)據(jù)和數(shù)字處理方面的專家。
“如果我去摩根士丹利，相信我，那些數(shù)據(jù)處理和數(shù)字處理方面的專家仍然存在。他們只是有著不同的名稱和不同的工作，但在真正的情況下，這些人仍然存在，但80％-90％的專家已經(jīng)轉(zhuǎn)移到Excel，Word和PowerPoint方面，這是全球在大數(shù)據(jù)方面應該發(fā)展的主要原因。”
合作咨詢
