更新時間:2017-08-31 來源:黑馬程序員云計算大數(shù)據(jù)培訓學院 瀏覽量:
5. 算法是萬無一失的預(yù)言家
不久前,谷歌流感趨勢項目被大肆炒作,聲稱比美國疾病控制中心和其他健康信息服務(wù)機構(gòu)更快、更準確地預(yù)測流感疫情的發(fā)生地。正如《紐約客》的Michele Nijhuis 在2017年6月3日的文章中所寫的那樣, 人們認為與流感有關(guān)詞語的搜索會準確地預(yù)測疫情即將爆發(fā)的地區(qū)。事實上,簡單地繪制本地溫度是一個更準確的預(yù)測方法。
谷歌的流感預(yù)測算法陷入了一個常見的大數(shù)據(jù)陷阱——它產(chǎn)生了無意義的相關(guān)性,比如將高中籃球比賽和流感爆發(fā)聯(lián)系起來,因為兩者都發(fā)生在冬季。當數(shù)據(jù)挖掘在一組海量數(shù)據(jù)上運行時,它更可能發(fā)現(xiàn)具有統(tǒng)計意義而非實際意義的信息之間的關(guān)系。一個例子是將緬因州的離婚率與美國人均人造黃油的消費量掛鉤:盡管沒有任何現(xiàn)實意義,但這兩個數(shù)字之間確實存在“統(tǒng)計上顯著”的關(guān)系。
6. 你不能在虛擬化基礎(chǔ)架構(gòu)上運行大數(shù)據(jù)應(yīng)用
大約10年前,當”大數(shù)據(jù)”首次出現(xiàn)在人們眼前時,它就是Apache Hadoop的代名詞。就像VMware的Justin Murray在2017年5月12日的文章中所寫的,大數(shù)據(jù)這一術(shù)語現(xiàn)在包括一系列技術(shù),從NoSQL(MongoDB,Apache Cassandra)到Apache Spark。
此前,批評者們質(zhì)疑Hadoop在虛擬機上的性能,但Murray指出,Hadoop在虛擬機上的性能與物理機相當,而且它能更有效地利用集群資源。Murray還炮轟了一種誤解,即認為虛擬機的基本特性需要存儲區(qū)域網(wǎng)絡(luò)(SAN)。實際上,供應(yīng)商們經(jīng)常推薦直接連接存儲,這提供了更好的性能和更低的成本。
7. 機器學習是人工智能的同義詞
一個識別大量數(shù)據(jù)中模式的算法和一個能夠根據(jù)數(shù)據(jù)模式得出邏輯結(jié)論的方法之間的差距更像是一個鴻溝。ITProPortal 的Vineet Jain在2017年5月26日的文章中寫道,機器學習使用統(tǒng)計解釋來生成預(yù)測模型。這是算法背后的技術(shù),它可以根據(jù)一個人過去的購買記錄來預(yù)測他可能購買什么,或者根據(jù)他們的聽歌歷史來預(yù)測他們喜歡的音樂。
雖然這些算法很聰明,但它們遠遠不能達到人工智能的目的,即復制人類的決策過程。基于統(tǒng)計的預(yù)測缺乏人類的推理、判斷和想象力。從這個意義上說,機器學習可能被認為是真正AI的必要先導。即使是迄今為止最復雜的AI 系統(tǒng),比如 IBM沃森,也無法提供人類數(shù)據(jù)科學家所提供的大數(shù)據(jù)的洞察力。
8. 大多數(shù)大數(shù)據(jù)項目至少實現(xiàn)了一半的目標
IT經(jīng)理們知道沒有數(shù)據(jù)分析項目是100%成功的。當這些項目涉及大數(shù)據(jù)時,成功率就會直線下降,NewVantage Partners最近的調(diào)查結(jié)果顯示了這一點。在過去的五年中,95%的企業(yè)領(lǐng)導人表示,他們的公司參與了一個大數(shù)據(jù)項目,但只有48.4%的項目取得了”可衡量的結(jié)果”。
NewVantage Partners的大數(shù)據(jù)執(zhí)行調(diào)查顯示, 只有不到一半的大數(shù)據(jù)項目實現(xiàn)了目標,而 “文化”變化是最難實現(xiàn)的。資料來源: Data Informed。
事實上,根據(jù)2016年10月發(fā)布的Gartner的研究結(jié)果,大數(shù)據(jù)項目很少能跨過試驗階段。Gartner的調(diào)查發(fā)現(xiàn),只有15%的大數(shù)據(jù)實現(xiàn)被部署到生產(chǎn)中,與去年調(diào)查報告的14%的成功率相對持平。
9. 大數(shù)據(jù)的增長將減少對數(shù)據(jù)工程師的需求
如果你公司大數(shù)據(jù)計劃的目標是盡量減少對數(shù)據(jù)科學家的需求,你可能會得到令人不快的驚喜。2017 Robert Half 技術(shù)薪資指南指出, 數(shù)據(jù)工程師的年薪平均躍升到13萬美元和19.6萬美元之間, 而數(shù)據(jù)科學家的薪資目前平均在11.6萬美元和16.3萬美元之間, 而商業(yè)情報分析員的薪資目前平均在11.8萬美元到13.875萬美元之間。
10. 員工和一線經(jīng)理將張開雙臂擁抱大數(shù)據(jù)
NewVantage Partners的調(diào)查發(fā)現(xiàn),85.5%的公司都致力于創(chuàng)造一個“數(shù)據(jù)驅(qū)動的文化”。然而,新的數(shù)據(jù)計劃的整體成功率僅為37.1%。這些公司最常提到的三個障礙是缺乏組織一致性(42.6%),缺乏中層管理人員的采納和理解(41%),以及業(yè)務(wù)阻力或缺乏理解(41%)。
未來可能屬于大數(shù)據(jù),但獲得這一技術(shù)的好處需要大量的針對多樣人性的老式辛勤工作。