對于很多企業(yè)來說，大數據只是一個模糊的目標，而不是現實。然而，這是一個目標，越來越多的企業(yè)正在推動他們的首要任務清單。正如Gartner的調查所顯示的那樣，每個人都熱衷于加入大數據的大潮，但真正理解其中原因的人卻相對較少。大數據包括結構化、半結構化和非結構化數據，非結構化數據越來越成為數據的主要部分。正如Gartner的分析師Svetlana Sicular所指出的，阻礙大數據采用的迷思取決于企業(yè)采用大數據的曲線在哪里。2014年，許多愚蠢的大數據神話將被數據驅動應用程序的經驗增長所取代。沒有人能一下子從大數據新手變成久經世故的人。這就是為什么對大數據項目的敏捷方法如此重要的原因，正如我在這里寫的和之前在Strata會議上介紹的。失敗是必然的。關鍵是最小化失敗的成本，這就是為什么像Hadoop這樣的開源技術對大數據的成功如此關鍵。

Sicular以以下方式展示了大數據的成功之路:

她指出，在這個過程中，阻礙我們進步改變的神話。Sicular識別出的第一組大數據神話可以歸結為對大數據含義的核心誤解，以及隨之而來的對工作所需的正確技術的困惑。例如，Sicular識別出的第一個大數據神話是一個根深蒂固的信念，即大數據是一個數據量的問題。她發(fā)現，現實要微妙得多:大數據是高容量、高速度和高多樣性的信息資產，需要成本效益高、創(chuàng)新的信息處理形式，以增強洞察力和決策能力。事實上，包括來自新華帝合作伙伴的研究(如右圖所示)在內的多項研究都表明，對于大多數大數據項目來說，數據的速度和多樣性是最重要的特征。

因此，另一個長期存在的神話——大數據就是hadoop——阻止企業(yè)探索更符合實際的大數據使用的技術，比如NoSQL技術(用于不同數據類型的實時處理)和“邏輯數據倉庫”，完成Sicular的技術棧促使企業(yè)考慮這些技術。一旦企業(yè)已經超越了這些新手的錯誤，他們就準備好處理更高級的神話。在這個“意識到”階段,企業(yè)有更好的理解,數據很重要,如何處理它,但他們錯誤的認為可以解決他們所有的問題如果有足夠多的數據,并錯誤地認為同齡人遠遠領先于他們。

因此，Sicular將大數據問題與那些“業(yè)務問題”隔離開來，這些業(yè)務問題的問題是事先不知道的，回答這些問題的數據類型可能會有所不同，而且可能需要非結構化的數據。換句話說，當你想先存儲數據，然后再查詢數據時，大數據是有用的。如果您知道應該對事務性收銀機數據提出什么問題，而這些數據恰好適合關系數據庫，那么您可能就不會遇到大數據問題。如果您存儲的是相同的數據，以及一系列天氣、社交和其他數據，以試圖找到可能影響銷售的趨勢，那么您可能需要這樣做。

這并不是說唯一重要的數據是企業(yè)外部的非結構化數據。事實上，事實可能恰恰相反。正如“黑暗數據”所假設的那樣。對于所有研究大數據機遇的企業(yè)來說，最大的興趣在于如何利用現有數據倉庫中的未充分利用的數據。當被問及目前哪些數據企業(yè)在分析時，事務性數據和日志數據是最受歡迎的兩個回答。許多最有趣的數據已經存在于大型機和企業(yè)內的關系數據庫中，但是在過去管理不善。大數據項目通常應該從已有的數據開始，但沒有得到有效利用。

Sicular的第三階段是企業(yè)積極試驗他們的數據，但仍然因為缺乏技術和不成熟的技術而感到困惑。在這個階段，企業(yè)轉向神秘的數據科學家，發(fā)現她很難找到，而且也不一定是這個工作的合適人選。Sicular并沒有把重點放在尋找“數據科學家”上，而是敦促企業(yè)組建一個“擁有多種技能的多學科團隊，以迎接技術挑戰(zhàn)，解決采用大數據的復雜業(yè)務問題。”考慮到對數據提出正確問題的重要性，這一點至關重要。語境很重要，不同的人對如何看待自己的數據有不同的看法。大數據的后階段采用充滿了一些意想不到的現實——Hadoop是不像一些希望,廉價的實現,企業(yè)往往不是利用商品硬件和購買昂貴的機器,和更多的,但也有一些不錯的驚喜,像這樣一個事實:大數據技術相對容易的程序。有趣的是，企業(yè)走得越遠，就越意識到結構化數據是多么寶貴的財富。雖然非結構化數據可能占到數據總量的80%，但目前還不到大數據價值的80%。正如Sicular指出的那樣，“結構化數據經過了改進，其密度和質量都比同等數量的非結構化數據高得多。”

據IDC的調查報告顯示：企業(yè)中80%的數據都是非結構化數據，這些數據每年都按指數增長60%。大數據就是互聯網發(fā)展到現今階段的一種表象或特征而已，沒有必要神話它或對它保持敬畏之心，在以云計算為代表的技術創(chuàng)新大幕的襯托下，這些原本看起來很難收集和使用的數據開始容易被利用起來了，通過各行各業(yè)的不斷創(chuàng)新，大數據會逐步為人類創(chuàng)造更多的價值。“隨著大數據技術在管理/訂購非結構化數據方面變得越來越好，這種情況可能會隨著時間的推移而改變，但這在今天已經成為現實。”所有這些都提醒我們，我們所相信的大數據可能并不真實。因此，以謙遜的態(tài)度對待大數據項目是至關重要的。