根據(jù)咨詢師和IT經(jīng)理的觀點(diǎn)，“大數(shù)據(jù)”分析的最大挑戰(zhàn)可以簡單地歸結(jié)為兩個(gè)方面：1、技術(shù)尚未成且用戶體驗(yàn)不佳;2、缺乏相關(guān)領(lǐng)域的技術(shù)人才儲(chǔ)備。

許多大數(shù)據(jù)技術(shù)(如Hadoop MapReduce)都來自開源社區(qū)，由致力于研究高效處理大容量信息的互聯(lián)網(wǎng)志愿者進(jìn)行開發(fā)，如Google和Yahoo，其中包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。因此，大多數(shù)技術(shù)在成熟度和可訪問性方面都不及傳統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)管理套件，而且可用于幫助數(shù)據(jù)倉庫和分析人員熟悉這些環(huán)境的補(bǔ)充分析工具還很有限。

Ron Bodkin是大數(shù)據(jù)分析咨詢公司Think Big Analytics的CEO，他指出，所有這些技術(shù)的學(xué)習(xí)曲線都不平坦，有許多新技術(shù)和無文檔的技術(shù)需要學(xué)習(xí)。大多數(shù)人都習(xí)慣于使用關(guān)系數(shù)據(jù)庫管理系統(tǒng)，這是一種完全不同的數(shù)據(jù)存儲(chǔ)和處理模式。

在管理和組織高度結(jié)構(gòu)化的數(shù)據(jù)和SQL建模與報(bào)表制作上，雖然數(shù)據(jù)管理團(tuán)隊(duì)一般都具備良好的知識(shí)積累，但是這些常規(guī)技能并不適用于非結(jié)構(gòu)化和扁平文件的大數(shù)據(jù)領(lǐng)域，其中命令行和NoSQL數(shù)據(jù)庫技術(shù) 才是大多數(shù)新興平臺(tái)的核心構(gòu)建模塊。

comScore是一家Web分析提供商，近年來主要銷售開發(fā)和實(shí)現(xiàn)大數(shù)據(jù)分析策略的智能服務(wù)。公司的軟件工程副總裁Will Duckworth指出：“您必須著手準(zhǔn)備。它現(xiàn)在還不是成熟的產(chǎn)品，還不能簡單地購買、安裝和運(yùn)行在服務(wù)器上。您需要配備良好的系統(tǒng)管理員，以及掌握建立這些環(huán)境的實(shí)踐方法。”

人才缺乏嚴(yán)重

大數(shù)據(jù)分析主要基于預(yù)言建�；蛭磥碲厔莘治�。但是，一般業(yè)務(wù)用戶或者傳統(tǒng)B數(shù)據(jù)分析師并不具備開發(fā) 預(yù)言分析應(yīng)用程序模型的技能。此外，許多數(shù)據(jù)都處于原始形式，來源于Web活動(dòng)日志或檢測器等。因此，公司需要配備一些精通于統(tǒng)計(jì)和數(shù)學(xué)原理的骨干專家，他們要能夠建立高級(jí)分析模型，發(fā)現(xiàn)趨勢和隱藏的模式，使大數(shù)據(jù)真正發(fā)揮作用。

Forrester研究公司的首席分析師Brian Hopkins說：“您不僅需要能夠?qū)崿F(xiàn)價(jià)值的IT運(yùn)營技能，而且我們現(xiàn)在最缺乏的大數(shù)據(jù)科學(xué)家——具備統(tǒng)計(jì)博士學(xué)位的人才。大部分?jǐn)?shù)據(jù)是原始數(shù)據(jù)——它們不能直接讀取和分析。處理這些原始信息的人員一定要具備一些特定的技能集，而且您需要在業(yè)務(wù)中引入這些人才。”

comScore公司的業(yè)務(wù)主要是通過大量的Web數(shù)據(jù)分析預(yù)測出客戶趨勢，許多分析用戶都接受過預(yù)言建模培訓(xùn)，技術(shù)上足夠理解特定查詢對(duì)于整個(gè)系統(tǒng)性能的影響。然而，Duckworth指出，其他公司并不具備這樣的條件。所以comScore在再次教育方面投入了許多時(shí)間和資金，幫助他們重新審視數(shù)據(jù)規(guī)模，而在他們建立模型和查詢時(shí)投入時(shí)間考慮數(shù)據(jù)分區(qū)、負(fù)載規(guī)模等細(xì)節(jié)問題。

同時(shí)，公司還設(shè)計(jì)了考慮制衡的大數(shù)據(jù)系統(tǒng)。例如，如果有人試圖運(yùn)行可能破壞集群的查詢，那么系統(tǒng)會(huì)發(fā)出提示，保證該用戶完全知曉所執(zhí)行任務(wù)的危害。Duckworth說：“基于規(guī)模效應(yīng)，問題會(huì)傳播得很快。”ComScore還引入了預(yù)打包應(yīng)用程序，給它的Hadoop大數(shù)據(jù)分析環(huán)境增加了類似SQL的環(huán)境，因此它更容易被主流用戶接受。

Zions Bancorporation是一家商業(yè)銀行，它利用大數(shù)據(jù)技術(shù)對(duì)各種貸款業(yè)務(wù)進(jìn)行建模和風(fēng)險(xiǎn)管理。在這家公司中，培訓(xùn)也是大數(shù)據(jù)分析策略的主要部分。但是，培訓(xùn)不僅僅是學(xué)習(xí)Hadoop技能，也不是統(tǒng)計(jì)學(xué)速成課。相反，要花費(fèi)一定的時(shí)間和精力使技術(shù)團(tuán)隊(duì)成員適應(yīng)新技術(shù)，使他們能夠順利過渡到全新的數(shù)據(jù)管理方式。

作為Zions的前任數(shù)據(jù)倉庫、BI和分析高級(jí)副總裁，Clint Johnson指出：這是一種傳統(tǒng)且保守的IT部門不愿意實(shí)現(xiàn)的新技術(shù)。您的系統(tǒng)管理員或數(shù)據(jù)庫管理員一直以來的工作都是圍繞一個(gè)特定的技術(shù)集，而此時(shí)您突然給他們強(qiáng)加一種新技術(shù)，并要求他們學(xué)習(xí)這種新技術(shù)。您必須面對(duì)這項(xiàng)新模型支持所帶來的文化挑戰(zhàn)。