大數(shù)據(jù):技術(shù)尚不成熟 人才嚴(yán)重匱乏
根據(jù)咨詢師和IT經(jīng)理的觀點(diǎn),“大數(shù)據(jù)”分析的最大挑戰(zhàn)可以簡單地歸結(jié)為兩個(gè)方面:1、技術(shù)尚未成且用戶體驗(yàn)不佳;2、缺乏相關(guān)領(lǐng)域的技術(shù)人才儲(chǔ)備。
許多大數(shù)據(jù)技術(shù)(如Hadoop MapReduce)都來自開源社區(qū),由致力于研究高效處理大容量信息的互聯(lián)網(wǎng)志愿者進(jìn)行開發(fā),如Google和Yahoo,其中包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。因此,大多數(shù)技術(shù)在成熟度和可訪問性方面都不及傳統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)管理套件,而且可用于幫助數(shù)據(jù)倉庫和分析人員熟悉這些環(huán)境的補(bǔ)充分析工具還很有限。
Ron Bodkin是大數(shù)據(jù)分析咨詢公司Think Big Analytics的CEO,他指出,所有這些技術(shù)的學(xué)習(xí)曲線都不平坦,有許多新技術(shù)和無文檔的技術(shù)需要學(xué)習(xí)。大多數(shù)人都習(xí)慣于使用關(guān)系數(shù)據(jù)庫管理系統(tǒng),這是一種完全不同的數(shù)據(jù)存儲(chǔ)和處理模式。
在管理和組織高度結(jié)構(gòu)化的數(shù)據(jù)和SQL建模與報(bào)表制作上,雖然數(shù)據(jù)管理團(tuán)隊(duì)一般都具備良好的知識(shí)積累,但是這些常規(guī)技能并不適用于非結(jié)構(gòu)化和扁平文件的大數(shù)據(jù)領(lǐng)域,其中命令行和NoSQL數(shù)據(jù)庫技術(shù) 才是大多數(shù)新興平臺(tái)的核心構(gòu)建模塊。
comScore是一家Web分析提供商,近年來主要銷售開發(fā)和實(shí)現(xiàn)大數(shù)據(jù)分析策略的智能服務(wù)。公司的軟件工程副總裁Will Duckworth指出:“您必須著手準(zhǔn)備。它現(xiàn)在還不是成熟的產(chǎn)品,還不能簡單地購買、安裝和運(yùn)行在服務(wù)器上。您需要配備良好的系統(tǒng)管理員,以及掌握建立這些環(huán)境的實(shí)踐方法。”
人才缺乏嚴(yán)重
大數(shù)據(jù)分析主要基于預(yù)言建;蛭磥碲厔莘治。但是,一般業(yè)務(wù)用戶或者傳統(tǒng)B數(shù)據(jù)分析師并不具備開發(fā) 預(yù)言分析應(yīng)用程序模型的技能。此外,許多數(shù)據(jù)都處于原始形式,來源于Web活動(dòng)日志或檢測器等。因此,公司需要配備一些精通于統(tǒng)計(jì)和數(shù)學(xué)原理的骨干專家,他們要能夠建立高級(jí)分析模型,發(fā)現(xiàn)趨勢和隱藏的模式,使大數(shù)據(jù)真正發(fā)揮作用。
Forrester研究公司的首席分析師Brian Hopkins說:“您不僅需要能夠?qū)崿F(xiàn)價(jià)值的IT運(yùn)營技能,而且我們現(xiàn)在最缺乏的大數(shù)據(jù)科學(xué)家——具備統(tǒng)計(jì)博士學(xué)位的人才。大部分?jǐn)?shù)據(jù)是原始數(shù)據(jù)——它們不能直接讀取和分析。處理這些原始信息的人員一定要具備一些特定的技能集,而且您需要在業(yè)務(wù)中引入這些人才。”
comScore公司的業(yè)務(wù)主要是通過大量的Web數(shù)據(jù)分析預(yù)測出客戶趨勢,許多分析用戶都接受過預(yù)言建模培訓(xùn),技術(shù)上足夠理解特定查詢對(duì)于整個(gè)系統(tǒng)性能的影響。然而,Duckworth指出,其他公司并不具備這樣的條件。所以comScore在再次教育方面投入了許多時(shí)間和資金,幫助他們重新審視數(shù)據(jù)規(guī)模,而在他們建立模型和查詢時(shí)投入時(shí)間考慮數(shù)據(jù)分區(qū)、負(fù)載規(guī)模等細(xì)節(jié)問題。
同時(shí),公司還設(shè)計(jì)了考慮制衡的大數(shù)據(jù)系統(tǒng)。例如,如果有人試圖運(yùn)行可能破壞集群的查詢,那么系統(tǒng)會(huì)發(fā)出提示,保證該用戶完全知曉所執(zhí)行任務(wù)的危害。Duckworth說:“基于規(guī)模效應(yīng),問題會(huì)傳播得很快。”ComScore還引入了預(yù)打包應(yīng)用程序,給它的Hadoop大數(shù)據(jù)分析環(huán)境增加了類似SQL的環(huán)境,因此它更容易被主流用戶接受。
Zions Bancorporation是一家商業(yè)銀行,它利用大數(shù)據(jù)技術(shù)對(duì)各種貸款業(yè)務(wù)進(jìn)行建模和風(fēng)險(xiǎn)管理。在這家公司中,培訓(xùn)也是大數(shù)據(jù)分析策略的主要部分。但是,培訓(xùn)不僅僅是學(xué)習(xí)Hadoop技能,也不是統(tǒng)計(jì)學(xué)速成課。相反,要花費(fèi)一定的時(shí)間和精力使技術(shù)團(tuán)隊(duì)成員適應(yīng)新技術(shù),使他們能夠順利過渡到全新的數(shù)據(jù)管理方式。
作為Zions的前任數(shù)據(jù)倉庫、BI和分析高級(jí)副總裁,Clint Johnson指出:這是一種傳統(tǒng)且保守的IT部門不愿意實(shí)現(xiàn)的新技術(shù)。您的系統(tǒng)管理員或數(shù)據(jù)庫管理員一直以來的工作都是圍繞一個(gè)特定的技術(shù)集,而此時(shí)您突然給他們強(qiáng)加一種新技術(shù),并要求他們學(xué)習(xí)這種新技術(shù)。您必須面對(duì)這項(xiàng)新模型支持所帶來的文化挑戰(zhàn)。
(責(zé)任編輯:admin)- “掃一掃”關(guān)注融合網(wǎng)微信號(hào)
免責(zé)聲明:我方僅為合法的第三方企業(yè)注冊(cè)用戶所發(fā)布的內(nèi)容提供存儲(chǔ)空間,融合網(wǎng)不對(duì)其發(fā)布的內(nèi)容提供任何形式的保證:不保證內(nèi)容滿足您的要求,不保證融合網(wǎng)的服務(wù)不會(huì)中斷。因網(wǎng)絡(luò)狀況、通訊線路、第三方網(wǎng)站或管理部門的要求等任何原因而導(dǎo)致您不能正常使用融合網(wǎng),融合網(wǎng)不承擔(dān)任何法律責(zé)任。
第三方企業(yè)注冊(cè)用戶在融合網(wǎng)發(fā)布的內(nèi)容(包含但不限于融合網(wǎng)目前各產(chǎn)品功能里的內(nèi)容)僅表明其第三方企業(yè)注冊(cè)用戶的立場和觀點(diǎn),并不代表融合網(wǎng)的立場或觀點(diǎn)。相關(guān)各方及作者發(fā)布此信息的目的在于傳播、分享更多信息,并不代表本網(wǎng)站的觀點(diǎn)和立場,更與本站立場無關(guān)。相關(guān)各方及作者在我方平臺(tái)上發(fā)表、發(fā)布的所有資料、言論等僅代表其作者個(gè)人觀點(diǎn),與本網(wǎng)站立場無關(guān),不對(duì)您構(gòu)成任何投資、交易等方面的建議。用戶應(yīng)基于自己的獨(dú)立判斷,自行決定并承擔(dān)相應(yīng)風(fēng)險(xiǎn)。
根據(jù)相關(guān)協(xié)議內(nèi)容,第三方企業(yè)注冊(cè)用戶已知悉自身作為內(nèi)容的發(fā)布者,需自行對(duì)所發(fā)表內(nèi)容(如,字體、圖片、文章內(nèi)容等)負(fù)責(zé),因所發(fā)表內(nèi)容(如,字體、圖片、文章內(nèi)容等)等所引發(fā)的一切糾紛均由該內(nèi)容的發(fā)布者(即,第三方企業(yè)注冊(cè)用戶)承擔(dān)全部法律及連帶責(zé)任。融合網(wǎng)不承擔(dān)任何法律及連帶責(zé)任。
第三方企業(yè)注冊(cè)用戶在融合網(wǎng)相關(guān)欄目上所發(fā)布的涉嫌侵犯他人知識(shí)產(chǎn)權(quán)或其他合法權(quán)益的內(nèi)容(如,字體、圖片、文章內(nèi)容等),經(jīng)相關(guān)版權(quán)方、權(quán)利方等提供初步證據(jù),融合網(wǎng)有權(quán)先行予以刪除,并保留移交司法機(jī)關(guān)查處的權(quán)利。參照相應(yīng)司法機(jī)關(guān)的查處結(jié)果,融合網(wǎng)對(duì)于第三方企業(yè)用戶所發(fā)布內(nèi)容的處置具有最終決定權(quán)。
個(gè)人或單位如認(rèn)為第三方企業(yè)注冊(cè)用戶在融合網(wǎng)上發(fā)布的內(nèi)容(如,字體、圖片、文章內(nèi)容等)存在侵犯自身合法權(quán)益的,應(yīng)準(zhǔn)備好具有法律效應(yīng)的證明材料,及時(shí)與融合網(wǎng)取得聯(lián)系,以便融合網(wǎng)及時(shí)協(xié)調(diào)第三方企業(yè)注冊(cè)用戶并迅速做出相應(yīng)處理工作。
融合網(wǎng)聯(lián)系方式:(一)、電話:(010)57722280;(二)、電子郵箱:2029555353@qq.com dwrh@dwrh.net
對(duì)免責(zé)聲明的解釋、修改及更新權(quán)均屬于融合網(wǎng)所有。
相關(guān)新聞>>
- 張涵誠:大數(shù)據(jù)產(chǎn)業(yè)最賺錢的7類人分析
- 阿爾卡特朗訊與Partech Shaker建立技術(shù)合作伙伴關(guān)系
- 云、移動(dòng)互聯(lián)時(shí)代企業(yè)軟件的變化和創(chuàng)新
- 云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)等IT技術(shù)發(fā)展趨勢
- 不要盲目樂觀 事實(shí)上大數(shù)據(jù)并非新的原油
- 云數(shù)據(jù)安全成云計(jì)算推廣難題 安全可搜索方案受關(guān)注
- 硬幣的兩面:大數(shù)據(jù)和云計(jì)算
- 周毅: 內(nèi)容聚合導(dǎo)頁、網(wǎng)絡(luò)雷達(dá)及大數(shù)據(jù)分析
- 蔣林濤: OTT業(yè)務(wù)和網(wǎng)絡(luò)技術(shù)方向
- 云計(jì)算、物聯(lián)網(wǎng)、大數(shù)據(jù)齊頭并進(jìn)
今日頭條
更多>>您可能感興趣的文章
- 芯片制造業(yè)和封裝業(yè)如何轉(zhuǎn)型升級(jí)
- 云存儲(chǔ)正式落地上海 光網(wǎng)用戶率先受益
- 全球首款基于異構(gòu)平臺(tái)的IaaS解決方案 高交會(huì)引人矚目
- 物聯(lián)網(wǎng)的商業(yè)價(jià)值:提升企業(yè)軟實(shí)力
- Verizon將收購云計(jì)算服務(wù)提供商Terremark
- 云計(jì)算的安全該由誰來負(fù)責(zé)
- 零距離云端感受 “IBM云體驗(yàn)之旅”掀刀片熱潮
- 華勝天成(600410):云計(jì)算轉(zhuǎn)型中
- 采用Barts芯片 任天堂WiiU最新規(guī)格傳聞
- 金山私有云安全解決方案亮相中國國際信息節(jié)