IDC發(fā)布中國大數(shù)據(jù)管理平臺廠商評估

北京，2020年11月3日，當(dāng)前大數(shù)據(jù)技術(shù)的創(chuàng)新速度已經(jīng)領(lǐng)先于市場需求，一方面技術(shù)提供商在不斷突破創(chuàng)新，另一方面行業(yè)用戶還困在大數(shù)據(jù)應(yīng)用如何帶來價(jià)值的起步階段。不同行業(yè)不同數(shù)字化階段的用戶，對于技術(shù)能力、工程能力以及產(chǎn)品之外的生態(tài)互補(bǔ)能力需求均有不同的側(cè)重點(diǎn)。在此背景下，IDC開啟了《IDC MarketScape: 中國大數(shù)據(jù)管理平臺廠商評估，2020)》研究并已于近期發(fā)布了此報(bào)告。

大數(shù)據(jù)管理平臺市場現(xiàn)狀

市場發(fā)展驅(qū)動力：

1、大數(shù)據(jù)技術(shù)的不斷突破創(chuàng)新，主要來源于廠商的主動性突破創(chuàng)新，例如湖倉一體、交互式查詢等;

2、從商業(yè)模式上看，商業(yè)生態(tài)環(huán)境無時(shí)無刻不在變化，企業(yè)也需要不斷調(diào)整、擴(kuò)展業(yè)務(wù)邊界，加強(qiáng)生態(tài)合作，使得企業(yè)與外部之間的數(shù)據(jù)交互呈現(xiàn)明顯增長，為數(shù)據(jù)集成、查詢、實(shí)時(shí)分析等都帶來需求;

3、數(shù)字化轉(zhuǎn)型、智能化升級帶來的需求，一方面企業(yè)內(nèi)部場景都有降本增效的需求，另一方面企業(yè)都在向原生數(shù)字化企業(yè)發(fā)展，要實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)化必須要規(guī)范建設(shè)大數(shù)據(jù)平臺;

4、數(shù)據(jù)量的變化，一方面數(shù)據(jù)量以26%的CAGR(2019-2024年復(fù)合增長率)速度高速增長，另一方面新增數(shù)據(jù)中半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)越來越多，對于數(shù)據(jù)存儲和計(jì)算帶來新的需求。

需求特點(diǎn)：

不同行業(yè)間需求差異化較高，對于有近千PB級數(shù)據(jù)量的用戶，比如互聯(lián)網(wǎng)、運(yùn)營商、金融行業(yè)頭部機(jī)構(gòu)，用戶對于高可用、吞吐量、實(shí)時(shí)性、并發(fā)量、彈性擴(kuò)展等有很高的要求。而大部分傳統(tǒng)行業(yè)用戶并沒有較高的數(shù)據(jù)量積累，更重視的是數(shù)據(jù)集成、治理，以及大數(shù)據(jù)平臺工程化能力。

新技術(shù)熱點(diǎn)：

流數(shù)據(jù)分析已成為大數(shù)據(jù)平臺必備組件、圖數(shù)據(jù)庫、智能搜索、交互式分析、數(shù)據(jù)庫/數(shù)倉/大數(shù)據(jù)平臺融合成一體的數(shù)據(jù)管理架構(gòu)、隱私計(jì)算。

從市場格局角度來看，大致分為3類公司：

1、以云服務(wù)廠商為代表，追求技術(shù)的領(lǐng)先性，具備豐富的產(chǎn)品組合，代表廠商AWS、阿里云、騰訊云;

2、以傳統(tǒng)ICT廠商為代表，強(qiáng)調(diào)大規(guī)模部署的能力，強(qiáng)調(diào)擴(kuò)展性、穩(wěn)定性，代表廠商華為、浪潮、新華三;

3、大數(shù)據(jù)時(shí)代的創(chuàng)企，典型的企業(yè)有早期的星環(huán)科技、Cloudera，以及近2年正在崛起的Kyligence公司。

未來趨勢：

1、對于大數(shù)據(jù)的投資不再是單純的平臺層、基礎(chǔ)軟件層的投資，廠商都在積極拓展“數(shù)據(jù)中臺”類解決方案，強(qiáng)化數(shù)據(jù)治理能力，建立數(shù)據(jù)服務(wù)能力，以降低數(shù)據(jù)獲取門檻以及數(shù)據(jù)分析任務(wù)的復(fù)雜性;

2、數(shù)據(jù)管理平臺的簡化和統(tǒng)一，數(shù)據(jù)庫、數(shù)倉、大數(shù)據(jù)平臺、數(shù)據(jù)湖混搭架構(gòu)下，如何簡化數(shù)據(jù)pipeline、提高數(shù)據(jù)開發(fā)效率是重要方向。

供行業(yè)用戶參考建議

幾個(gè)關(guān)鍵問題：

1、開源還是自建：基于開源技術(shù)自建與采用商業(yè)化產(chǎn)品的考量，自建大數(shù)據(jù)系統(tǒng)固然有較高的自主化程度，大部分傳統(tǒng)企業(yè)并沒有足夠的人力資源和技術(shù)水平可以熟練靈活采用大數(shù)據(jù);

2、數(shù)倉還是大數(shù)據(jù)、數(shù)據(jù)湖：新增數(shù)據(jù)，未經(jīng)處理的數(shù)據(jù)，先入大數(shù)據(jù)平臺，經(jīng)過清洗處理后，按照企業(yè)的元數(shù)據(jù)管理標(biāo)準(zhǔn)進(jìn)入數(shù)倉，重要的是先規(guī)劃好企業(yè)的元數(shù)據(jù)標(biāo)準(zhǔn)，避免重復(fù)建設(shè)、逐步解決數(shù)據(jù)煙囪林立問題。

評估廠商的大數(shù)據(jù)能力：

1、在大數(shù)據(jù)平臺之外，考量廠商以及其合作伙伴對業(yè)務(wù)應(yīng)用的理解能力，大數(shù)據(jù)實(shí)施中能夠融入行業(yè)最佳實(shí)踐經(jīng)驗(yàn)的能力;

2、數(shù)據(jù)治理能力，包括工具層面與方法論層面;

3、考慮能夠與組織商業(yè)模式、生態(tài)體系互補(bǔ)的合作伙伴，用戶在選擇大數(shù)據(jù)平臺的時(shí)候，應(yīng)該考慮供應(yīng)商在此方面能提供的支撐，包括數(shù)據(jù)資源以及商業(yè)合作層面的考量;

4、不同行業(yè)間數(shù)據(jù)就緒程度、數(shù)據(jù)架構(gòu)基礎(chǔ)、數(shù)據(jù)應(yīng)用需求差距大，尋找適配當(dāng)前業(yè)務(wù)需求的產(chǎn)品最為重要;

5、未來的大數(shù)據(jù)分析類平臺的建設(shè)，都應(yīng)該考慮數(shù)據(jù)的自助服務(wù)能力、數(shù)據(jù)的復(fù)用性，不斷推進(jìn)企業(yè)業(yè)務(wù)數(shù)據(jù)化，數(shù)據(jù)資產(chǎn)化。

展望未來，IDC中國助理研究總監(jiān)盧言霞表示：“推動大數(shù)據(jù)平臺的建設(shè)，核心即深化數(shù)字化業(yè)務(wù)戰(zhàn)略及執(zhí)行。大數(shù)據(jù)平臺建設(shè)能取得的成就與數(shù)字化轉(zhuǎn)型能實(shí)現(xiàn)的高度呈正相關(guān)，要推動數(shù)字化轉(zhuǎn)型首先需要建立協(xié)同的組織架構(gòu)與流程,一是建立自上而下的戰(zhàn)略，由核心高管推動落地;二是建立真正能夠推動數(shù)字化的組織架構(gòu)，三是建立高度認(rèn)可、全員積極推動的數(shù)據(jù)文化;最后，建立業(yè)務(wù)與技術(shù)部門的有效協(xié)同機(jī)制?！?/p>