以數(shù)據(jù)清洗為例，聊聊人工智能的配套服務產(chǎn)業(yè)

　　從商業(yè)模式來說，人工智能的相關企業(yè)有三種：第一種是提供人工智能技術的公司，比如機器視覺、NLP等等;第二種是將人工智能與具體行業(yè)應用結合的公司，比如fintech、人工智能醫(yī)療、無人駕駛等等。而還有一種最容易被遺忘：為人工智能行業(yè)服務的公司。

　　飛速發(fā)展的人工智能產(chǎn)業(yè)，很容易讓人看到技術售賣和行業(yè)迭代中的商業(yè)潛力。無論是巨頭還是新晉獨角獸，顯然都在盡力提速，生怕掉隊。但如此高的產(chǎn)業(yè)發(fā)展速度，事實上也催生了大量新的需求。這就像汽車的發(fā)展雖然盤活了交通運輸，同時也催生了修車業(yè)的海量工作機會。

　　對于人工智能來說，這一類的機會有很多，比如說：數(shù)據(jù)清洗。

　　熟悉大數(shù)據(jù)的朋友應該對數(shù)據(jù)清理不會陌生，而在以機器學習為主要手段的AI爆發(fā)中，數(shù)據(jù)清洗也有了更重要的價值和愈發(fā)豐富的剛性需求。

　　很多AI創(chuàng)業(yè)者，可能忽略了這一環(huán)節(jié)帶來的成本負荷和產(chǎn)能影響。

　　什么是數(shù)據(jù)清洗

　　按照慣例，咱們還是先來簡單介紹一下什么是數(shù)據(jù)清洗。

　　數(shù)據(jù)清洗(Data cleaning)是大數(shù)據(jù)生產(chǎn)過程中的必須環(huán)節(jié)。我們知道，大數(shù)據(jù)發(fā)生效用來自于數(shù)據(jù)倉庫對大數(shù)據(jù)的吞吐。但假如輸入了錯誤或者無效的數(shù)據(jù)，那么輸出時就會影響效果、產(chǎn)生誤差，甚至造成bug。這些無效和錯誤的數(shù)據(jù)，被稱為“臟數(shù)據(jù)”。而數(shù)據(jù)清洗顧名思義，就是要用各種手段把臟數(shù)據(jù)標記并清理出來。

　　數(shù)據(jù)清洗包涵多種目標和手段，比如檢查數(shù)據(jù)一致性、處理無效值、識別數(shù)據(jù)沖突等等。并且整個過程包括多重審查、校驗與標注。

　　我們采訪過的很多大數(shù)據(jù)機構和云服務公司負責人都證實了這樣的說法：數(shù)據(jù)清洗是成本消耗最嚴重的工作之一。

　　這項原本就非常吃重的工作，在人工智能潮中地位也跟著水漲船高了

　　舉個例子：AI中的數(shù)據(jù)清洗為何重要

　　在今天的主流AI工程化進程里，機器學習是最廣泛使用的技術。而目前機器學習的主要實現(xiàn)手段是監(jiān)督學習。

　　所謂監(jiān)督學習，是由研發(fā)者使用已知數(shù)據(jù)集，讓智能體基于標記的輸入和輸出數(shù)據(jù)進行推理，從而學習到達成目標的路徑，讓自己不斷“聰明起來”。

　　理論上來說，智能體學習的數(shù)據(jù)越多就會越聰明，從而再生產(chǎn)出優(yōu)質(zhì)數(shù)據(jù)進行再學習，這樣就可以不斷完成自我進化。但這種最優(yōu)狀況，是建立在機器學習的數(shù)據(jù)都沒錯的情況下，假如其中混雜了錯誤數(shù)據(jù)，那么學習得出的結果顯然也是錯的。

　　更重要的是，機器學習想要達成，必須建立在數(shù)據(jù)的一致性和體系化基礎上，假如錯誤數(shù)據(jù)造成了整個數(shù)據(jù)鏈的割裂，那么機器學習過程也將終止，就無從談什么人工智能了。

　　舉一個我們熟悉的例子：我們最常用的手機電商中，其實安插了大量機器學習算法來進行個性推薦。因為手機的屏幕顯示量很小，假如推送的電商信息大多不符合用戶期待，用戶需要一直向下尋找，那么體驗會很差，也影響電商體系的效率。這里就需要機器學習來建立用戶個性化推薦模型，提供多種行為下的商品排序特征。

　　這個場景中的機器學習，必須建立在優(yōu)質(zhì)大數(shù)據(jù)的基礎上，既要學習目標用戶的數(shù)據(jù)樣本，也要綜合群體性數(shù)據(jù)和標簽化數(shù)據(jù)，進行綜合任務學習。而電商平臺獲取的數(shù)據(jù)，包括用戶群的點擊、搜索、購物車添加和收藏，以及最終的購買頻次等等。但這些數(shù)據(jù)中可能摻雜大量的“臟數(shù)據(jù)”。

　　比如說用戶點擊后馬上退出來，可能說明是錯誤點擊行為;比如說用戶搜索的關鍵詞中含有錯別字或者不可知內(nèi)容;比如說用戶購買后卻普遍差評的商品，這些數(shù)據(jù)被機器學習后成為邏輯依據(jù)，轉而推薦給用戶，顯然是不合適的。

　　這里就需要把電商數(shù)據(jù)系統(tǒng)中的缺漏數(shù)據(jù)、重復數(shù)據(jù)、錯誤數(shù)據(jù)剔除出去，保證機器學習內(nèi)容的標準化和特征一致化。這之后剩下的優(yōu)質(zhì)數(shù)據(jù)才能提供給模型進行訓練。

　　由此可見，數(shù)據(jù)清洗在人工智能的落地實現(xiàn)中是非常重要的一環(huán)。訓練用的數(shù)據(jù)越多、訓練模型越復雜，對數(shù)據(jù)清洗的工作需求量就越大。

　　假如人工智能飛速發(fā)展，數(shù)據(jù)清洗作為配圖服務工種卻沒有跟上發(fā)展速度，那后果是很可怕的——想想《機器人總動員》里的小機器人，獨自在垃圾星球中孤獨而無盡的清理著?？梢哉f是很可憐了……

　　數(shù)據(jù)清洗中也是亟待AI拯救的行業(yè)

　　這里說個題外話。如上所述，數(shù)據(jù)清理是個人工需求繁重、成本極高的工作種類，而且主要是和數(shù)據(jù)打交道。換句話說，這個工作具備進行人工智能升級的各種要素。

　　事實上，AI+數(shù)據(jù)清洗已經(jīng)被廣泛關注和討論。目前最主要的結合方式有幾種：

　　第一種是用機器學習技術訓練智能體學習數(shù)據(jù)清洗的邏輯，從而優(yōu)化數(shù)據(jù)清洗中的人工與機器工作分配比重。讓一些人工分類、篩選和標注工作能夠被機器執(zhí)行，甚至準確率更高。

　　第二種是結合貝葉斯分類算法。貝葉斯分類是一種利用概率統(tǒng)計知識進行分類的算法，特征是分類準確率高、速度快，適合快速部署在數(shù)據(jù)歸納與統(tǒng)計當中。利用貝葉斯相關算法和技術，進行良性數(shù)據(jù)和臟數(shù)據(jù)的區(qū)分也在成為數(shù)據(jù)清洗的重要手段之一。

　　此外，其他利用文本識別算法與識別技術的AI能力來進行數(shù)據(jù)清洗的嘗試也在逐漸增多。比如決策樹、隨機森林的算法都有根據(jù)特征判斷不良數(shù)據(jù)的能力。算法識別主要可以增強特定領域的數(shù)據(jù)分析能力，更快投入實際應用。

　　(數(shù)據(jù)清洗的基本流程，其中AI主要作用于清洗邏輯環(huán)節(jié))

　　由此可見，數(shù)據(jù)清洗和人工智能是互相需要，無法分割的兩類技術。以AI驅動數(shù)據(jù)清洗效率，反過來為AI體系服務，應該是未來的良性增長周期。

　　但從現(xiàn)階段的情形看，二者結合任重道遠。

　　缺口嚴重：AI配套服務產(chǎn)業(yè)的普遍現(xiàn)狀

　　不僅是數(shù)據(jù)清洗行業(yè)，廣泛來看，多種服務于AI硬件、數(shù)據(jù)和應用體系的配套產(chǎn)業(yè)發(fā)展都還遠遠不能達標。這點也是美國整個AI產(chǎn)業(yè)結構優(yōu)于中國的重要環(huán)節(jié)，當然，即便是在美國，AI產(chǎn)業(yè)的發(fā)展與配套服務產(chǎn)業(yè)的建設速度也是不協(xié)調(diào)的。

　　目前來看這可能還不會形成巨大問題，但如果AI創(chuàng)業(yè)開始全面提速，個性化需求開始激增，那么配套設施的落后很可能成為行業(yè)的制約。

　　以針對AI產(chǎn)業(yè)的數(shù)據(jù)清洗為例，目前這個行業(yè)主要是面對大公司和集團企業(yè)服務，依舊保持著重度人工投入的勞動密集型特征。如果需求開始碎片化，服務成本很可能快速提升，成為創(chuàng)業(yè)者的成本負擔。

　　其次，AI數(shù)據(jù)清洗服務相對集中的產(chǎn)業(yè)邏輯，也讓適應創(chuàng)業(yè)企業(yè)的服務方案變成了稀缺品。一家以垂直領域AI為創(chuàng)業(yè)目標的公司，很難找到適合的數(shù)據(jù)清洗服務。從而不得不獨立搭設數(shù)據(jù)服務部門，消耗大量精力和人力，也提升了“重新發(fā)明輪子”的創(chuàng)業(yè)門檻。

　　另外，傳統(tǒng)云計算服務的數(shù)據(jù)清洗邏輯和人工智能的結合程度不夠高，也限制了新的算法、模型投入使用時數(shù)據(jù)服務的跟蹤服務能力。讓很多技術創(chuàng)意較強或者海外引進的技術，在實踐中無法部署。

　　數(shù)據(jù)層面的AI配套服務，主要集中在巨頭手中，對創(chuàng)業(yè)群體而言障礙極多。當然這也可能是個新的創(chuàng)業(yè)機遇。把巨頭獨占的AI能力開放和定制化，很可能是AI企業(yè)服務中最大的機會之一。

　　AI是一座金字塔型的商業(yè)建筑。當然我們喜歡看塔尖上的珠寶，但最下一層沒有人添磚加瓦的話，一切不過永遠流于空談而已。