解析機器學習應(yīng)用：數(shù)據(jù)中心和云計算成為企業(yè)新戰(zhàn)場

　　機器學習作為一種實現(xiàn)人工智能的方法，近年來成功案例數(shù)日益攀升，已經(jīng)從一個相對模糊的計算機科學概念，迅速發(fā)展成為企業(yè)經(jīng)濟的影響因素，因此，機器學習領(lǐng)域存在大量的資金投入也就一點兒也不讓人感到奇怪了。

　　麥肯錫公司的一項調(diào)查顯示，在2013年至2016年期間，人工智能開發(fā)投資總額增加了兩倍，其中大部分投資——200億至300億美元——都來自一些科技巨頭，這些公司希望能夠產(chǎn)生機器學習以及其他人工智能模型，而這些技術(shù)在未來對于他們的客戶來說，會變成像今天的移動和網(wǎng)絡(luò)一樣至關(guān)緊要的東西。

　　人工智能技術(shù)之所以能夠如此吸引人，是因為存在巨大的商業(yè)價值。Gartner預(yù)測到2020年，人工智能技術(shù)在新的商業(yè)軟件中會變得無處不在，而且將成為30%的首席信息官投資優(yōu)先級中排名前五的技術(shù)之一。

　　事實就目前看來，人工智能市場中大部分的推動力都來自于那些樹大根深的公司：

　　英偉達已經(jīng)成為GPU中的主導者，成為機器學習培訓階段的首選平臺。到目前為止，這是機器學習絕大部分的焦點所在。

　　英特爾推出了Nervana神經(jīng)處理器(Nervana Neural Processor)，這是一款低延遲、高內(nèi)存帶寬芯片，據(jù)說這款處理器是專門為了深度學習設(shè)計的。(英特爾于2016年收購了Nervana)。

　　谷歌的張量處理單元(Tensor Processing Unit，TPU)已經(jīng)在機器學習加速器市場上站穩(wěn)了腳跟，現(xiàn)在已經(jīng)發(fā)展到第二版本。第一個版本是谷歌開發(fā)的一款專用集成電路(ASIC)，目標是為了在其自己的服務(wù)器上加速其語音轉(zhuǎn)換文本應(yīng)用程序的推理;和第一個版本相比，第二個版本——云TPU(Cloud TPU)——更像是一個高性能的TPU集群，旨在作為訓練模塊與英偉達(Nvidia)競爭。

　　簡單而言，機器學習直接來源于早期的人工智能領(lǐng)域，傳統(tǒng)算法包括決策樹學習、推導邏輯規(guī)劃、聚類、強化學習和貝葉斯網(wǎng)絡(luò)等等。

　　機器學習最基本的做法，是使用算法來解析數(shù)據(jù)、從中學習，然后對真實世界中的事件做出決策和預(yù)測。與傳統(tǒng)的為解決特定任務(wù)、硬編碼的軟件程序不同，機器學習基于大量的數(shù)據(jù)來“訓練”，通過各種算法從數(shù)據(jù)中學習如何完成任務(wù)。

　　本文主要針對數(shù)據(jù)中心和云計算，而這本身就是一個巨大的市場，也是機器學習的根基。Linley集團的首席分析師Linley Gwennap預(yù)測，以數(shù)據(jù)中心為導向的人工智能加速器市場到2022年將達到120億美元的規(guī)模：“在接下來的一到兩年里，我們將開始看到更多數(shù)據(jù)中心和其他設(shè)備的選擇。”他認為，“目前，類似谷歌和Facebook這樣的科技巨頭面臨的問題是，‘我該堅持設(shè)計自己的芯片嗎?或者，如果企業(yè)能夠在開放市場得到同樣的經(jīng)濟效益，我需要嘗試嗎?’”

　　機器學習下一階段

　　很多公司會交替使用機器學習、深度學習、人工智能和神經(jīng)網(wǎng)絡(luò)等技術(shù)，盡管這些技術(shù)彼此之間存在著微妙的差別，但總的來說，都是基于實時數(shù)據(jù)，計算機可以權(quán)衡很多不同的情況，并根據(jù)這些預(yù)設(shè)的權(quán)重做出最好的選擇——也就是數(shù)據(jù)挖掘。加權(quán)的過程是“訓練”階段的一部分，而“推理”階段是機器學習的核心。

　　數(shù)據(jù)挖掘是個很寬泛的概念,數(shù)據(jù)挖掘常用方法大多來自于機器學習,深度學習是機器學習一類比較火的算法——具有更多層次不同類型的分析，并最終形成更完善的解決方案，而這樣做的代價是需要消耗更多的計算資源才能完成“訓練”階段。兩者本質(zhì)還是涉及神經(jīng)網(wǎng)絡(luò)，它們圍繞信息節(jié)點創(chuàng)建類似網(wǎng)狀的連接，這與人類大腦中的神經(jīng)元與周圍的細胞進行網(wǎng)狀連接的方式非常相似。人工智能是一個總括性的術(shù)語，對許多不同的人來說意味著許多不同的東西，從IBM的Watson到電影《2001：太空漫游》的HAL。但總來說，它指的是設(shè)備可以獨立于顯式編程學習行為。

　　機器學習的第二階段就是“推理”，這個階段基本上就是要把學習階段的成果應(yīng)用到特定的應(yīng)用程序和細分市場，也就是算法被投入實際應(yīng)用的地方，機遇更大。結(jié)果或許是大量獲得風投支持的初創(chuàng)公司蜂擁而至。

　　ARM公司員工Jem Davies表示，“機器學習的推理和訓練階段完全是兩碼事。”

　　所謂推理，你可以做各種古怪的事情，如分揀黃瓜等。它更接近用戶，這就是為什么你看到各種有趣的案例。但現(xiàn)在的手機也有預(yù)測性文本，和推理類似——這是25年前開始的。”推理是輔助自動駕駛的重要組成部分，從傳感器收集上來的數(shù)據(jù)也需要基于機器學習進行預(yù)處理。

　　Cadence公司Tensilica DSP部門的產(chǎn)品營銷總監(jiān)Pulin Desai表示：“推理需要在邊緣進行。”他舉例，“在一輛汽車里，你可能有20個圖像傳感器，加上雷達和激光雷達，以提供360度的視野。但是如果你把一個圖像傳感器放在汽車上，它可能有180度的視野。這需要畸變校正，這是圖像處理。”

　　訓練和推理階段之間的一個關(guān)鍵區(qū)別在于，訓練是在浮點中完成的，而推理則是使用定點。DSP和FPGA是定點。

　　這里簡單說一下ARM、DSP和FPGA，市場經(jīng)常拿來對比。

　　在嵌入式開發(fā)領(lǐng)域，ARM(Advanced RISC Machines)是一款微處理器，設(shè)計了大量RISC處理器、相關(guān)技術(shù)及軟件，提供一系列內(nèi)核、體系擴展、微處理器和系統(tǒng)芯片方案，目前市場覆蓋率90%以上;DSP(digital singnal processor)是一種獨特的微處理器，有自己的完整指令系統(tǒng)，是以數(shù)字信號來處理大量信息的器件：一個數(shù)字信號處理器在一塊不大的芯片內(nèi)包括有控制單元、運算單元、各種寄存器以及一定數(shù)量的存儲單元等等，在其外圍還可以連接若干存儲器，并可以與一定數(shù)量的外部設(shè)備互相通信，有軟、硬件的全面功能，本身就是一個微型計算機;FPGA(Field Programmable Gate Array，現(xiàn)場可編程門陣列)是在PAL、GAL、PLD等可編程器件的基礎(chǔ)上進一步發(fā)展的產(chǎn)物，是專用集成電路(ASIC)中集成度最高的一種。

　　三者區(qū)別在于，ARM具有比較強的事務(wù)管理功能，可以用來跑界面以及應(yīng)用程序等，其優(yōu)勢主要體現(xiàn)在控制方面;而DSP主要是用來計算的，比如進行加密解密、調(diào)制解調(diào)等，優(yōu)勢是強大的數(shù)據(jù)處理能力和較高的運行速度;FPGA可以用VHDL或verilogHDL來編程，靈活性強，由于能夠進行編程、除錯、再編程和重復(fù)操作，因此可以充分地進行設(shè)計開發(fā)和驗證。當電路有少量改動時，更能顯示出FPGA的優(yōu)勢，其現(xiàn)場編程能力可以延長產(chǎn)品在市場上的壽命，而這種能力可以用來進行系統(tǒng)升級或除錯。

　　Flex Logix公司首席執(zhí)行官Geoffrey Tate表示：“我們正在擺脫使用x86處理器解決所有問題或者人們需要為特定工作負載優(yōu)化硬件的局面。大多數(shù)計算將在數(shù)據(jù)中心之外完成，因此FPGA和其他一些東西的角色將不得不發(fā)生改變——由于支持音視頻的需求的擴展，你可能仍然會看到傳統(tǒng)架構(gòu)和新架構(gòu)混合。我認為我們都是加速器。”

　　機器學習領(lǐng)域，F(xiàn)PGA和eFPGA玩家正在爭先恐后地進入推理市場。預(yù)計2022年將有17億個機器學習客戶端設(shè)備。

　　Achronix公司總裁及首席執(zhí)行官Robert Blake表示：“在機器學習的學習階段，GPU已經(jīng)贏得了很多關(guān)注。” 他表示，“但是更大的市場將會在推理方面，這些產(chǎn)品的成本和功耗將是至關(guān)重要的。這就是為什么在這些領(lǐng)域內(nèi)嵌入式解決方案將具有極大吸引力的原因。”

　　ARM公司員工Davies也同意這種看法。他說，功率預(yù)算保持在2-3瓦的范圍內(nèi)，而電池技術(shù)的改進則相對“不給力”。鋰電池的改進一般在每年4%-6%的范圍內(nèi)。相比而言，為了完成所有這些工作所需的計算性能的提升則是數(shù)量級的提升。

　　這將需要一個完全不同的架構(gòu)，包括對于在哪里完成哪種處理的理解。

　　Rambus公司一位發(fā)明家Steven Woo表示：“我們看到了人工智能、神經(jīng)網(wǎng)絡(luò)芯片和內(nèi)核的市場需求，更高級別的需求是它們把信息融合在一起，而現(xiàn)在市場正在摸索人工智能、神經(jīng)網(wǎng)絡(luò)芯片和內(nèi)核‘融合’的可能。你現(xiàn)在看到的是，很多公司在尋找主要的市場，并圍繞這些市場建設(shè)基礎(chǔ)設(shè)施。譬如汽車市場;還有手機市場，那里有幾十億設(shè)備的規(guī)模，它們正在推動新的打包基礎(chǔ)設(shè)施;而且物聯(lián)網(wǎng)也有潛力，但挑戰(zhàn)在于找到共性。而神經(jīng)網(wǎng)絡(luò)和機器學習，似乎每周都有新的算法，這就很難開發(fā)一個單一的架構(gòu)。這就是為什么你看到人們對FPGA和DSP的興趣之深的原因。”

　　機器學習的行業(yè)應(yīng)用

　　機器學習在以客戶為中心的應(yīng)用程序中已經(jīng)變得相當常見，它可以被用來預(yù)測銷售情況，尋找客戶流失的跡象，通過交互式語音響應(yīng)或者通過在線聊天機器人，以及谷歌翻譯之類的消費者應(yīng)用程序提供客戶服務(wù)。

　　Facebook使用三個深度學習應(yīng)用程序來過濾上傳內(nèi)容，例如，一個在上傳圖片中進行面部識別并對人進行標記，一個檢查仇恨言論或者其他目標內(nèi)容，而另一個用于定位廣告。

　　西門子旗下Mentor公司傳感器融合首席工程師Nizar Sallem表示，深度學習在客戶服務(wù)和分析方面可能很適合，但它也是提供自動駕駛車輛所需的即時感知、決策和控制系統(tǒng)的首選對象。機器學習了解車輛周圍的環(huán)境，道路上的不同行為者，交通規(guī)則以及當時期望車輛所處的位置，它必須確定你的行為應(yīng)該是什么樣子的，還要確定什么時候你可以為了逃避危險或者保護車內(nèi)的人而違反交通規(guī)則。

　　英偉達首席科學家兼研究高級副總裁Bill Dally表示， “讓我吃驚的是深度學習革命來的如此之快。在過去的三年中，各種各樣的應(yīng)用程序似乎一夜之間就放棄了原來的傳統(tǒng)方法，搖身一變轉(zhuǎn)向了深度學習。”他補充說，“這不需要在軟件上投入巨大的資金;你拿一個應(yīng)用程序，訓練網(wǎng)絡(luò)，然后就完成了。它在某些領(lǐng)域已經(jīng)變得無處不在，但是對于每個搖身一變擁抱了神經(jīng)網(wǎng)絡(luò)的應(yīng)用程序來說，都還有另外十次‘搖身一變’的機會。”

　　麥肯錫認為，在科技行業(yè)以外人工智能大部分的應(yīng)用都是試驗性的，而在科技行業(yè)中，大部分人工智能的應(yīng)用要么是為了支持或改善其他服務(wù)，要么就是為消費者增加新的服務(wù)。在接受麥肯錫調(diào)查的3000多家公司中，只有20%的企業(yè)表示他們在重要的業(yè)務(wù)部分使用了與人工智能相關(guān)的技術(shù)。調(diào)查發(fā)現(xiàn)了160個人工智能的使用案例，麥肯錫發(fā)現(xiàn)只有12%的商業(yè)應(yīng)用。

　　或者換個角度看，88%的公司還沒有在商業(yè)上部署人工智能，這是一個巨大的機會。相比之下，包括谷歌和百度在內(nèi)的高科技公司在2016年花費了200億至300億美元，其中90%用于研發(fā)，10%用于收購。

　　市場預(yù)測

　　盡管人工智能技術(shù)處于爆發(fā)期，但發(fā)展仍處于起步階段。主流提供商仍然是現(xiàn)有的高科技公司，而最能賺錢的仍然是消費者服務(wù)。Tractica報告稱，這包括谷歌的語音到文本轉(zhuǎn)換和翻譯服務(wù)以及來自亞馬遜、Facebook、百度等公司的消費者互動/客戶服務(wù)應(yīng)用程序。該報告估計，2016年人工智能驅(qū)動的消費服務(wù)價值為19億美元，到2017年底將增至27億美元。

　　圖：按技術(shù)劃分的人工智能收入。資料來源：Tractica

　　Tractica估計到2025年，包括硬件、軟件和服務(wù)在內(nèi)的整個人工智能市場將上升到421億美元。

　　圖：人工智能各部分的收入。資料來源：Tractica

　　機器學習即服務(wù)(MLaaS)是另一個類別，其中73%由亞馬遜、IBM和微軟占據(jù)。Transparency Market Research(TMR)4月份的一份報告表示，預(yù)計這一數(shù)字將從2016年的約10.7億美元增長到2025年的199億美元。

　　Tractica表示，大部分機器學習功能服務(wù)目前針對的都是消費者——這個類別中包含了谷歌翻譯和語音轉(zhuǎn)換文本應(yīng)用程序，作為其客戶TPU的概念驗證。

　　深度學習成為半導體行業(yè)新戰(zhàn)場

　　深度學習的出現(xiàn)也凸顯了半導體行業(yè)與其最大客戶之間的一些日益復(fù)雜的關(guān)系，特別是同谷歌和其他超大規(guī)模數(shù)據(jù)中心所有者之間的關(guān)系，他們的規(guī)模大到足以配置并建設(shè)自己的服務(wù)器和芯片。

　　芯片公司多年來一直在針對特定云客戶的需求構(gòu)建或定制芯片。例如，英特爾就為微軟打造了FPGA DL加速器，為阿里巴巴云客戶打造了基于FPGA的應(yīng)用加速器。英特爾還邀請Facebook幫助設(shè)計英特爾Nervana神經(jīng)處理器(Nervana Neural Processor)的包裝以及該公司即將推出的、針對深度學習的“Lake Crest”專用集成電路(ASIC)。

　　谷歌已經(jīng)發(fā)布了其他芯片，包括它已經(jīng)開發(fā)了Pixel2手機的機器學習協(xié)處理器的消息，這是它的首款移動芯片。谷歌還開發(fā)了Titan，這是一種微控制器，連接到服務(wù)器上，以確保它們不會錯誤啟動、損壞或被惡意軟件感染。

　　谷歌稱TPU可以實現(xiàn)“機器學習每瓦性能優(yōu)化，優(yōu)化的幅度是數(shù)量級的”并將谷歌的機器學習應(yīng)用程序向前推進了七年，以此證明它對TPU的投資是合理的。首款TPU只針對加速運行機器學習模型推理的普通服務(wù)器設(shè)計，而不是首先瞄準了培訓模型。因此，它們并沒有直接同英偉達或者英特爾的機器學習培訓產(chǎn)品競爭。

　　當谷歌在5月份發(fā)布其云TPU(Cloud TPUs)時，該公司的聲明聽起來像是要與英特爾和英偉達進行更為直接的競爭。

　　谷歌宣稱Cloud TPU每個浮點性能為180 teraflops，但將這些單元打包成4-TPU Pod，總共包含11.5 petaflops。這種配置似乎是為了與英偉達備受好評的DGX-1“超級計算機”競爭，該超級計算機配備了八個頂級的Tesla V100芯片，并聲稱總計最高吞吐量為1petaFLOP。

　　來自云端的競爭

　　Dally 表示，“谷歌和其他一些公司已經(jīng)在沒有加速——或者只有TPU——的情況下獲得了早期的成功，但是有一些網(wǎng)絡(luò)很容易培訓;標準圖像搜索很簡單。”他表示，“但是如果要進行更多信號處理的培訓——處理圖像和視頻流，以及對于那些每周都要重新培訓他們的網(wǎng)絡(luò)的人來說，或者對于那些更加重視培訓的人來說，GPU的效率要高得多。”

　　Chris Rowen是Cadence 的IP集團的前首席技術(shù)官，他創(chuàng)辦了Cognite Ventures，為神經(jīng)網(wǎng)絡(luò)、物聯(lián)網(wǎng)和自動駕駛嵌入式系統(tǒng)的創(chuàng)業(yè)企業(yè)提供資金和建議。他表示，問題是谷歌的新處理器是否足以將客戶從其他業(yè)務(wù)中剝離出來，答案可能會是“不能”。任何一家云提供商都必須支持多種架構(gòu)，所以支持深度學習的數(shù)據(jù)中心將會成為CPU、GPU、ASIC、FPGA以及來自各種技術(shù)的IP的盛宴。

　　Rowen表示，一些培訓負載也有可能更多地轉(zhuǎn)移到內(nèi)置在客戶端設(shè)備中的推理引擎上。在這個領(lǐng)域的很多公司肯定會有機會。不過，對于限制在數(shù)據(jù)中心服務(wù)器上的機器學習培訓，就很難取代現(xiàn)有的玩家了。

　　圖：認知計算的演變。資料來源：Cognite Ventures