物聯(lián)網(wǎng)引發(fā)嵌入式視覺(jué)革命

　　從計(jì)算機(jī)到機(jī)器人再到人工智能，復(fù)制或模仿人類智慧、感知能力和行為的需求激發(fā)了多項(xiàng)關(guān)鍵技術(shù)進(jìn)步。

　　聲音、視覺(jué)和壓力等各種傳感器都是從人類的聽(tīng)覺(jué)、視覺(jué)和壓力感知能力中獲取靈感。

　　視覺(jué)無(wú)疑是人類最重要的感知能力之一。視覺(jué)讓人類看到周圍環(huán)境，并解釋、分析和采取行動(dòng)。

　　人類視覺(jué)是一個(gè)非常復(fù)雜、智能的“機(jī)器”，占據(jù)了大腦的重要組成部分。大腦中專門用于視覺(jué)處理的神經(jīng)元占皮層面積近30%。

　　多年來(lái)，讓設(shè)備、物體和事物直觀“看到”周圍環(huán)境，并進(jìn)行分析和解讀一直是一個(gè)重要的研究課題。

　　以前，技術(shù)的復(fù)雜性、巨大計(jì)算能力要求和高昂成本限制了使用監(jiān)視攝像頭對(duì)安全監(jiān)視應(yīng)用的視覺(jué)感知能力。然而，今天已經(jīng)發(fā)生了巨大的變化，視覺(jué)傳感器的市場(chǎng)已經(jīng)爆發(fā)，攝像頭正被嵌入到任何地方和任何設(shè)備、物體和事物中，包括移動(dòng)的和靜止的。此外，邊緣和云中可用的計(jì)算能力也急劇增加，這引發(fā)了嵌入式視覺(jué)革命。

　　價(jià)格便宜的傳感器/攝像頭，以及視覺(jué)傳感器分辨率技術(shù)的各種進(jìn)步，再加上處理動(dòng)態(tài)范圍成像和計(jì)算能力，促使了嵌入式視覺(jué)令人難以置信的增長(zhǎng)和多樣化應(yīng)用。

　　通過(guò)傳統(tǒng)圖像處理和深度學(xué)習(xí)相結(jié)合而實(shí)現(xiàn)的視覺(jué)智能，在當(dāng)今互聯(lián)嵌入式系統(tǒng)、設(shè)備和對(duì)象的世界中已經(jīng)成為可能，它既利用了設(shè)備本身的邊緣計(jì)算能力，也利用了云計(jì)算能力。

　　這引發(fā)了自動(dòng)駕駛汽車、無(wú)人機(jī)、機(jī)器人、工業(yè)應(yīng)用、零售、交通運(yùn)輸、安全和監(jiān)控、家用電器、醫(yī)療/保健、體育和娛樂(lè)、消費(fèi)者增強(qiáng)和虛擬現(xiàn)實(shí)、當(dāng)然還有無(wú)處不在智能手機(jī)的快速增長(zhǎng)。視覺(jué)智能是物聯(lián)網(wǎng)世界中的一場(chǎng)風(fēng)暴，而且應(yīng)用也會(huì)越來(lái)越多。

　　事實(shí)上，沒(méi)有其他傳感器能夠產(chǎn)生如此巨大影響。視頻在日常生活中如此普遍，以至于大多數(shù)人認(rèn)為這是理所當(dāng)然。從視頻直播到視頻點(diǎn)播再到視頻通話，人們很容易忘記視覺(jué)傳感器在互聯(lián)網(wǎng)環(huán)境和設(shè)備世界中所產(chǎn)生的巨大影響，它確實(shí)是物聯(lián)網(wǎng)真正的無(wú)名英雄。傳感器與視覺(jué)智能結(jié)合起來(lái)，整個(gè)市場(chǎng)將進(jìn)入了一個(gè)全新的發(fā)展空間。

　　嵌入式視覺(jué)的普及，其根源在于內(nèi)置攝像頭手機(jī)的爆炸式增長(zhǎng)。在手機(jī)革命之前，視頻/攝像頭只與安全和監(jiān)視相關(guān)。但隨后，內(nèi)置攝像頭手機(jī)出現(xiàn)了，這與邊緣和云上視頻分析以及智能計(jì)算能力的同時(shí)大幅增長(zhǎng)是一致的。這種結(jié)合導(dǎo)致了爆炸式增長(zhǎng)，視覺(jué)傳感器開(kāi)始被嵌入到從機(jī)器人、無(wú)人機(jī)到汽車、工業(yè)機(jī)器、電器等等各個(gè)地方。

　　視覺(jué)傳感器有多種類型，但互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器迄今影響最大，并導(dǎo)致視覺(jué)傳感器在各種嵌入式系統(tǒng)和智能手機(jī)中的爆炸式增長(zhǎng)。

　　傳感器無(wú)處不在，而且數(shù)量眾多。今天的自動(dòng)駕駛汽車有10多個(gè)攝像頭、無(wú)人機(jī)有3到4臺(tái)攝像頭、到處都有的安全監(jiān)控?cái)z像頭、手機(jī)正在進(jìn)行的視頻直播等等。來(lái)自這些視頻源的視頻數(shù)據(jù)在云中流動(dòng)以獲得進(jìn)一步智能分析，而實(shí)時(shí)的邊緣處理則在設(shè)備和物體本身進(jìn)行。

　　視覺(jué)傳感器分辨率、動(dòng)態(tài)范圍和視覺(jué)傳感器數(shù)量不斷擴(kuò)大，以及隨著這些傳感器產(chǎn)生大量視頻數(shù)據(jù)，再加上其傳輸和存儲(chǔ)要求，必然需要強(qiáng)大計(jì)算能力。

　　以前，人們急于將視頻流送到云中進(jìn)行實(shí)時(shí)存儲(chǔ)或視覺(jué)分析，云提供了巨大的計(jì)算能力，但即使在壓縮后傳輸所需的帶寬需求也很高。巨大存儲(chǔ)空間、延遲時(shí)間以及安全和隱私問(wèn)題正在讓客戶重新思考云計(jì)算，并開(kāi)始考慮在設(shè)備/對(duì)象層考慮視覺(jué)分析，然后在云中進(jìn)行離線視頻處理。

　　隨著低延遲、高速5G連接的保證，有一種想法是在邊緣和云之間分配實(shí)時(shí)視頻處理。 然而，這還有多少可能?如果有的話，從占用傳輸帶寬的數(shù)百萬(wàn)個(gè)端點(diǎn)向云傳輸實(shí)時(shí)壓縮視頻數(shù)據(jù)是否還有意義?

　　邊緣分析的重要性使得市場(chǎng)出現(xiàn)各種片上系統(tǒng)(SoC)、圖形處理單元(GPU)和視覺(jué)加速器。具有GPU加速功能的云越來(lái)越多地用于非實(shí)時(shí)視頻分析，或者用于在大量測(cè)試數(shù)據(jù)上訓(xùn)練神經(jīng)網(wǎng)絡(luò)，同時(shí)利用加速器在邊緣進(jìn)行實(shí)時(shí)推理。

　　隨著現(xiàn)有深度學(xué)習(xí)和優(yōu)化后的各種片上系統(tǒng)芯片以及用于傳統(tǒng)圖像處理的視覺(jué)加速器應(yīng)用，邊緣分析的趨勢(shì)可能會(huì)繼續(xù)持續(xù)下去。更多的事件、參數(shù)和信息將被推到云端進(jìn)行進(jìn)一步的分析和關(guān)聯(lián)，云對(duì)于離線存儲(chǔ)視頻分析仍然很重要，某些系統(tǒng)仍然可以在那里進(jìn)行實(shí)時(shí)分析。

　　在現(xiàn)實(shí)世界中的視覺(jué)應(yīng)用

　　視覺(jué)和視覺(jué)智能市場(chǎng)繼續(xù)快速發(fā)展，有一些引人注目的技術(shù)趨勢(shì)正在發(fā)生，預(yù)計(jì)它們將推動(dòng)多年以來(lái)的下一個(gè)大規(guī)模增長(zhǎng)。這里有幾個(gè)例子：

　　3D相機(jī)和3D感測(cè)：3D相機(jī)或更一般的3D感測(cè)技術(shù)允許場(chǎng)景中深度計(jì)算和場(chǎng)景3D地圖的構(gòu)建。這項(xiàng)技術(shù)已經(jīng)存在一段時(shí)間了，在微軟的Kinect等游戲設(shè)備中已經(jīng)普遍應(yīng)用，最近在iPhoneX生物特征識(shí)別中也有應(yīng)用。此外，機(jī)器人、無(wú)人機(jī)和帶有3D攝像頭的自動(dòng)駕駛汽車可以識(shí)別物體的形狀和大小，用于導(dǎo)航，繪圖和障礙物探測(cè)。同樣，3D相機(jī)和立體相機(jī)是增強(qiáng)、虛擬和混合現(xiàn)實(shí)的支柱。

　　邊緣和云中的深度學(xué)習(xí)：基于神經(jīng)網(wǎng)絡(luò)的人工智能已經(jīng)風(fēng)靡全球，而今天可用的計(jì)算能力又使得深度學(xué)習(xí)成為可能。還有其他因素促成了神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用中的增長(zhǎng)，包括大學(xué)和大型公司用于培訓(xùn)和尖端研發(fā)的大量數(shù)據(jù)(視頻、照片、文本)，以及它們對(duì)開(kāi)放源代碼的貢獻(xiàn)。 這反過(guò)來(lái)又引發(fā)了神經(jīng)網(wǎng)絡(luò)的很多實(shí)際應(yīng)用。事實(shí)上，對(duì)于機(jī)器人、自動(dòng)駕駛汽車和無(wú)人機(jī)，在邊緣的GPU / SoCs上運(yùn)行深度學(xué)習(xí)推理已經(jīng)成為常態(tài)。云將繼續(xù)用于訓(xùn)練深度學(xué)習(xí)以及離線存儲(chǔ)數(shù)據(jù)的視頻處理，只要網(wǎng)絡(luò)延遲和視頻管道延遲被認(rèn)為是可接受，邊緣和云之間的分離架構(gòu)處理也是可能的。

　　同步定位和測(cè)繪( SLAM )在汽車、機(jī)器人、無(wú)人機(jī)中的應(yīng)用：同步定位和測(cè)繪( SLAM )是自動(dòng)駕駛車輛、機(jī)器人和無(wú)人機(jī)的關(guān)鍵部件，這些車輛、機(jī)器人和無(wú)人機(jī)配備有各種類型的攝像頭和傳感器，例如雷達(dá)、激光雷達(dá)、超聲波等。

　　AR/VR與感知計(jì)算：想想微軟全息透鏡HaloLink，后面是什么?六個(gè)帶有深度傳感器組合的攝像頭。微軟甚至宣布在英國(guó)劍橋開(kāi)設(shè)全息透鏡計(jì)算視覺(jué)研究中心。

　　安全/監(jiān)視：本文并不關(guān)注這個(gè)傳統(tǒng)視頻和視頻分析占主導(dǎo)地位的領(lǐng)域。這本身就是一個(gè)很大的市場(chǎng)。

　　基于手機(jī)和嵌入式設(shè)備的生物認(rèn)證：生物認(rèn)證可以觸發(fā)下一代移動(dòng)應(yīng)用程序，再次是攝像頭傳感器，結(jié)合邊緣和云上的視頻分析，觸發(fā)這一趨勢(shì)。隨著技術(shù)的成熟，它將擴(kuò)展到各種嵌入式設(shè)備。

　　零售：Amazon Go是一個(gè)使用攝像頭和高端視頻分析的例子。很快，我們將在超市里安裝機(jī)器人來(lái)幫助人類，所有機(jī)器人都配備了多個(gè)攝像頭和視覺(jué)智能以及其他傳感器。

　　媒體：視頻智能已經(jīng)在媒體行業(yè)中大量使用。視頻分析可讓您在大型視頻文件中搜索特定主題、場(chǎng)景、對(duì)象或面部。

　　體育：實(shí)時(shí)3D視頻、視頻分析和虛擬現(xiàn)實(shí)將使下一代個(gè)性化體育和娛樂(lè)系統(tǒng)成為可能。

　　未來(lái)、挑戰(zhàn)、動(dòng)力

　　對(duì)于不斷增長(zhǎng)的高分辨率視頻、高動(dòng)態(tài)范圍、高幀率和視頻智能的需求，使得對(duì)高計(jì)算能力、傳輸帶寬和高存儲(chǔ)容量的需求日益增長(zhǎng)，而且很難持續(xù)趕上。

　　一些公司正在采取不同的方式來(lái)解決這個(gè)問(wèn)題。比如，生物啟發(fā)式視覺(jué)傳感器的研究和商業(yè)化已經(jīng)開(kāi)始出現(xiàn)，這些傳感器響應(yīng)場(chǎng)景變化并輸出一小串事件而不是一系列圖像，這可能導(dǎo)致視頻數(shù)據(jù)采集和處理需求大幅降低。

　　這種方法可以從根本上改變我們獲取和處理視頻的方式，由于處理能力大大降低，它有很大的潛力來(lái)降低功耗。

　　視覺(jué)仍將是推動(dòng)物聯(lián)網(wǎng)革命的關(guān)鍵傳感器。同樣，邊緣視頻智能將繼續(xù)推動(dòng)SoC和半導(dǎo)體行業(yè)繼續(xù)使用GPU、專用集成電路(ASIC)、可編程SoC、現(xiàn)場(chǎng)可編程門陣列(FPGA)和數(shù)字信號(hào)處理(DSP)的視頻加速器路徑。加速分類圖像處理和深度學(xué)習(xí)，并為開(kāi)發(fā)人員提供可編程空間。

　　這是現(xiàn)在的競(jìng)爭(zhēng)要地，各種各樣的大型企業(yè)和初創(chuàng)公司都在積極地追逐這個(gè)機(jī)會(huì)。

　　低功耗嵌入式視覺(jué)

　　隨著視覺(jué)傳感器和嵌入式智能技術(shù)在數(shù)百萬(wàn)個(gè)電池供電裝置中的應(yīng)用，低功耗嵌入式視覺(jué)將是下一個(gè)時(shí)代整個(gè)行業(yè)增長(zhǎng)的主要因素之一，也是需要解決的關(guān)鍵問(wèn)題之一。

　　構(gòu)建具有嵌入式視覺(jué)和智能的產(chǎn)品和系統(tǒng)將引發(fā)隱私和安全問(wèn)題，需要從設(shè)計(jì)階段妥善處理這些問(wèn)題。

　　盡管面臨挑戰(zhàn)，物聯(lián)網(wǎng)嵌入式視覺(jué)的前景依然光明，市場(chǎng)機(jī)遇依然巨大，解決這些挑戰(zhàn)的公司將獲得巨大回報(bào)。