中科院蘇州醫(yī)工所提出全自動(dòng)手術(shù)器械視覺(jué)追蹤方案

微創(chuàng)手術(shù)是外科發(fā)展的必然趨勢(shì)和追求目標(biāo)。腹腔鏡手術(shù)是微創(chuàng)手術(shù)的代表，因創(chuàng)傷小、患者恢復(fù)快、術(shù)后并發(fā)癥少等顯著優(yōu)勢(shì)得到廣泛臨床應(yīng)用，幾乎涵蓋普外科所有手術(shù)，成為諸多良性疾病和功能性疾病手術(shù)治療的“金標(biāo)準(zhǔn)”，全球每年開(kāi)展數(shù)量超過(guò)750萬(wàn)例。除主刀醫(yī)生，腹腔鏡手術(shù)中還必須配置一位持鏡手為主刀醫(yī)生提供相應(yīng)的照明和最佳的視覺(jué)反饋。長(zhǎng)時(shí)間的手術(shù)使得持鏡手容易出現(xiàn)疲勞、手部震顫、注意力分散等現(xiàn)象，影響手術(shù)效率。

機(jī)器人具有定位精度高、響應(yīng)速度快、運(yùn)動(dòng)平穩(wěn)性強(qiáng)等優(yōu)勢(shì)，且不受情緒及疲勞等因素影響，為腹腔鏡手術(shù)中持鏡手所面臨的問(wèn)題提供一種有效的解決方案?；谇荤R圖像的主動(dòng)式引導(dǎo)是持鏡機(jī)器人的交互模式趨勢(shì)，其核心為手術(shù)器械視覺(jué)追蹤，現(xiàn)有方法大多借助人工標(biāo)記進(jìn)行手術(shù)器械追蹤，但這種方法對(duì)于通用手術(shù)器械并不適用，且需臨床增加額外殺毒滅菌流程，應(yīng)用范圍有限，因此無(wú)標(biāo)記手術(shù)器械視覺(jué)追蹤更具臨床普適性。術(shù)中腹腔環(huán)境復(fù)雜多變，腹腔鏡視野中無(wú)標(biāo)記手術(shù)器械精準(zhǔn)定位難度較大，且追蹤速度無(wú)法滿(mǎn)足主刀醫(yī)生對(duì)持鏡機(jī)器人的實(shí)時(shí)性要求，極大制約了持鏡機(jī)器人在臨床中的推廣與應(yīng)用。

近日，中國(guó)科學(xué)院蘇州生物醫(yī)學(xué)工程技術(shù)研究所高欣團(tuán)隊(duì)提出一種融合區(qū)域分割思想與目標(biāo)搜索策略的輕量型目標(biāo)提取神經(jīng)網(wǎng)絡(luò)架構(gòu)，構(gòu)建一種全自動(dòng)無(wú)標(biāo)記手術(shù)器械視覺(jué)追蹤方法。該研究基于LinkNet網(wǎng)絡(luò)構(gòu)筑多實(shí)例分割模型，快速提取腹腔鏡視野中手術(shù)器械不同部件區(qū)域，利用手術(shù)器械結(jié)構(gòu)特點(diǎn)，以手術(shù)器械關(guān)節(jié)為追蹤靶點(diǎn)，結(jié)合腹腔鏡視野中手術(shù)器械運(yùn)動(dòng)特性，引入視覺(jué)追蹤過(guò)程上下文信息，實(shí)現(xiàn)手術(shù)器械的精準(zhǔn)跟蹤。

輕量型目標(biāo)提取神經(jīng)網(wǎng)絡(luò)架構(gòu)

研究結(jié)果顯示，所提方法在公開(kāi)的腹腔鏡手術(shù)視頻數(shù)據(jù)集m2cai16-tool(累計(jì)時(shí)長(zhǎng)9小時(shí)56分鐘，共計(jì)89.4萬(wàn)幀)上取得100%的追蹤精度、15幀/秒的追蹤速度、低至6像素以下的定位誤差，相比于現(xiàn)有方法追蹤速度提升50%、定位誤差降低30%，實(shí)現(xiàn)了高精度無(wú)標(biāo)記手術(shù)器械快速視覺(jué)追蹤。該研究為持鏡機(jī)器人視覺(jué)追蹤模塊提供了一種新研發(fā)思路。

腹腔鏡手術(shù)視頻中無(wú)標(biāo)記手術(shù)器械視覺(jué)追蹤結(jié)果。紅色曲線(xiàn)表示手術(shù)器械實(shí)際運(yùn)動(dòng)軌跡，綠色曲線(xiàn)表示手術(shù)器械視覺(jué)追蹤軌跡。a：腹腔鏡手術(shù)視頻中抓鉗的視覺(jué)追蹤結(jié)果，b：腹腔鏡手術(shù)視頻中電鉤的視覺(jué)追蹤結(jié)果。