脫口秀演員搞自動(dòng)駕駛？不但搞出了成果，還被 Nature 在研究亮點(diǎn)（RESEARCH HIGHLIGHT）專欄報(bào)道！

香港理工大學(xué)博士后、深圳某脫口秀俱樂部現(xiàn)役演員廖付友年初八在《自然?電子》上以一作身份發(fā)表名為 Bioinspired in-sensor visual adaptation for accurate perception 的文章。文章介紹了一種新型傳感器，模仿了人類視網(wǎng)膜工作原理，有效感知范圍達(dá)到 199dB。

這是什么概念？現(xiàn)在絕大部分智能汽車上的自動(dòng)駕駛系統(tǒng)在弱光、雨雪條件下能力大打折扣，主要原因之一就是常用的硅基 CMOS 圖像傳感器通常只有 70dB 的感知范圍，遠(yuǎn)低于自然場景的光強(qiáng)變化范圍。而新的類視網(wǎng)膜傳感器，直接將感知范圍提升 1 萬億倍！大大增強(qiáng)自動(dòng)駕駛在感知端的準(zhǔn)確性。

而且這位業(yè)余說脫口秀的廖付友，已被華為收編，確定即將入職繼續(xù)從事半導(dǎo)體研究。

有效感光范圍提升 1 萬億倍！

在地球普遍環(huán)境中，自然光強(qiáng)度的分布超過 280dB，遠(yuǎn)超民用級別 CMOS 感光元件的 70dB 范圍。

具體到自動(dòng)駕駛上，且不論算法性能，攝像頭捕捉的圖像數(shù)據(jù)有效范圍就大大縮小，不但是弱光會影響識別，強(qiáng)光也不行。比人眼強(qiáng)，但應(yīng)付自然光還是不夠。

從這個(gè)角度看，也能理解特斯拉代表的純視覺自動(dòng)駕駛路線，和國內(nèi)廠商走的激光雷達(dá) + 視覺混合路線的緣由。一個(gè)是死磕算法提高圖像識別準(zhǔn)確度，另一個(gè)是通過雷達(dá)點(diǎn)云圖彌補(bǔ)圖像數(shù)據(jù)的不足。手段不同，但問題根源都在圖像捕捉的限制。

而廖付友博士所在的香港理工大學(xué)團(tuán)隊(duì)，利用二硫化鉬作為基礎(chǔ)材料，模仿人類視網(wǎng)膜的工作原理，設(shè)計(jì)出了一種新的光傳感器，能夠有效感知 199dB 范圍的光線。

在實(shí)驗(yàn)中，科研人員分別于弱光和強(qiáng)光背景下映出數(shù)字“8”，再由環(huán)境光照射背景板：

之后，將感光信號輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行識別：

實(shí)驗(yàn)結(jié)果表明，ANN 網(wǎng)絡(luò)對于數(shù)字“8”的識別準(zhǔn)確度穩(wěn)定在 97% 左右，同等條件下使用 CMOS 傳感器的系統(tǒng)幾乎無法識別。

上圖中有目標(biāo)識別率有明顯的隨時(shí)間漸變的趨勢，這就是所謂“類視網(wǎng)膜”的核心?；诙蚧f的感光陣列無論對于弱光還是強(qiáng)光都會隨時(shí)間適應(yīng)，就像人眼會逐漸適應(yīng)光照強(qiáng)度一樣。輸出的圖像信號也會從剛開始的一團(tuán)黑或白逐漸清晰顯出目標(biāo)特征。

好了，我知道你們想搞清楚 1 萬億倍是怎么來的，但首先還要解釋一下光功率的概念。dB 是指光功率的單位，表示光在單位時(shí)間內(nèi)所做的功。簡單理解，光功率大小直接反映了光照的強(qiáng)弱。

一般光功率單位常用為毫瓦 (mw) 和分貝毫瓦 (dBm)，其中兩者關(guān)系為：1mw=0dBm。但工程學(xué)中，dB 是一個(gè)純計(jì)數(shù)單位，代表兩個(gè)功率的比值大小，具體數(shù)值為 10*log (A / B)。也就是說，工程上 dB 只有加減，實(shí)際代表了兩個(gè)功率相除，得出的結(jié)果是增益或減益的倍數(shù)。

所以按照這樣計(jì)算，港理工團(tuán)隊(duì)的新型類視網(wǎng)膜傳感器，有效工作范圍比傳統(tǒng) CMOS 圖像傳感器提升了 129dB，也就是至少提升 10¹² 倍。1 萬億倍！會說脫口秀的科研人員果然強(qiáng)。

提升 1 萬億倍如何實(shí)現(xiàn)？

人眼的光接收細(xì)胞感知范圍比較有限，只有 40dB。但是人眼的視覺適應(yīng)功能讓我們可以感知和識別不同光照條件下的各種物體，哪怕是快速在明暗差別很大環(huán)境中轉(zhuǎn)換。

人眼應(yīng)對光線明暗變化的機(jī)制，關(guān)鍵是水平細(xì)胞和光接收細(xì)胞的結(jié)構(gòu)。

其中，視錐細(xì)胞在強(qiáng)光條件下敏感度更高，視桿細(xì)胞在暗光條件下敏感度更高。所以光照條件發(fā)生變化時(shí)，視網(wǎng)膜的水平細(xì)胞會控制感光點(diǎn)在視錐和視桿細(xì)胞之間的轉(zhuǎn)換、以及光色素的產(chǎn)生和消失來適應(yīng)。

基于此，團(tuán)隊(duì)研發(fā)出一種基于二硫化鉬底柵光電晶體管陣列的仿生視覺適應(yīng)傳感器。

在二硫化鉬表面，科研人員有意引入電荷陷阱態(tài)，使得光信息的存儲成為可能。

（電荷陷阱態(tài)：電子被不飽和鍵所捕獲。）

而通過調(diào)節(jié)柵極電壓，這陷阱態(tài)可以捕獲或釋放通道的電子。

（通道：施加電壓后，電子會被排斥或吸引從而形成翻轉(zhuǎn)層，導(dǎo)通半導(dǎo)體源級和汲極，形成通道。）

在不同的柵極電壓下，通道的電子可以被捕獲或釋放，這就可以定量地動(dòng)態(tài)調(diào)節(jié)器件的電導(dǎo)率。所以光線強(qiáng)弱變化時(shí)，只需要調(diào)節(jié)柵極電壓就能實(shí)現(xiàn)感光元件的范圍調(diào)整。

另外，二硫化鉬材料本身具有獨(dú)特性質(zhì)，根據(jù)柵極電壓不同，會隨時(shí)間對電流產(chǎn)生激勵(lì)或抑制作用。這一點(diǎn)正好模擬了視網(wǎng)膜光色素的產(chǎn)生和消失。

所謂高感光范圍的“人造視網(wǎng)膜”，核心是利用電荷陷阱態(tài)對電子的捉放效應(yīng)以及二硫化鉬本身的“時(shí)間 —— 抑制激勵(lì)”作用，從而達(dá)到人為控制感光半導(dǎo)體電導(dǎo)率的目的。

在把這項(xiàng)技術(shù)應(yīng)用到自動(dòng)駕駛的視覺傳感器中，無需經(jīng)過后端圖像處理器或云端信息處理，就能大大提升了系統(tǒng)的信息處理效率和識別準(zhǔn)確度。

另外人臉識別也是一個(gè)重要應(yīng)用場景，無論是白天的強(qiáng)光還是夜間的黑暗，視覺傳感器能根據(jù)背景光強(qiáng)度，去調(diào)節(jié)光靈敏度從而準(zhǔn)確識別人臉。

在太空探測領(lǐng)域，把具有視覺適應(yīng)功能的視覺傳感器應(yīng)用在探測設(shè)備上，除了正常光照條件下的感知外，還可以在極端光照條件下（極弱或者極強(qiáng)光）探測外界環(huán)境和識別目標(biāo)。

作者介紹

一作廖付友，博士畢業(yè)于復(fù)旦大學(xué)，目前在香港理工大學(xué)做博士后。主要研究方向?yàn)榘雽?dǎo)體器件與工藝。他已經(jīng)確定將入職華為，繼續(xù)半導(dǎo)體方面研究。

廖付友除了是一名科研工作者，還是一名業(yè)余脫口秀演員，在深圳某俱樂部駐場演出。

本文通訊作者柴揚(yáng)副教授，博士畢業(yè)于香港科技大學(xué)。主要從事低維材料的電子器件及其在能源領(lǐng)域應(yīng)用的研究工作，其主要研究方向包括低維材料的可控生長與電子器件，能量轉(zhuǎn)換與存儲，以及柔性電子器件。

論文地址：

https://www.nature.com/ articles / s41928-022-00713-1