微信視頻號(hào)：sph0RgSyDYV47z6

快手號(hào)：4874645212

抖音號(hào)：dy0so323fq2w

小紅書號(hào)：95619019828

B站1：UID:3546863642871878

B站2：UID: 3546955410049087

前幾天在公眾號(hào)上刷到這個(gè)工作時(shí)，剛看到還是挺驚訝的。這東西不比cmos芯片大多少，還能在每個(gè)像素處都能獲得一個(gè)高分辨率的光譜，并且有在400–1,000?nm之間0.5??的逆天光譜分辨率 (R?=?12,000), 以及2,048?×?2,048的空間分辨率 。于是作為一個(gè)天文技術(shù)愛(ài)好者，再加上自己組里做的積分視場(chǎng)光譜儀方向，和這個(gè)小芯片的最終功能也類似，固然在來(lái)回坐地鐵的時(shí)候，仔細(xì)閱讀理解了一下原文里這個(gè)東西的原理。這里就當(dāng)個(gè)筆記分享一下。

要知道傳統(tǒng)的光譜儀要靠狹縫、準(zhǔn)直鏡、光柵、聚焦鏡、ccd或者cmos搞一個(gè)笨重的大盒子包起來(lái)才行。就這樣還只能獲得沿著狹縫上的一列光譜，不能成圖。若是達(dá)到每個(gè)像素獲得一個(gè)光譜，變成一個(gè)三維的數(shù)據(jù)立方，在遙感上會(huì)使用一排排掃描的方式成圖，叫做高光譜成像。

經(jīng)典的天文用積分視場(chǎng)光譜儀原理圖 credit:IFS wiki

而在天文上，近年來(lái)會(huì)使用積分視場(chǎng)光譜儀這個(gè)技術(shù)，可以理解成搞一堆光纖綁一起，每根光纖對(duì)應(yīng)類似一個(gè)像素，光纖里的光被引導(dǎo)到后頭的光譜儀里色散，最后重構(gòu)出圖像(當(dāng)然還有像切分器或微透鏡陣列等技術(shù)也能把圖像分成一個(gè)個(gè)小元素色散)，但總之都很笨重。 然而這個(gè)Nature工作竟然只需要一個(gè)小cmos前加些個(gè)薄膜就行了。這似乎是要革命啊。當(dāng)時(shí)我非常好奇這到底是什么原理。

于是我就把原文下載下來(lái)了，不是做這個(gè)方向的純外行，對(duì)背景知識(shí)發(fā)展現(xiàn)狀不太了解（指大家不要完全信我），只能硬理解原文里面的原理。下面把我理解的講一講，不一定對(duì)和到位，懂行的老師請(qǐng)指正。

先對(duì)原理做一個(gè)總的概述:

這個(gè)技術(shù)是在一個(gè)cmos芯片前面，放了個(gè)不同像素處厚度隨機(jī)的"鈮酸鋰"薄膜，并夾在兩個(gè)分布式布拉格反射器中（于是這個(gè)前置器件可以理解成一種干涉式濾光片?）。這個(gè)鈮酸鋰薄膜在不同電壓下會(huì)具有不同折射率，于是會(huì)導(dǎo)致整個(gè)前置的器件，對(duì)于不同波長(zhǎng)的光穿過(guò)時(shí)，能夠透過(guò)的比率不一樣(也就是這個(gè)帶薄膜的器件在不同電壓下會(huì)改變透過(guò)率曲線)。

最后cmos上的某個(gè)像素上，探測(cè)到的其實(shí)只是一個(gè)灰度值，而這個(gè)灰度值是不同波長(zhǎng)的透過(guò)率曲線與物體原始光譜相乘后積分而來(lái)，該積分方程可以被離散為兩個(gè)向量點(diǎn)積的方程，方程左側(cè)是cmos直接探測(cè)到的信號(hào)，而右側(cè)是透過(guò)率曲線與待求解光譜的點(diǎn)積。如果我們改變電壓，會(huì)得到不同的透過(guò)率曲線，便能建立多個(gè)方程，再聯(lián)合一堆具有類似光譜的像素，便能形成一大堆方程組，理論上便能求解得到每個(gè)像素的光譜。不過(guò)實(shí)際上獲得的方程數(shù)遠(yuǎn)小于未知數(shù)，嚴(yán)重欠定。好在天文上的典型恒星光譜只在部分波長(zhǎng)有吸收線特征，因此滿足"壓縮感知"重建技術(shù)里的稀疏性要求。作者使用了一套基于深度學(xué)習(xí)的方法求解這套方程組，獲得了每個(gè)像素處的高分辨率光譜(其實(shí)剛開(kāi)始注意到用了深度學(xué)習(xí)還是有點(diǎn)失望的，我還是偏心于純使用光學(xué)技術(shù)實(shí)現(xiàn)的光譜儀而不引入帶先驗(yàn)的計(jì)算光學(xué))。

下面截一些論文里的圖，再詳細(xì)介紹一下這個(gè)原理：

原文1a

首先這個(gè)芯片的結(jié)構(gòu)就是上面這樣的，在一個(gè)cmos芯片前面，放了個(gè)夾在兩個(gè)分布式布拉格反射器中的，隨機(jī)厚度的鈮酸鋰薄膜（這個(gè)新聞里給的封面宣傳圖還挺形象的)

鈮酸鋰具有電光效應(yīng)，在不同電壓下具有不同折射率，而分布式布拉格反射器也是一堆固定厚度的薄膜，所以這組東西可以理解為一個(gè)干涉式濾光片我覺(jué)得。加電壓改變了折射率，也就是改變了光程，反正其最后的效果就是，給它加上不同電壓后，在某個(gè)像素處能獲得不同的透過(guò)率曲線，再考慮其隨機(jī)厚度的特點(diǎn)，不同像素處的透過(guò)率曲線就也不一樣。文章中總共給了11的電壓。而在cmos上直接探測(cè)到的，其實(shí)還是每個(gè)像素的一個(gè)灰度值。但是經(jīng)過(guò)后面一些巧妙的操作，竟然能靠這個(gè)灰度值"變出"每個(gè)像素處對(duì)應(yīng)12000個(gè)波長(zhǎng)處的可見(jiàn)光光譜。

原文2a和b 那些橫軸波長(zhǎng)、縱軸波浪線的，就是不同電壓下產(chǎn)生不同透過(guò)率曲線

這個(gè)神奇的操作，便是文章中最核心的原理，其實(shí)也就是下面這個(gè)方程。每個(gè)cmos的像素(x，y)處，獲得的是某個(gè)電壓s下的灰度值Ys(x,y) （已知量）。而我們想要知道的是每個(gè)像素處的光譜X(x,y,λ)（未知量）。后者在某個(gè)波長(zhǎng)處乘以透過(guò)率曲線T(x,y,λ)以及量子效率QE(λ)（這倆是可標(biāo)定的已知量）后再積分(并加上噪聲G)，便得到了前者（每個(gè)像素處的灰度值）。我們可以把這個(gè)積分方程離散成一個(gè)觀測(cè)矩陣Ms與X的乘積再加上噪聲G。那么為了獲得光譜X(x,y,λ)（這是一個(gè)有12000個(gè)不同波長(zhǎng)處強(qiáng)度的一維向量），我們就需要12000個(gè)方程組才能行。

來(lái)自原文Methods部分

上哪兒搞這么多方程組呢？首先，可以給鈮酸鋰加11個(gè)不同的電壓。然后，假設(shè)在20×20個(gè)像素中的光譜都是一樣的譜形，那么就可以有11×20×20共4400個(gè)方程組。記得這里的鈮酸鋰薄薄膜還有個(gè)特性就是隨機(jī)厚度，意味著不同像素之間的透過(guò)率曲線T(λ)也是完全獨(dú)立的，可以獲得像素間獨(dú)立的方程組。但是，這似乎還是不夠。好在，自然界的和天文上的光譜只在部分波長(zhǎng)處有發(fā)射線和吸收線特征，這樣的稀疏特征滿足"壓縮感知"理論里重建的條件（壓縮感知是由著名數(shù)學(xué)家陶哲軒等提出的，對(duì)于稀疏信號(hào)在低于奈奎斯特采樣下也能恢復(fù)原始信號(hào)的技術(shù)），因而，只需要4000-5000個(gè)方程就能恢復(fù)12000個(gè)波長(zhǎng)處的光譜了。

那么接下來(lái)就剩下求解了，求解方程組其實(shí)就是讓灰度值Y與觀測(cè)矩陣Ms與光譜X相乘后的差值最小化，此時(shí)對(duì)應(yīng)的解就是光譜X。

在文章中，我看作者使用了一個(gè)包括transformer注意力機(jī)制以及U-net的深度學(xué)習(xí)模型SPECAT來(lái)求解，Ys作為輸入，光譜X作為輸出。這個(gè)模型其實(shí)還是基于現(xiàn)有的光譜數(shù)據(jù)作為訓(xùn)練集了，比如我關(guān)心的天文方面，其使用了SDSS斯隆數(shù)字化巡天的光譜數(shù)據(jù)作為了訓(xùn)練集。而上面的公式8作為訓(xùn)練時(shí)的損失函數(shù)。

原文3a

當(dāng)然求解這個(gè)方程還需要不同電壓和像素的鈮酸鋰產(chǎn)生的透過(guò)率曲線才行，作者使用了一個(gè)叫PSAM的基于物理建模結(jié)合數(shù)據(jù)驅(qū)動(dòng)的方法來(lái)獲得不同電壓和像素處不同厚度的鈮酸鋰透過(guò)率曲線，并搞成了一個(gè)查找表方便求解時(shí)查找。以及還搞了個(gè)基于MAE encoder和decoder結(jié)構(gòu)的深度學(xué)習(xí)模型用于優(yōu)化動(dòng)態(tài)連續(xù)曝光下的圖像質(zhì)量(在單幀成像時(shí)就，沒(méi)使用這個(gè)模型)。不過(guò)核心求解還是靠SPECAT。總之這個(gè)光譜還是恢復(fù)的很不錯(cuò)的，恒星光譜的預(yù)測(cè)值和實(shí)際用天文光譜儀看到的比較接近。

原文Extended Data Fig. 2

我個(gè)人怎么說(shuō)呢，我還是覺(jué)得引入深度學(xué)習(xí)計(jì)算光學(xué)是比較"可惜"的。如果能包括更多方程組之間求解, 少一點(diǎn)先驗(yàn)，也許更加"真實(shí)"一點(diǎn)? 比如這個(gè)工作中的SPECAT，使用了SDSS的光譜作為訓(xùn)練集，建立深度學(xué)習(xí)模型來(lái)求解光譜。那么對(duì)于超出SDSS參數(shù)空間的光譜難道會(huì)恢復(fù)不了？（SDSS參數(shù)范圍以內(nèi)的我估計(jì)是能恢復(fù)的不錯(cuò)的）。以及對(duì)于某些非常特殊的目標(biāo)，比如類星體會(huì)具有非常復(fù)雜多變的發(fā)射和吸收光譜特征，這時(shí)候還能很好的恢復(fù)嗎？文章中展示的至少都是比較簡(jiǎn)單的常見(jiàn)的光譜（不過(guò)我順便想想其實(shí)平時(shí)天文里拿到光譜后，做模型擬合來(lái)導(dǎo)出物理參數(shù)，又何嘗不是使用了先驗(yàn)的數(shù)據(jù)和模型呢，人家這只是一開(kāi)始就提前用上了先驗(yàn)信息罷了）。

這個(gè)技術(shù)本身還是非常有意思，作為一個(gè)外行的我相信未來(lái)一定有極大的潛力和應(yīng)用價(jià)值，尤其是遙感、地面的多光譜成像等各行各業(yè)的工業(yè)界。這類叫微納光子學(xué)的技術(shù)以后在面向市場(chǎng)的產(chǎn)品中也許也能大放光彩，比如業(yè)余愛(ài)好者也能更方便地使用小型的望遠(yuǎn)鏡拍攝天體的光譜。聽(tīng)說(shuō)這個(gè)芯片還將被用在了10.4米的GTC望遠(yuǎn)鏡上，期待一下效果了。

說(shuō)到這有個(gè)彩蛋，文章中做外場(chǎng)實(shí)驗(yàn)的望遠(yuǎn)鏡是星特朗DX90EQ，淘寶售價(jià)也就1000多，可見(jiàn)小鏡子也能發(fā)《Nature》正刊哈哈。（不過(guò)光譜儀是不是拿個(gè)沒(méi)有色差的反射望遠(yuǎn)鏡更好啊）

微信視頻號(hào)：sph0RgSyDYV47z6

快手號(hào)：4874645212

抖音號(hào)：dy0so323fq2w

小紅書號(hào)：95619019828

B站1：UID:3546863642871878

B站2：UID: 3546955410049087

參考文獻(xiàn)鏈接

對(duì)清華“玉衡”光譜成像芯片原理的個(gè)人理解