寫在Lytro十年--雜談光場相機的不足、優勢、應用和展望（上）

Lytro 公司在2011年向市場推出了第一代光場相機，距今已經過去了近十年。 這款號稱“一次拍攝，多次對焦" 的成像設備，在進行首次商業發布之時，在攝影界、科技屆和媒體屆都引發了不小的轟動。 相比於傳統的單反攝影相機，它主打的賣點是不需要繁瑣的對焦和尋找攝影角度，單次拍攝後即可得到不同焦深和角度的照片。 光場相機的發明者、同時也是Lytro的創始人Ren Ng的博士論文獲得了ACM Dissertation Award，而他本人也獲得了"MIT Tech Review's TR35" ,"Fast Company's 100  Most Creative People in Business" ,"Silicon Valley Journal's 40 under  40" 等一係列稱號。光場相機可謂一時風光無限，在被譽為一項顛覆性的技術發明的同時，甚至有人視其為單反相機的曆史終結者。

然而十年過去了，負責研發、推廣這款產品的公司Lytro在2018年以宣布倒閉告終，公司的CEO、同樣也是這款相機的發明人Ren Ng選擇了重回學術界任職，成為UC Berkeley的一名教授。這款相機經曆了嚴重的高開低走，就如同消失在了消費者的視野一般。

盡管在To C端， 光場相機的表現可謂慘不忍睹，使用者的反饋也是惡評如潮，但是在To B端和學術界，光場相機依然延續著比較旺盛的生命力，不僅學術文章在陸續的被發表，拓展光場相機的應用範圍，同時國內外少數科技獨角獸也將該技術在某些應用領域進行落地(比如德國的Raytrix和國內的上海草莓视频污污污污科技，他們可謂是光場成像在工業應用領域的兩大領頭羊）

甚至有基於光場成像的技術發明獲得了國家重大科技進步獎項，世界最頂級學術期刊上也可以見到它的身影（比如清華深圳研究生院的戴瓊海課題組，在光場成像的生物醫學顯微應用上，有著較大的影響）。
這種仿佛是一個技術，在經曆著某種興衰變革，在技術史上不乏某種技術幾起幾落的興衰交替的現象，驅使著學界和業界的人們一哄而上、一哄而散，不斷參與或者離開某個技術領域。

就光場相機而言，本文試圖從純技術角度去回答一個對該現象反思式的問題： 光場相機的優勢和劣勢在哪那裏？什麽原因使得它被消費者拋棄的同時卻又在工業屆延續著自己的生命？ 落地應用的現狀如何？  本文既是自問自答，也是拋磚引玉，希望各位從事本行業的看官，能多多發表自己的高見。

一、不足篇

欲揚先抑，回顧該設備的不足，也是對光場相機在To B市場逐漸被拋棄的一個回顧和解釋。光場相機由於其本身的硬件構造，無法避免的存在三大先天缺陷。
1. 空間分辨率低

光場相機結構（源於《基於仿生視覺的單相機光場成像及3-3維直接轉換基礎》）

由於光場相機為了采集不同視角的信息，在CCD前放置了一個微透鏡陣列。但是相機可以采集的總信息量卻是受限於成像芯片上CCD像素的尺寸和數目，角度信息和空間信息的關係可以簡單描述為：

兩者相互折中和製約，如同我在另一個回答所指出的，單個視角下的光場圖像的大小，等於微透鏡陣列中微透鏡的個數，由於單個微透鏡下的像素數目介於100到200之間，因此微透鏡個數相當於原始CCD像素數目的100倍級別的壓縮，對於一個1000萬像素的光場相機，經過視角信息的折中壓縮後，得到的單視角有效像素數目，居然隻有十萬像素量級！ 相比起傳統單反相機幾千萬像素的纖毫畢現, 這個數量級的空間分辨率，對用於攝影的消費者而言如同玩具。這也是光場相機在消費者市場遇冷到消失的最大因素。即使Lytro後續推出了2.0代光場相機，以進一步壓縮角度分辨率的方式來提高空間分辨率，上述問題，依舊沒有得到徹底的解決。不過，這個缺陷應該辯證看待，角度信息和空間信息的相對取舍，取決於應用場景。

2. 基線過短
基線問題的長短問題，消費者對其不敏感，然而在宏觀成像和測量領域，比如航空攝影測繪、雙目立體視覺、衛星遙感成像，卻是一個及其重要的參數。

基線和視差關係示意圖

在多目視覺中，圖像接受者（人，機器）對於深度信息的感知，源於目標在不同相機（眼睛）上的視差，視差大小隨著目標物離相機的距離變化。相機之間的距離長度被稱為基線長度，在同等距離條件下，基線長度越大，則視差越大，對深度的分辨能力也越高。

對於雙目視覺，它的基線長度可以由大致平行布置的兩個相機之間的間距表示，而對於光場相機，它的基線長度如何計算？如下圖所示，因為每個微透鏡都記錄著入射點光源的一部分信息，此時你把每個微透鏡都當成是一個小相機，那麽你就可以直觀的得到答案，由於多個”小相機“的存在，光場相機存在多個基線，但是光場相機的最大基線長度，是被點亮的間隔最遠的兩個微透鏡的距離。 但是這個基線長度，存在兩個特性：首先是基線長度隨著點光源的離焦距離變化，離焦平麵近的時候，隻有少數個微透鏡下被點亮，因此最大基線長度比較短，但是離焦平麵遠的時候，更多的微透鏡被點亮，最大基線長度變大（這也是光場相機在焦平麵附近，景深分辨率最差的原因）；盡管如此，微透鏡的基線長度，無法超過CCD芯片尺寸本身。

這種差距，和雙目視覺對比，尤其明顯，比如上圖右邊的光場基線長度，大致在2~3個微透鏡的直徑左右。由於光場相機的基線過短，在被測物距離較遠的情況下，深度分辨率將會受到很大限製。

3. 相機的動態範圍HDR被壓縮
利用上一個點光源的分析案例可以發現，當點光源在焦平麵附近時，隻有少數微透鏡被點亮，必然有更多的光能量，集中到少數CCD上；當點光源離焦平麵院時，多個微透鏡被點亮，即點光源的能量分布更加分散。 在這種條件下，為了讓相機CCD不過曝或者過暗，被拍攝物體的亮度隻能在一個比較小的動態範圍內，使得物體離焦近時不至於過曝，離焦遠時不至於過暗。

點光源離焦平麵不同距離時的能量分布

上述三大問題，嚴重限製著光場相機的應用領域，也是光場相機在過去十年，不被消費者所接納的主要原因。然而，寸有所長，尺有所短，在To B端以及學屆，光場相機卻有著諸多獨特優勢，能完成傳統成像設備所不能的任務。 上述三大不足，在這些應用領域，都得到了相應的克服和一定程度的解決。此外，以動態的目光看，隨著像素尺寸的縮小、芯片上像素數目的增長、更高動態範圍芯片的出現（甚至有些芯片號稱，開發了永遠不過曝的技術），上述問題有望得到根本性的解決。

技術的興衰往往如此，峰回路轉又一村，吸引著每一個十年中的人們”Boom and Bust“。