深度學習推進高速三維成像技術—無需高速硬件實現(xiàn)萬幀級3D測量
本研究由 Wenwu Chen、Yifan Liu、Shijie Feng、Wei Yin、Jiaming Qian、Yixuan Li、Hang Zhang、Maciej Trusiak、Malgorzata Kujawinska、Qian Chen 和 Chao Zuo 共同完成，研究成果以題為“Dual-frequency angular-multiplexed fringe projection profilometry with deep learning: breaking hardware limits for ultra-high-speed 3D imaging”的論文形式，于2025年8月在《Opto-Electronic Advances》上正式發(fā)表。
重要發(fā)現(xiàn)
01核心貢獻
DFAMFPP 技術的核心突破在于其成功將多幀三維信息編碼至單張復用圖像中，通過結(jié)合雙頻條紋投影結(jié)構與深度學習重建算法，實現(xiàn)了無需高速硬件支持的超高速三維成像。該系統(tǒng)在僅使用625 Hz相機的情況下，成功對轉(zhuǎn)速高達9,500 RPM的渦輪風扇發(fā)動機原型進行了10,000 Hz 的三維動態(tài)捕獲，顯著超越了傳統(tǒng)FPP系統(tǒng)的性能極限。
DFAMFPP 系統(tǒng)基于數(shù)字微鏡器件（DMD）投影系統(tǒng)與科學CMOS相機搭建。其光學投影部分采用多組雙頻條紋對，每組包含高、低兩種空間頻率的條紋，并沿不同角度投射。高頻率條紋用于捕捉細節(jié)信息，低頻率條紋則提供全局相位展開的約束。投影序列以超過相機幀率的速度運行，通過長時間曝光將多幀條紋信息整合至單張圖像中，形成光譜域中特有的同心圓對分布結(jié)構，從而在頻率域?qū)崿F(xiàn)多時刻信息的有效分離。
03深度學習重建流程
圖像重建過程包含三個關鍵步驟：零階分量濾除（ZORNet）、相位分解網(wǎng)絡與數(shù)論相位展開網(wǎng)絡。首先，ZORNet 作為一種學習增強型高通濾波器，有效去除復用圖像中的零頻背景，保留高頻信號成分。隨后，設計了一種空頻混合雙分支神經(jīng)網(wǎng)絡（空間分支與頻率分支），對濾除零階后的復用圖像進行分解，提取出各時刻對應的條紋成分。最后，借助物理信息嵌入的相位分析模塊（PI-AFPA）與數(shù)論相位展開模塊（NT-TPU），結(jié)合可靠性引導補償（RGC）算法，成功恢復出高精度的絕對相位圖，并通過標定參數(shù)和增強型三維重建算法（A3DR）最終輸出三維點云。
04實驗驗證與精度分析
研究團隊通過多個動態(tài)場景驗證了DFAMFPP 的有效性。例如，在對轉(zhuǎn)速約4,800 RPM的四葉片風扇進行拍攝時，系統(tǒng)成功從單張復用圖像中解析出16個連續(xù)時刻的高精度三維模型，清晰呈現(xiàn)出葉片旋轉(zhuǎn)中的形變與位移。在對標準陶瓷球體的定量評估中，該系統(tǒng)在最佳條件下實現(xiàn)了優(yōu)于100微米的測量精度，半徑重建的均方根誤差保持在90–98微米之間，證明其具備高精度的絕對三維測量能力。
創(chuàng)新與亮點
01突破硬件瓶頸的傳統(tǒng)難題
DFAMFPP 最大亮點在于其徹底擺脫了對高刷新率傳感器的依賴，通過計算成像的方法實現(xiàn)了“傳感器幀率之外”的超高速三維成像。傳統(tǒng)FPP系統(tǒng)因受限于硬件同步機制，難以在成本可控的情況下進一步提升采樣率。而DFAMFPP 利用投影器高速切換特性與深度學習算法的協(xié)同，僅用普通相機即實現(xiàn) kHz 級別三維成像，為解決高速動態(tài)測量中的硬件限制提供了全新思路。
在光學編碼方面，本研究創(chuàng)新性地將雙頻條紋與角度復用策略相結(jié)合。每一組雙頻條紋不僅提供了局部細節(jié)與全局約束，還通過改變投影角度進一步提高了信息承載容量。其頻譜分布具備良好的分離特性，使得后續(xù)神經(jīng)網(wǎng)絡能夠更精準地分解各時刻信號，抑制了頻譜混疊問題，增強了對復雜物體及高動態(tài)場景的適應性。
03物理機制與深度學習融合
DFAMFPP 的另一大創(chuàng)新體現(xiàn)在將傳統(tǒng)物理模型與數(shù)據(jù)驅(qū)動方法深度融合。例如，PI-AFPA 模塊融合了傅里葉變換輪廓術（FTP）與相位偏移法的物理先驗，NT-TPU 則引入數(shù)論約束作為 unwrapping 的強引導，使得整個系統(tǒng)在保持高精度的同時，也具備良好的泛化能力與抗干擾性。
總結(jié)與展望
DFAMFPP 作為一項融合光學工程、計算成像與深度學習的前沿技術，成功實現(xiàn)了在無需高速相機條件下的萬幀級三維成像，顯著推動了高速乃至超高速光學測量領域的發(fā)展。其不僅具備高精度、大景深的測量特性，還在系統(tǒng)復雜度和成本控制方面表現(xiàn)出廣泛的應用潛力。盡管目前該方法仍受投影器刷新率上限的制約，且在超高幀率下精度與幀數(shù)間需進一步權衡，但其基本框架已為未來高速視覺感知系統(tǒng)的設計提供了重要借鑒。展望未來，隨著神經(jīng)網(wǎng)絡輕量化、專用硬件加速技術的持續(xù)發(fā)展，DFAMFPP 有望在工業(yè)檢測、生物力學研究、航空航天監(jiān)測等需高時空分辨率三維數(shù)據(jù)的領域發(fā)揮更重要的作用，成為連接科學研究與工程應用的關鍵橋梁。
聲明：本文僅用作學術目的。
Wenwu Chen、Yifan Liu、Shijie Feng、Wei Yin、Jiaming Qian、Yixuan Li、Hang Zhang、Maciej Trusiak、Malgorzata Kujawinska、Qian Chen、Chao Zuo
DOI:10.29026/oea.2025.250021.
