康謀分享 | aiSim5 物理相機傳感器模型驗證方法（一）

更新時間：2024-04-09 點擊次數：1147

摘要：

aiSim5可以實時模擬復雜的傳感器配置，在多GPU分布式渲支持的支持下，aiSim可以渲染20多個攝像頭、10多個雷達和10多個激光雷達在同一環境下運行。aiSim5的實時渲染引擎能夠滿足對物理精確環境和天氣模擬的所有要求，具有決定性和可重復性。

圖1：重建場景

圖2：真實場景

aiSim5基于物理的相機模型將會通過以下方法驗證其與真實世界的相關性。

aiSim 擁有內置的光照度傳感器，因此可以使用光照度傳感器對aiSim的照明模型和材質進行端到端的驗證。

目前我們已經使用安裝在數據收集車的頂部的光照度傳感器進行了測量，如圖3展示的2023年6月光照度變化圖。圖3中的尖峰代表陰影區域，其他變化則是由移動的云層引起的。

圖3

目前正在 aiSim 中重建這一場景并測試這一光照度測量結果。

圖4：真實世界中進行傳感器標定的場景

圖5：aiSim中搭建的用于相機標定車庫場景

圖6

圖7

在進行相機圖像匹配時，使用Color Correction Matrix (CCM) 是一種有效的方法，可以通過對已知相機拍攝的參考照片和aiSim渲染的Macbeth色板圖表進行比較來計算CCM。步驟如下：

準備參考照片：首先，需要一張使用已知相機拍攝的Macbeth色板的照片。Macbeth色板是一個標準化的顏色樣本集，通常用于色彩管理和校準。
獲取aiSim渲染的Macbeth色板：接著，你需要在aiSim中創建一個Macbeth色板的渲染圖。確保渲染環境的光照條件與參考照片盡可能一致，以便更準確地匹配顏色。
應用CCM：計算出CCM后，aiSim可以將其應用于aiSim的圖像輸出，進行顏色校正。
驗證和調整：應用CCM后，比較aiSim輸出的顏色與參考照片的顏色。如果存在差異，可能需要進一步調整CCM的參數或重新計算，直到達到滿意的匹配效果。

通過這種方法，可以確保aiSim的輸出顏色與實際拍攝的照片顏色盡可能一致，從而提高圖像的真實性和準確性。

也可以采用基于物理的渲染（PBR）離線渲染器進行比較，以下是詳細的驗證步驟：

構建相同樣本場景：在aiSim和參考渲染器中構建相同的樣本場景。這包括場景中的所有物體、材質、光照條件等，以確保兩個環境中的變量盡可能一致。
使用相同的相機參數：使用相同的相機外部參數（extrinsic）和內部參數（intrinsic）來拍攝場景。外部參數涉及相機在世界空間中的位置和方向，而內部參數則包括焦距、畸變等相機的屬性。
進行HDR或LDR驗證：無論是高動態范圍（HDR）還是低動態范圍（LDR）驗證，都可以用于比較兩個渲染器生成的圖像。選擇哪種驗證方式取決于場景的光照條件和所需的驗證精度。
比較生成圖像的差異：對aiSim生成的圖像和參考渲染器生成的圖像進行比較。可以通過視覺檢查或使用圖像分析工具來量化差異，如計算顏色偏差、亮度對比度等。
多場景驗證：通過多個不同的場景來驗證系統的不同部分，例如只驗證人工光源，或者只驗證天空和太陽的效果等。可以幫助識別和隔離特定問題，提高驗證的針對性和效率。

以上方法均適用于驗證aiSim相機傳感器模型與現實世界或高精度的離線渲染器的相關性。