開發無需人類駕駛即可安全運行的車輛一直是人工智能研究領域的主要目標。由于僅在真實街道上測試自動駕駛車輛既不安全也不可行，因此其基礎算法必須要在仿真中進行廣泛的訓練和測試。

圖片來源：arXiv

盡管近年來用于訓練自動駕駛模型的仿真平臺有了顯著改進，但它們仍然存在各種局限性。仿真技術主要分為兩種：開環方法和閉環方法。開環方法中，輸出（即模擬車輛的行動或響應）不會影響未來的輸入數據，而閉環方法則是輸出會影響后續輸入，產生自適應循環。

開環仿真技術通常更容易實現，但它們無法適應被測試模型在仿真中的變化或錯誤。相比之下，閉環方法能更好地反映動態的現實環境，從而可以更準確地評估系統的性能，但其對計算的要求也更高，而且并不總是能呈現復雜的機動和新的車輛軌跡。

據外媒報道，來自極佳科技（GigaAI）、北京大學（Peking University）、理想汽車（Li Auto）和中國科學院自動化研究所（CASIA）的研究人員最近開發出一種新方法，旨在提高仿真中的駕駛場景重建能力。相關研究發表在arXiv預印本服務器上，概述了這種方法的基本工作原理——將自動駕駛世界模型的知識逐步整合到場景中。

Chaojun Ni、Guaosheng Zhao及其同事在論文中寫道：“閉環仿真對端到端自動駕駛至關重要。現有的傳感器仿真方法（如NeRF和3DGS）可根據密切反映訓練數據分布的條件重建駕駛場景。然而，這些方法在渲染新的軌跡（如變道）方面存在困難。”

最新針對訓練和測試模型的駕駛場景渲染的研究發現，整合來自世界模型的知識可以改善新軌跡的渲染。雖然一些整合世界模型的方法取得了有希望的結果，但它們往往無法準確渲染特別復雜的機動，如多車道變換。

Chaojun Ni及其同事的主要研究目標是開發一種可以改善這些動作渲染的新方法。他們提出的解決方案名為“ReconDreamer”和“Drive Restorer”，旨在通過訓練世界模型逐步減輕復雜駕駛機動渲染中的不良效果。

Chaojun Ni、Guaosheng Zhao及其同事寫道：“我們推出了ReconDreamer，它通過逐步整合世界模型的知識來增強駕駛場景的重建。具體來說，DriveRestorer通過在線修復來減輕偽影，并配有漸進式數據更新策略，確保更復雜動作的高質量渲染。”

研究人員已經進行了各種測試，以評估他們的方法在改進駕駛場景渲染方面的能力。測試結果非常有希望，因為研究人員發現ReconDreamer可以增強復雜機動渲染的質量，同時改善場景中元素的時空連貫性。

研究人員寫道：“據我們所知，ReconDreamer是首個有效渲染大范圍機動的方法。實驗結果表明，ReconDreamer在NTA-IoU、NTL-IoU和FID方面的表現優于Street Gaussians，分別提高了24.87%、6.72%和29.97%。此外，ReconDemaner在大范圍機動渲染中超越了使用PVG的DriveDreamer4D，NTA-IoU指標相對改善了195.87%，并且通過綜合用戶研究得到了驗證。”

該研究團隊提出的新駕駛場景重建方法很快可用于改進自動駕駛計算模型在仿真中的訓練和評估。此外，它還能激發類似技術的發展，以增強復雜場景的渲染，包括可用于評估機器人和其他應用模型的場景。