8月30日的直播我們邀請了51Sim CEO鮑世強(qiáng)以及清華AIR助理教授趙昊，共同討論當(dāng)前自動(dòng)駕駛仿真難點(diǎn)以及新的方向。

嘉賓精彩發(fā)言及觀點(diǎn)：

• Graphics 改變了整個(gè)動(dòng)畫和游戲行業(yè)，但它不適合做重建；NeRF要直接改變所有的渲染框架，還需要有足夠強(qiáng)的商業(yè)動(dòng)因。

• 無論是規(guī)控仿真還是感知仿真，核心挑戰(zhàn)之一是解決真實(shí)數(shù)據(jù)太死和仿真數(shù)據(jù)太假這兩個(gè)問題。

• 感知仿真關(guān)注的重點(diǎn)是在路面、路上和周圍的交通參與者、以及馬路上的一些標(biāo)識(shí)、道路標(biāo)牌等這些要素的真實(shí)性，道路旁邊一些建筑是不是具有真實(shí)性，其實(shí)不那么重要。

• 我們需要保證采集回來的數(shù)據(jù)本身價(jià)值比較高，否則可能存儲(chǔ)數(shù)據(jù)的成本會(huì)超過數(shù)據(jù)本身的價(jià)值。

• 越往后發(fā)展，仿真越不是數(shù)據(jù)的生成器，而是一個(gè)數(shù)據(jù)倍增器的作用。

• 測試主要兩個(gè)目標(biāo)，一個(gè)是發(fā)現(xiàn)問題，另外一個(gè)是證明沒有問題。

• AIGC核心目的不是為了生成新的數(shù)據(jù)，而是為了幫助用戶更快捷地通過自然語言的方式提高場景制作的效率。

以下為直播聊天實(shí)錄，有所刪減，完整直播視頻請查看「智車星球」視頻號：

1

—

NeRF帶來的新方向

智車星球：傳統(tǒng)的渲染框架和剛剛說到神經(jīng)渲染框架有什么核心的區(qū)別？

趙昊：從CV界的視角來看，Modeling（建模）就是重建物理世界。這個(gè)世界上每個(gè)真實(shí)的物體都對應(yīng)一個(gè)幾何特征，物體本身會(huì)有一些表面的材質(zhì)。這個(gè)世界上有了光，我們有一個(gè)成像模型，通過這些我們就拿到了一張圖片，然后就要去解決 Inverse problem （逆問題）。這件事情從計(jì)算機(jī)視覺誕生的那一刻起，就是一個(gè)圣杯。

早期Graphics（圖形學(xué)）有很多種方式去渲染，最后打贏的一派是適合做動(dòng)畫的和做游戲的，但是這一件東西就是這一套 rendering pipeline （渲染流水線），可能只適合做動(dòng)畫和游戲，但不適合做重建。

所以在2020年的時(shí)候，谷歌的Graphics專家Jon Barron重新把 volume rendering（體積渲染）給了搬出來，這就直接把Inverse rendering（反向渲染）用一種全新的思路去解決了。

而NeRF有一個(gè)比較成功的點(diǎn)在于用一個(gè)MLP就讓大家都明白它是什么意思，所以我覺得Jon Barron的思想比較深刻，他把最后的結(jié)果以大道至簡的形式呈現(xiàn)出來，并觸發(fā)了這一場革命。當(dāng)然從純學(xué)術(shù)史的角度來講，他一開始并不是為了重建，他一開始是為了做Novel view synthesis（新視角合成）。NeRF的volume rendering這個(gè)范式的改變，直接打開了新思路，現(xiàn)在NeRF的formation已經(jīng)各種各樣了。

總的來說，圖形學(xué)改變了整個(gè)動(dòng)畫和游戲行業(yè)，但它不適合做重建。然后inverse rendering被NeRF又給救了回來，進(jìn)而改變了我們?nèi)ニ伎既绾沃亟ㄎ锢硎澜绲姆绞健?/span>但如果NeRF要直接改變所有的渲染框架，改變整個(gè)電影和游戲工業(yè)界，甚至改變GPU的架構(gòu)為它適應(yīng)，我覺得還是比較遙遠(yuǎn)的事情，這更多是一個(gè)商業(yè)行為，要看后面有沒有足夠的商業(yè)動(dòng)因。但我覺得大家對于圖像真實(shí)性的不懈追求肯定一直有，我覺得是慢慢朝著那個(gè)方向改變。

智車星球：自動(dòng)駕駛仿真主要是感知仿真與規(guī)控仿真，從大框架看兩者都包括了仿真場景的建立、仿真執(zhí)行以及仿真評價(jià)，但在具體操作上，二者有哪些區(qū)別？核心的挑戰(zhàn)是什么？

鮑世強(qiáng)：如果大家對測試工作比較了解的話，就知道這個(gè)測試包括單元測試、模塊測試、集成測試等，是一個(gè)從小到大的過程，在不同的開發(fā)環(huán)節(jié)，會(huì)產(chǎn)生不同級別的一些測試。

對于智駕的仿真測試就涉及到感知系統(tǒng)、定位、規(guī)控系統(tǒng)的測試，實(shí)際執(zhí)行上又有比如說軟件層面的測試，一些硬件在環(huán)方面的測試。

所以大多數(shù)情況不能泛泛來講，要看我們到底要測什么，被測物的環(huán)節(jié)越小越集中，測試的針對性越強(qiáng)，如果發(fā)現(xiàn)了一些問題，指向性也非常明顯。

感知系統(tǒng)單獨(dú)的測試，一般通過開環(huán)、回灌的這樣一些方式可能居多，其實(shí)某種程度上來講它其實(shí)很難算仿真，因?yàn)橛谜鎸?shí)數(shù)據(jù)更多一點(diǎn)，當(dāng)然也可以用仿真生成的虛擬數(shù)據(jù)集去做回灌，這也是未來的一個(gè)趨勢。

目前規(guī)控測試更成熟一點(diǎn)，大家對它的確定性并沒有太大的異議。

感知的仿真，我覺得其實(shí)目前還在于比較偏前瞻的領(lǐng)域，現(xiàn)在也有兩種方法，一種基于傳統(tǒng)圖形的方法，另外是基于神經(jīng)渲染NeRF的方式。

兩者的挑戰(zhàn)在于數(shù)據(jù)，無論是規(guī)控仿真還是感知仿真，從我的角度，可以在一個(gè)框架下來理解，可以看作是一個(gè)軸的兩端，一端完全是真實(shí)數(shù)據(jù)，一端完全是虛擬數(shù)據(jù)，然后他們各有優(yōu)缺點(diǎn)，下一步工作是去平衡兩端。

真實(shí)數(shù)據(jù)它是歷史上某一些時(shí)刻的記錄，是一個(gè)比較死的數(shù)據(jù)，怎么讓它具備一定的靈活性是一個(gè)核心挑戰(zhàn)。而仿真數(shù)據(jù)是一個(gè)人造的東西，有的時(shí)候可能跟真實(shí)數(shù)據(jù)有一定的差異，所以我覺得核心挑戰(zhàn)是解決真實(shí)數(shù)據(jù)太死和仿真數(shù)據(jù)太假這兩個(gè)問題。

那么現(xiàn)在的一個(gè)趨勢我覺得是互相滲透的方式，比如把真實(shí)數(shù)據(jù)的某一部分進(jìn)行邏輯化和智能化，以解決真實(shí)數(shù)據(jù)太死的問題。然后依托大量真實(shí)數(shù)據(jù)去做仿真數(shù)據(jù)的合成，解決仿真數(shù)據(jù)太假的問題，我覺得這是兩個(gè)核心的方向。

智車星球：您曾經(jīng)提過關(guān)于感知用仿真場景的構(gòu)建，下一步方向就是程序化生成結(jié)合NeRF重建，這個(gè)方向它有什么樣的好處，又有哪些短板？

鮑世強(qiáng)：可能對現(xiàn)代圖形沒有那么了解的人一般會(huì)質(zhì)疑真實(shí)感，但真實(shí)感首先并不是不可逾越的，比如我們做一個(gè)電影特效，其實(shí)可以達(dá)到非常真實(shí)的效果。但這有另外的一個(gè)問題，成本的問題，我們不可能不考慮成本去談?wù)鎸?shí)感。做感知仿真測試需要生成大量的數(shù)據(jù)，不可能每一個(gè)東西都做得和電影一樣，否則成本上是完全不能承受的。所以會(huì)考慮采用一些新的技術(shù)，比如說用一些程序化生成的技術(shù)。

NeRF這個(gè)方案我認(rèn)為有非常強(qiáng)的顛覆性，甚至對圖形領(lǐng)域都會(huì)產(chǎn)生沖擊，它不僅會(huì)對感知仿真領(lǐng)域帶來一些新的思路和方案，對于傳統(tǒng)的基于圖形的體系架構(gòu)也會(huì)產(chǎn)生一些影響。我認(rèn)為這個(gè)方向非常好，他有一個(gè)非常長的長板式真實(shí)性，潛力非常大，但是目前應(yīng)該還是處于相對比較早期的階段，還需要解決很多的問題。比如性能、動(dòng)靜態(tài)場景的解耦、可編輯性以及生成泛化性等。我覺得NeRF的長板和短板正好跟傳統(tǒng)圖形是比較互補(bǔ)的，所以未來的方向可能是兩者結(jié)合的一個(gè)方案。

說到真實(shí)性，因?yàn)槲覀兪亲鲋邱{感知仿真這個(gè)專門的應(yīng)用落地場景，關(guān)注的重點(diǎn)是在路面、路上和周圍的交通參與者、以及馬路上的一些標(biāo)識(shí)、道路標(biāo)牌等這些要素的真實(shí)性，道路旁邊一些建筑是不是具有真實(shí)性，其實(shí)不那么重要。真正核心還是圍繞路面交通這一特別具體的場景，能否重現(xiàn)一些車道線的涂改變化和破損、路面上出現(xiàn)的一些特種車輛、摩托車?yán)恍┤耍鞣N各樣長尾的小概率場景，光照條件，傳感器的一些工況，比如濺水，臟污，這種特點(diǎn)能不能針對這些具體的場景，發(fā)揮虛擬仿真技術(shù)的放大作用，通過合成數(shù)據(jù)的方式補(bǔ)全充一些訓(xùn)練數(shù)據(jù)，提升感知系統(tǒng)面對這些長尾場景的性能。

這里面有幾個(gè)關(guān)鍵的要素，一個(gè)是場景的真實(shí)感，一個(gè)是場景的多樣性，一個(gè)是傳感器模型的精確性，一個(gè)是成本。如果你要讓我排第一名，我認(rèn)為應(yīng)該是場景的多樣性。傳感器的精度和場景真實(shí)度要求是很高的，但我們可以設(shè)置一個(gè)較高的門檻，過了門檻再往上提升，它的性價(jià)比就會(huì)下降。

這時(shí)候我們要解決的重點(diǎn)問題就轉(zhuǎn)移到怎么樣通過盡量低的成本去解決場景多樣性的問題。NeRF在真實(shí)性方面有很大的幫助，但是多樣性的方面其實(shí)帶來的改變不大，一些生成式AI的方向會(huì)更有幫助。

智車星球：激光雷達(dá)基于物理方式的建模和基于真值加噪聲的建模方式，哪種更適合算法去做測試訓(xùn)練。

鮑世強(qiáng)：我們的方式還是采用實(shí)采，比如實(shí)際的某種品牌的激光雷達(dá)，它的數(shù)據(jù)采過來，看點(diǎn)云是什么樣的，包括它的掃描的方式、強(qiáng)度的映射等。我們還是把激光雷達(dá)當(dāng)做一個(gè)黑盒的方式來做，按物理的方式做也行，但實(shí)時(shí)性很難。

對于數(shù)據(jù)集來講，我還是秉持這樣的一個(gè)觀點(diǎn)，目前還是在精度達(dá)到一個(gè)較高水平的基礎(chǔ)上以最便宜的方式獲得最高的多樣性，實(shí)際上是目前要解決的核心的問題。其他深入的東西也許不要糾結(jié)得過于細(xì)節(jié)，這些可能對實(shí)際的結(jié)果產(chǎn)生的影響并沒有你想象的那么大。

2

—

如何提升數(shù)據(jù)閉環(huán)效率

智車星球：現(xiàn)在大家都在談數(shù)據(jù)閉環(huán)，51Sim其實(shí)也算是數(shù)據(jù)的消費(fèi)者，你們是如何定義數(shù)據(jù)閉環(huán)的？數(shù)據(jù)驅(qū)動(dòng)閉環(huán)仿真的挑戰(zhàn)有哪些？

鮑世強(qiáng)：數(shù)據(jù)閉環(huán)我覺得概念非常大，它涉及到的流程非常長，首先是數(shù)據(jù)的采集，后邊當(dāng)然有很多合規(guī)性的問題，要進(jìn)行脫密脫敏，

然后需要說清楚數(shù)據(jù)本身是什么數(shù)據(jù)，有一些是感知用的，有一些結(jié)構(gòu)化的規(guī)控?cái)?shù)據(jù)，有一些是給定位用的。然后就是數(shù)據(jù)怎么樣去采集和利用。

目前我們碰到的最核心的問題是數(shù)據(jù)的閉環(huán)效率其實(shí)并沒有那么高，絕大多數(shù)的數(shù)據(jù)實(shí)際上沒有任何價(jià)值，然后就變成了怎樣把有價(jià)值的數(shù)據(jù)挑出來并有效利用的問題。這里有很多的問題要去解決，比如說數(shù)據(jù)采集，研發(fā)階段可以全量去采集，量產(chǎn)之后可能要通過觸發(fā)式的方式進(jìn)行采集。我們需要保證采集回來的數(shù)據(jù)本身價(jià)值比較高，否則后期要處理的時(shí)候，如果對數(shù)據(jù)進(jìn)行挑選的效率和機(jī)制不健全，可能存儲(chǔ)這些數(shù)據(jù)的成本會(huì)超過數(shù)據(jù)本身的價(jià)值，這個(gè)就比較悲劇了。

而且，隨著大家智駕水平的不斷提高，有價(jià)值的數(shù)據(jù)比例越低。這就意味著必須提升數(shù)據(jù)的采集、挖掘、有效利用的能力以及數(shù)據(jù)的識(shí)別能力。比如說新的算法可能接口改了或者中間件發(fā)生了變化，怎么樣利用舊的數(shù)據(jù)，提升數(shù)據(jù)靈活性和利用率，我覺得這是一個(gè)長期話題。

比如還是拿NeRF來舉例，我覺得NeRF某種程度上提升了感知數(shù)據(jù)集采和利用的靈活性，因?yàn)樗纫粠粠膱D片靈活性高，我可能換一些視角和傳感器配置，舊的數(shù)據(jù)還是能用。

智車星球：現(xiàn)在的量產(chǎn)的智能駕駛車在路上跑的越來越多了，車企能采集到的數(shù)據(jù)也越來越多，對于仿真來說。是能利用的數(shù)據(jù)變多了嗎？

鮑世強(qiáng)：能利用數(shù)據(jù)是變多了，但仿真實(shí)際上是整個(gè)數(shù)據(jù)閉環(huán)的下游，我們現(xiàn)在的問題不是數(shù)據(jù)太少，而是數(shù)據(jù)太多的問題。

首先仿真你可以理解是一個(gè)數(shù)據(jù)生成器，仿真原本就是做一些場景做一些數(shù)據(jù)。但越往后發(fā)展，它越不是數(shù)據(jù)的生成器，它其實(shí)起到的是一個(gè)數(shù)據(jù)倍增器，或者叫放大器的作用。

比如說我們從真實(shí)世界采集到的corner case，有針對感知的，也有針對規(guī)控的，然后仿真怎樣從這些數(shù)據(jù)出發(fā)去構(gòu)建出更多類似的case，是仿真往后發(fā)展要解決的根本問題。

仿真本質(zhì)上我覺得起到兩個(gè)作用，一個(gè)叫保下限，就是當(dāng)你迭代算法時(shí)，怎么保證改的東西起到正面作用而不是搞壞了其他地方，需要有測試；另一個(gè)就是剛才我說的放大器作用，我們管它叫提上限，當(dāng)碰到了一些case，怎樣在仿真的環(huán)境里重建。當(dāng)然，我們可以先用真實(shí)數(shù)據(jù)去回放重現(xiàn)，然后在此基礎(chǔ)之上看能不能產(chǎn)生一些額外的變化，讓整個(gè)修改做一些局部的覆蓋性，然后更具有代表性，我覺得這是仿真往后發(fā)展的一個(gè)核心思路。

智車星球：合成的數(shù)據(jù)它對比這種真實(shí)采集來的數(shù)據(jù)來說，它的價(jià)值有哪些？

鮑世強(qiáng)：合成數(shù)據(jù)現(xiàn)在討論得很多，但是我覺得憑空合成3D場景這件事還是挺難的。我理解就兩種方式，一種是自然語言生成圖像，然后通過NeRF 把3D的場景創(chuàng)建出來，但這個(gè)圖像怎么保證多視角的連續(xù)性是一個(gè)問題，另外一種方式是直接拿3D模型去做訓(xùn)練。

3D的AIGC方面我認(rèn)為目前還很不成熟，難度也比較大，但是另外的一個(gè)角度其實(shí)也有人在探索，因?yàn)槲覀冏罱K的目的是給比如說智駕的感知算法去進(jìn)行訓(xùn)練或者是測試，那么是否3D場景是必須的？這其實(shí)也是可以探討的，因?yàn)槟愕哪康氖峭瑫r(shí)生成多傳感器的數(shù)據(jù)來完成訓(xùn)練和測試，只是要保障多傳感器數(shù)據(jù)的一致性，還有一些物理的規(guī)律，也可以不構(gòu)建3D場景，完全通過圖像合成的方式去做。

3

—

AIGC助力場景描述

智車星球：現(xiàn)在很多車企也是在做城市NOA，跟之前高速場景下的仿真相比，你們遇見過哪些不同的問題？

鮑世強(qiáng)：既有的規(guī)控仿真體系，一個(gè)是基于數(shù)據(jù)回灌的logSim的體系，一個(gè)是基于WordSim的體系，一般是基于OpenX這樣的一些場景描述語言。

但是進(jìn)入到這個(gè)城市NOA后，場景已經(jīng)非常難以描述，然后純數(shù)據(jù)回放有很多適配性的問題，我覺得整體難度還是要大很多。

OpenX這套體系，我覺得是一套具體場景邏輯場景的體系，對于高速場景來講可能是比較完備的。

從測試的角度來講，測試我覺得有兩個(gè)目標(biāo)，一個(gè)目標(biāo)是發(fā)現(xiàn)問題，另外一個(gè)目標(biāo)其實(shí)更高級，證明沒有問題，這是一個(gè)非常難的目標(biāo)。通過剛才那套體系，試圖在類似于高速這樣的場景達(dá)到這樣的目標(biāo)，當(dāng)然需要非常多的數(shù)據(jù)。但如果在城市的場景，你會(huì)發(fā)現(xiàn)描述場景就變得非常的困難，因?yàn)閰⑴c交互的車非常多。寫出這樣的場景本身對于一個(gè)場景制作的人員來講，是一個(gè)技術(shù)含量非常高的工作，我們需要有新方法新思路

智車星球：AIGC對于場景描述是否是一個(gè)助力？

鮑世強(qiáng)：當(dāng)然是一個(gè)幫助，OpenX動(dòng)態(tài)場景有1.0的體系，有2.0的體系，2.0其實(shí)已經(jīng)是一種類似于領(lǐng)域語言的方式，交互非常復(fù)雜，對于用戶來講，門檻其實(shí)非常高。面向更復(fù)雜的場景時(shí)，交互編輯效率也比較差。

目前GPT的應(yīng)用很廣泛，從自然語言變成這個(gè)領(lǐng)域相關(guān)語言的一些工作，GPT是可以做到的，當(dāng)然可能需要一些比如上下文的保證和輸入，怎么樣和交互式場景的編輯去做結(jié)合，這是我們在做一個(gè)方向。但是核心目的不是為了生成新的數(shù)據(jù)，而是幫助用戶更快捷地通過自然語言的方式提高場景制作的效率。

智車星球：OpenX系列是不是不太適合于去做對抗場景的自動(dòng)生成？

鮑世強(qiáng)：我覺得這是兩個(gè)思路，一個(gè)從測試的角度來講，我們希望兩次測試跑出來的結(jié)果是完全一致，否則這個(gè)測試就沒有確定性，從測試角度來講這其實(shí)是不可以接受的。但是另外一個(gè)角度我們可能會(huì)需要比如說有多智能體交互的智能的行為，可以和你形成一些博弈，這是另外的一個(gè)case。顯然Open體系不太適合做這樣的一個(gè)case。

智車星球：如何去評價(jià)真實(shí)？我們?nèi)搜劭吹降恼鎸?shí)和算法看到的真實(shí)是否是一致的？

鮑世強(qiáng)：目前這個(gè)東西從理論上證明我認(rèn)為難度還是非常大的，我們現(xiàn)在更多的是從實(shí)踐的方向，比如說有多少比例的虛擬數(shù)據(jù)混合進(jìn)來，會(huì)對實(shí)際的性能產(chǎn)生多大的影響，或者我拿虛擬數(shù)據(jù)訓(xùn)練一個(gè)模型，然后去識(shí)別一些真實(shí)的數(shù)據(jù)到大概的性能會(huì)有多少。

同時(shí)我們也在做一些交叉的驗(yàn)證，比如說在測試場的純物理環(huán)境下，實(shí)際構(gòu)建一個(gè)場景去觸發(fā)，然后在虛擬的環(huán)境中1:1還原，去對比結(jié)果。

智車星球：現(xiàn)在的數(shù)據(jù)生成、訓(xùn)練、測試整個(gè)閉環(huán)有沒有可能直接端到端來做？

鮑世強(qiáng)：端到端仿真我們內(nèi)部叫大閉環(huán)仿真，是可以實(shí)現(xiàn)的，但是整個(gè)流程比較長，非常有挑戰(zhàn)性。

現(xiàn)在的車堆料其實(shí)比較嚴(yán)重，動(dòng)不動(dòng)就是11個(gè)攝像頭，如果做端到端的測試，相當(dāng)于要生成11個(gè)攝像頭的原始數(shù)據(jù)，可能還有雷達(dá)，對算力的需求是比較大的。這需要弄一個(gè)很大的臺(tái)架，如果要做規(guī)?；拈]環(huán)仿真，我認(rèn)為整體投入是比較大的。

返回第一電動(dòng)網(wǎng)首頁 >