2024成都車展期間，有一場(chǎng)針對(duì)理想汽車智駕研發(fā)團(tuán)隊(duì)的圓桌訪問(wèn)，受訪者為理想汽車智能駕駛研發(fā)副總裁郎咸朋和理想汽車智能駕駛高級(jí)算法專家詹錕。2個(gè)小時(shí)時(shí)間里，與會(huì)記 者和受訪者貢獻(xiàn)了一場(chǎng)坦率、專業(yè)的對(duì)話，不僅討論了理想汽車對(duì)智能駕駛的核心認(rèn)知，也討論了智能駕駛和人工智能的前景。

本文根據(jù)訪談?dòng)涗涀龅恼?，為便于讀者理解，重新做了段落梳理，刪減了小部分冗余內(nèi)容。全文較長(zhǎng)，且有許多專有名詞和新概念，但對(duì)于關(guān)心智駕的讀者來(lái)說(shuō)，這是一篇有價(jià)值的訪談。從中不僅可以看到智駕領(lǐng)域正在展開的激動(dòng)人心的探索，也可以看到理想汽車這家公司的價(jià)值觀和方法論。

理想汽車智能駕駛研發(fā)副總裁 郎咸朋 理想汽車智能駕駛高級(jí)算法專家 詹錕

端到端之爭(zhēng)：1和2的區(qū)別到底是啥？

Q1：One Model端到端是如何實(shí)現(xiàn)的？相比其他的分段式端到端的區(qū)別？

詹錕：我們是傳感器的輸入做編碼，然后交給統(tǒng)一的Transformer Decoder網(wǎng)絡(luò)做輸出。它的輸出分為幾個(gè)維度，一個(gè)是感知信息的輸出，感知信息可以用來(lái)做顯示，跟駕駛員做交互。另一個(gè)是輔助監(jiān)督，讓這個(gè)模型收斂得更快。

另一個(gè)更重要的就是直接輸出的軌跡，我們這個(gè)軌跡交給了一個(gè)控制模塊，控制模塊會(huì)做安全校驗(yàn)，最后轉(zhuǎn)成油門開度、方向盤轉(zhuǎn)角，最后輸出出來(lái)。整個(gè)模型架構(gòu)其實(shí)非常簡(jiǎn)單，不是特別復(fù)雜的架構(gòu)，而是一個(gè)非常簡(jiǎn)潔清晰的架構(gòu)。我們更多是通過(guò)數(shù)據(jù)，通過(guò)配比，通過(guò)訓(xùn)練策略調(diào)整One Model端到端的效果。

郎咸朋：相比其他的分段式、分模塊最大的優(yōu)點(diǎn)是模型在進(jìn)行推理的時(shí)候所有的信息是一手信息。如果是分段式的，上游是個(gè)感知，下游是個(gè)規(guī)劃，最終車開的好不好還是要看規(guī)劃，規(guī)劃來(lái)的信息不是一手的，感知如果出了問(wèn)題，規(guī)劃拿到的信息可能就是有瑕疵的，或者有錯(cuò)誤的。模型就算訓(xùn)練的再好，輸入不好，規(guī)劃還是會(huì)存在問(wèn)題，這是最大的區(qū)別。

One Model有沒有它的問(wèn)題呢？有，它的訓(xùn)練難度非常大。來(lái)的是原生數(shù)據(jù)，出來(lái)的是些軌跡線，這樣一聽就感覺不太好訓(xùn)練。第二就是數(shù)據(jù)。理想有非常好的訓(xùn)練數(shù)據(jù)，我們有非常多的視頻訓(xùn)練片段，我們有22億公里訓(xùn)練數(shù)據(jù)，今年年底將達(dá)到30億公里，但是30億公里不會(huì)都用來(lái)訓(xùn)練。因?yàn)槲覀儠?huì)挑選那些老司機(jī)的數(shù)據(jù)，就是開的好的，什么叫開的好？我們有幾個(gè)維度，比如他平時(shí)的駕駛習(xí)慣，是不是總是急加速、急減速，包括總是開出AEB來(lái)，這種數(shù)據(jù)肯定我們就不要了。我們給每個(gè)司機(jī)都打了分，現(xiàn)在理想90萬(wàn)車主，大概有3%的司機(jī)，可以被我們?cè)u(píng)價(jià)成老司機(jī)。也就是說(shuō)22億公里里邊我們能拿來(lái)訓(xùn)練的是優(yōu)中選優(yōu)的一些數(shù)據(jù)，但其他的企業(yè)我不知道他們有沒有這些數(shù)據(jù)可以選，甚至有沒有這些數(shù)據(jù)，這種情況下要訓(xùn)練的話，分段式或者模塊化是更好的選擇。

詹錕：分段式和One Model的區(qū)別我再補(bǔ)充一個(gè)比較形象的例子。因?yàn)榉侄问街攸c(diǎn)是中間要傳出一個(gè)信息給下游規(guī)劃這個(gè)模型，它傳出的信息一定是有損的，因?yàn)槲乙獙?duì)中間信息做一個(gè)設(shè)計(jì)。比如說(shuō)這個(gè)車的3D位置，它的朝向、它的偏向轉(zhuǎn)角在哪里，我要給它一個(gè)結(jié)構(gòu)化信息的描述，但是這樣的描述一定是有損的，因?yàn)檫@是加了人類先驗(yàn)信息的。比如它是一個(gè)渣土車，渣土車在掉渣和沒掉渣對(duì)于駕駛來(lái)說(shuō)會(huì)有明顯的不同。但是在分段式里面很有可能把這些信息丟掉了，只有完全One Model，才能把這種隱晦的信息徹底理解，才讓車駕駛的更像老司機(jī)。分段式的是Two Model，會(huì)導(dǎo)致中間的信號(hào)是有損的，這個(gè)有損信號(hào)和無(wú)損信號(hào)比，規(guī)劃不能給出很好的決策。

Q2：One Model模型怎么優(yōu)化？只能靠?jī)?yōu)質(zhì)數(shù)據(jù)嗎？系統(tǒng)本身是否會(huì)有調(diào)整？

詹錕：我們現(xiàn)在用數(shù)據(jù)大幅訓(xùn)練模型。微博上有人總結(jié)我們?nèi)齻€(gè)版號(hào)的含義。第一個(gè)版號(hào)是數(shù)據(jù)，1表示100 萬(wàn)量級(jí)的clips；2表示200萬(wàn)的clips。第二個(gè)版本號(hào)是模型結(jié)構(gòu)。所以優(yōu)化不只是依靠數(shù)據(jù)，模型結(jié)構(gòu)也很重要，里面有各種細(xì)分類型，比如Cross Attention、Self Attention，我們?cè)谶@方面會(huì)做各種各樣的設(shè)計(jì)和實(shí)驗(yàn)，所以第二個(gè)版號(hào)有各種變化。訓(xùn)練策略也會(huì)發(fā)生變化，模型訓(xùn)練一遍就結(jié)束，還是訓(xùn)練一遍以后把重點(diǎn)那點(diǎn)挑出來(lái)，再重新訓(xùn)練一遍？還是先訓(xùn)練一部分，再做精選數(shù)據(jù)的訓(xùn)練。這些都是在大模型訓(xùn)練過(guò)程中，我們逐漸積累的經(jīng)驗(yàn)，肯定不是僅用數(shù)據(jù)來(lái)迭代。

端到端、VLM和世界模型的關(guān)系？

Q3：大家頻繁的把世界模型引入到自動(dòng)駕駛，但大家的理解都不一樣，想了解理想對(duì)這個(gè)模型定義是什么？以及和系統(tǒng)1、系統(tǒng) 2 是怎么去配合？世界模型的上限像人類認(rèn)知世界，難度很高，那在自動(dòng)駕駛領(lǐng)域怎么去定義？

詹錕：大家對(duì)世界模型的說(shuō)法、理解和概念都有很大的差異，就和端到端一樣。世界模型最早來(lái)自諾貝爾圖靈獎(jiǎng)獲得者楊立昆，他提出這個(gè)模型意思是，在這個(gè)模型中能夠想象未來(lái)會(huì)發(fā)生什么，即我對(duì)物理世界有個(gè)虛擬的抽象，根據(jù)現(xiàn)象可以知道未來(lái)會(huì)做什么事情。

對(duì)我們來(lái)說(shuō)，是想把世界模型用在自動(dòng)駕駛中，我們的世界模型主要是用來(lái)做一個(gè)完整的驗(yàn)證系統(tǒng)。這就是對(duì)未來(lái)的抽象，我們把所有路上遇到的場(chǎng)景和未來(lái)可能會(huì)發(fā)生的交互，甚至各種危險(xiǎn)情況，都模擬在了一個(gè)模型里。

這個(gè)模型會(huì)對(duì)我當(dāng)前所有的行為做出下一刻的預(yù)判，這樣的預(yù)判可以幫助我們驗(yàn)證這個(gè)模型是不是對(duì)的。所以我們想把模型用在我們整個(gè)自動(dòng)駕駛校驗(yàn)系統(tǒng)上，這也是我們做這個(gè)世界模型的初衷。對(duì)于我們來(lái)說(shuō)，我們想把世界模型在云端驗(yàn)證系統(tǒng)上用的更高效，系統(tǒng)1、系統(tǒng)2其實(shí)是在做驗(yàn)證、做校驗(yàn)。系統(tǒng)1和系統(tǒng) 2 是一個(gè)超級(jí)大的模型，它的校驗(yàn)是最重要的一個(gè)環(huán)節(jié)。衡量標(biāo)準(zhǔn)就是，看你校驗(yàn)是不是準(zhǔn)，是不是快。

郎咸朋：世界模型對(duì)系統(tǒng)1和系統(tǒng) 2 來(lái)說(shuō)，最大作用是提供一個(gè)訓(xùn)練和測(cè)試的場(chǎng)地。原來(lái)是這個(gè)場(chǎng)地放在真實(shí)的世界里面，我們把世界弄到模型。在世界模型里，我們的測(cè)試、錯(cuò)題、真題，都在這個(gè)世界模型中進(jìn)行訓(xùn)練。

Q4：端到端+VLM兩個(gè)系統(tǒng)怎么配合？未來(lái)的發(fā)展是什么樣的？

詹錕：VLM在車上類似于GPT，各個(gè)系統(tǒng)模塊都會(huì)找它問(wèn)問(wèn)題，車機(jī)會(huì)問(wèn)它，有個(gè)高架橋是不是要在橋下走？如果不是的話VLM可以跟車機(jī)進(jìn)行交互，輸出軌跡進(jìn)行切換。端到端問(wèn)它當(dāng)前在這個(gè)路口走到了左轉(zhuǎn)人行道上，能不能沿左轉(zhuǎn)走，還是違背路徑，沿著其他方向走，這種復(fù)雜路況VLM都需要做判斷。各個(gè)模塊會(huì)問(wèn)VLM，同時(shí)VLM也會(huì)自己判斷情況，比如遇到比較復(fù)雜的路況，如施工坑洼等，VLM會(huì)主動(dòng)給端到端系統(tǒng)發(fā)信號(hào)，端到端收到減速信號(hào)，或者是一個(gè)注意安全的信號(hào)，會(huì)把文字信息會(huì)變成一個(gè)embedding，就是把它變成一個(gè)特征向量編碼，放到端到端模型里，最后端到端模型對(duì)應(yīng)采取減速策略或者避讓策略，輸出軌跡。

同時(shí)還有一些情況，比如我們告訴端到端這個(gè)地方是公交車道不能走，那端到端在輸出軌跡的時(shí)候就不會(huì)向公交車道這個(gè)方向去。通過(guò)各種語(yǔ)言文本信號(hào)的配合，讓端到端能聽懂VLM的相關(guān)建議值。

VLM 相當(dāng)于教練一樣，旁邊有個(gè)這樣的司機(jī)告訴你，這里要注意車輛減速，車輛預(yù)判駕駛，但具體怎么踩剎車，這個(gè)會(huì)讓端到端去判斷，但是VLM會(huì)給出相關(guān)的建議，甚至踩剎車程度的建議也會(huì)給。

Q5：現(xiàn)在端到端在不同城市的表現(xiàn)不一樣，會(huì)針對(duì)不同城市來(lái)做不同模型嗎？還是說(shuō)會(huì)在一個(gè)模型上不斷地去調(diào)優(yōu)？

詹錕：首先，模型在不同城市有不同表現(xiàn)，這并不代表我們要對(duì)不同城市下發(fā)不同模型，讓模型獲得不一樣的錯(cuò)題。而是說(shuō)在世界模型的評(píng)測(cè)體系下，能夠精準(zhǔn)地知道這個(gè)模型在不同城市是什么表現(xiàn)，便于我們對(duì)其做有針對(duì)性的分析。

比如在過(guò)去的Case里，杭州和廣州偏弱，那么對(duì)應(yīng)補(bǔ)足杭州、廣州的一些特定場(chǎng)景，加入訓(xùn)練數(shù)據(jù)中，放到模型中，讓模型有全面的提升，所以模型迭代的過(guò)程并不是盲目的。如果我們不知道產(chǎn)品在不同城市的表現(xiàn)，我們就會(huì)盲目地尋找全國(guó)各地的數(shù)據(jù)，最后實(shí)車體驗(yàn)時(shí)用戶發(fā)現(xiàn)杭州還是不行。這樣的結(jié)果就是迭代效率非常低，訓(xùn)練數(shù)據(jù)量增加并沒有效果，這就是大家都在說(shuō)的大模型需要高質(zhì)量數(shù)據(jù)。有精準(zhǔn)的評(píng)測(cè)才能提高質(zhì)量，而不是盲目增加數(shù)據(jù)量。

不同城市不同模型的效果其實(shí)是我們非常好的一個(gè)特點(diǎn)，能知道很細(xì)節(jié)的評(píng)測(cè)維度，不同模型我們有很多維度。在不同城市，還能知道它更細(xì)分的情況，讓我們更有針對(duì)性。比如是不是因?yàn)閺V州的高架橋特別復(fù)雜，是不是杭州的可變車道特別復(fù)雜才導(dǎo)致端到端的表現(xiàn)不如其他城市，我們是通過(guò)這種方式迭代我們的智能駕駛。最終，我們肯定最后會(huì)把一個(gè)在全國(guó)都非常均衡的智能駕駛推送給用戶。

Q6：大家都在探索自動(dòng)駕駛，目前沒有一個(gè)共識(shí)方案。所以理想端到端+VLM進(jìn)入市場(chǎng)的同時(shí)，還會(huì)不會(huì)有其他探索？關(guān)于智能駕駛的短期目標(biāo)，或者最終目標(biāo)是怎么樣？

詹錕：第一個(gè)事實(shí)是，大家都在研發(fā)階段、嘗試階段，我們之所以敢把目前的版本推送給用戶，是因?yàn)槲覀冇X得可以類比CNN（卷積神經(jīng)網(wǎng)絡(luò)）時(shí)期，當(dāng)時(shí)因?yàn)橐粋€(gè)競(jìng)賽，CNN的性能優(yōu)化了10%左右，性能和安全體驗(yàn)得到了大幅提升。

第二個(gè)事實(shí)是，在這個(gè)過(guò)程當(dāng)中，不同數(shù)據(jù)、不同的模型結(jié)構(gòu)、不同的訓(xùn)練方法，對(duì)模型的迭代都有幫助。這其實(shí)是各家都在做的一個(gè)關(guān)鍵，解決數(shù)據(jù)和訓(xùn)練算力的基礎(chǔ)問(wèn)題之后，我相信我們，包括特斯拉都能成功煉丹。但是煉丹第一步就是得有原材料，當(dāng)原材料得到解決，煉丹的比例調(diào)整好，這個(gè)丹的作用才大。

類似于以前煉火藥，按照一硝二磺三木炭的比例來(lái)，火藥的威力就大，如果1:1:1做出來(lái)的就是“呲花”，這就是各家在迭代過(guò)程當(dāng)中的一些技術(shù)訣竅。我們和用戶共同成長(zhǎng)，所以我們也需要知道每一套模型實(shí)際的表現(xiàn)如何，我們內(nèi)部有自己的測(cè)試，如果表現(xiàn)不好就會(huì)內(nèi)部消化，這種模型就不讓去用戶使用，但是每當(dāng)模型有迭代、有提升的時(shí)候，我們都會(huì)拿給用戶去進(jìn)行測(cè)試、驗(yàn)證，這是我們研發(fā)過(guò)程當(dāng)中的一些迭代。

關(guān)于下一代方案，不知道大家有沒有看上周智元的發(fā)布會(huì)，智元展示了G1到G5的具身智能過(guò)程。其實(shí)我們內(nèi)部也有自動(dòng)駕駛整個(gè)研發(fā)過(guò)程的階段，我認(rèn)為在現(xiàn)階段，無(wú)論是對(duì)于理想汽車來(lái)說(shuō)，還是對(duì)于特斯拉來(lái)說(shuō)，其實(shí)都是在向雙系統(tǒng)方向發(fā)展。

所以端到端肯定是一個(gè)非常好的階段，我們認(rèn)為已經(jīng)達(dá)到了L3。我們想進(jìn)一步向L4發(fā)展，其實(shí)就是需要端到端+VLM雙系統(tǒng)，我們認(rèn)為這是面向L4的一個(gè)終局方案。那再往后，L4不是終局的話，我們還有L5，像智元發(fā)布的G5一樣，我們肯定還會(huì)有一體化的、超大規(guī)模的統(tǒng)一模型，像GPT-4o模型。未來(lái)，肯定要把兩個(gè)模型合在一起，實(shí)現(xiàn)手腦完全結(jié)合的大模型方案，這是我們之后要嘗試，要探索的東西。

端到端以后，怎么解決安全問(wèn)題？

Q7：目前所有的車企能夠量產(chǎn)車型都是L2級(jí)輔助駕駛，理想汽車端到端+VLM怎么保證保證智駕的安全？

郎咸朋：從流程上來(lái)講，內(nèi)部主要研發(fā)流程分為產(chǎn)品交付研發(fā)流程以及智能AI的研發(fā)流程，兩個(gè)流程相互配合。

端到端+VLM這套技術(shù)系統(tǒng)在一個(gè)月的測(cè)試過(guò)程中，雖然開啟城市NOA功能始終是通過(guò)撥兩次方向盤桿，實(shí)現(xiàn)從A點(diǎn)到B點(diǎn)的智能駕駛，但是模型迭代的能力卻在不斷提升。在模型迭代的時(shí)候，整個(gè)功能跟原來(lái)完全一樣，所以這個(gè)功能之前做的測(cè)試仍然有效。對(duì)于這個(gè)能力的表現(xiàn)，我們用生成和重建的方式做模型的泛化測(cè)試和檢驗(yàn)，比實(shí)車在全中國(guó)駕駛測(cè)試好得多。這是我們?cè)?AI 時(shí)代到來(lái)之后，對(duì)于產(chǎn)品研發(fā)的深度思考，從而帶來(lái)的研發(fā)變化。

安全另外一層含義就是：怎么能在產(chǎn)品交付之前，做更多更有效的測(cè)試。如果用實(shí)車做測(cè)試，一方面是成本，另一方面是是測(cè)試效果可能達(dá)不到交付有監(jiān)督自動(dòng)駕駛的程度，特別是當(dāng)模型迭代比較迅速的時(shí)候。

我們現(xiàn)在用Diffusion Transformer技術(shù)，再加上3DGS技術(shù)，能夠把曾經(jīng)遇到過(guò)錯(cuò)題以及遇到過(guò)的場(chǎng)景，舉一反三地形成模擬題，實(shí)現(xiàn)不斷地測(cè)試模型能力，不斷地優(yōu)化各個(gè)城市表現(xiàn)。

我們?cè)诿恳粋€(gè)維度上都有非常嚴(yán)格的打分，比如安全、法律法規(guī)等維度。如果不安全、不合規(guī)，模型就不能交付給用戶?，F(xiàn)在在千人團(tuán)內(nèi)測(cè)階段，還沒有到量產(chǎn)階段，所以在安全、合規(guī)方面的要求會(huì)更加嚴(yán)格，確保我們的產(chǎn)品是一個(gè)安全可靠的產(chǎn)品。

詹錕：我從技術(shù)角度來(lái)說(shuō)，我們有安全兜底模塊，甚至有些東西我們會(huì)保證它有絕對(duì)的下限。以前寫了很多規(guī)則應(yīng)對(duì)不同的場(chǎng)景，但是現(xiàn)在只需要寫下限的規(guī)則，上限全靠端的端 、VLM去捕捉，甚至有些防御性駕駛，VLM都可以提前告訴系統(tǒng)，比如丁字路口、坑洼小路等，這些都在一定程度上提升了系統(tǒng)安全性。無(wú)論是數(shù)據(jù)還是算法，都是在把安全性往上提升。并不是大家說(shuō)的那樣，用端到端了安全就差了，這是針對(duì)設(shè)計(jì)不完善的一種想法。

另外，AEB/AES 其實(shí)是在最極端的情況下，最兜底的一種保證絕對(duì)安全的方式。這就是用算法、冗余一起來(lái)解決安全問(wèn)題。

Q8：現(xiàn)在從生成到輸出，對(duì)于傳感器包括數(shù)據(jù)需要有一些質(zhì)量監(jiān)測(cè)，這個(gè)過(guò)程中如果出現(xiàn)惡意攻擊，甚至說(shuō)出現(xiàn)各種故障，這種情況理想汽車怎么解決這數(shù)據(jù)安全的問(wèn)題？

詹錕：面對(duì)數(shù)據(jù)被污染或者傳感器遭受惡意攻擊，以及對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)抗性破壞，我們已經(jīng)將這種情況涵蓋到整個(gè)網(wǎng)絡(luò)訓(xùn)練過(guò)程中。

模型訓(xùn)練并不是針對(duì)單一的傳感器，比如一個(gè)傳感器損壞，我們能夠通過(guò)BEV解決。即使在雨天某個(gè)傳感器臟污的很厲害，我們依然能穩(wěn)健駕駛，同時(shí)能給用戶對(duì)應(yīng)提醒，會(huì)告訴你找個(gè)安全的地方停車，不會(huì)讓系統(tǒng)直接失效。

因?yàn)橛蠷adar、Lidar等多個(gè)傳感器，各個(gè)傳感器在不同環(huán)境下能冗余互補(bǔ)，單一的攻擊很難起效，這就是為什么很難有單一的攻擊策略能讓智駕系統(tǒng)失效，因?yàn)樵诩夹g(shù)上做了很多防護(hù)。

算法、算力和數(shù)據(jù)的關(guān)系？

Q9：目前，理想AD Max由兩顆OrinX來(lái)支撐現(xiàn)在測(cè)試的能力開發(fā)，端到端方案對(duì)車端算力的要求是什么樣的？未來(lái)隨著Thor上車端到端會(huì)不會(huì)變得更加強(qiáng)大？算法、算力和數(shù)據(jù)究竟是個(gè)什么樣的關(guān)系？

詹錕：各家在使用算法的時(shí)候，都會(huì)跟自己的硬件做匹配，無(wú)論是用地平線方案，還是Orin方案。雙OrinX可以完美適配我們的雙系統(tǒng)方案，如果要給出一個(gè)固定的上限，不是很好直接預(yù)測(cè)或配置。但是我們可以知道，隨著算力增加，整個(gè)能力是一個(gè)非常線性的增加，包括特斯拉也證明了12.5版本比12.3提升了五倍，這也完美符合這種大模型的Scaling Law。

對(duì)我們來(lái)說(shuō)，到Thor階段我們肯定會(huì)有一個(gè)更大規(guī)模數(shù)據(jù)量訓(xùn)練的端到端大模型，效果會(huì)進(jìn)一步提升。我們可以看到它的趨勢(shì)，我們會(huì)基于芯片對(duì)它進(jìn)行相關(guān)算法的定制化調(diào)整；同時(shí)模型規(guī)模越來(lái)越大，最后產(chǎn)出的端到端效果會(huì)越來(lái)越好。

另外，其實(shí)也可以看到特斯拉現(xiàn)在正在宣傳2026年要做一個(gè)AI5的芯片，大概有3,000到4,000TOPS的水平，這個(gè)階段是他在做Robotaxi的一個(gè)想法。我們也在持續(xù)關(guān)注高算力的車端芯片的性能。

郎咸朋：我補(bǔ)充一點(diǎn)，Thor芯片上車后，因?yàn)樗乃懔Ρ痊F(xiàn)在OrinX又大了很多，那么我們會(huì)在Thor上更多地發(fā)展我們系統(tǒng)化VLM的模型能力。端到端模型我們認(rèn)為是比較吃算力的，但是它使用算力的上限比VLM少很多，而且它有一定的上限，要1,000萬(wàn)clips，訓(xùn)練這樣一個(gè)模型所需要的參數(shù)量非常大。所以在向L4發(fā)展過(guò)程中，整個(gè)系統(tǒng)需要讓它具備更好地應(yīng)對(duì)未知場(chǎng)景的能力，而未知場(chǎng)景能力的提升，需要提升的是系統(tǒng)2，就是VLM的模型能力，所以我們現(xiàn)在22 億公里的產(chǎn)出量，將來(lái)可能再去擴(kuò)大。

Q10：端到端方案對(duì)算力要求的下限最低到多少？

郎咸朋：我們認(rèn)為沒有下限。

Q11：仿真訓(xùn)練和車主自己駕駛的比例分別是多少？

詹錕：我們的評(píng)分體系是非常嚴(yán)格，不是所有的車主數(shù)據(jù)都會(huì)拿過(guò)來(lái)訓(xùn)練，我們會(huì)有非常嚴(yán)格的分?jǐn)?shù)，分?jǐn)?shù)會(huì)卡在3%-5%的水平，隨著后面數(shù)據(jù)采集的越多多，對(duì)質(zhì)量的要求并不會(huì)降低，這是我們訓(xùn)練的體系。22億的數(shù)據(jù)里面只有高質(zhì)量的數(shù)據(jù)有價(jià)值的數(shù)據(jù)會(huì)拿出來(lái)用。仿真我們會(huì)把無(wú)論是自動(dòng)駕駛還是人開的不好的場(chǎng)景我們會(huì)拿進(jìn)來(lái)用，這個(gè)比例隨著用戶使用程度越來(lái)越高，我們會(huì)越來(lái)越收緊。相當(dāng)于大的仿真考試題庫(kù)一樣，我們會(huì)持續(xù)驗(yàn)證是不是每個(gè)版本都可以了，是一個(gè)積累的過(guò)程，并不是說(shuō)我單獨(dú)選擇一個(gè)值。目前我們有一千萬(wàn)公里的仿真測(cè)試集，這是實(shí)車測(cè)試不可能在短期內(nèi)實(shí)現(xiàn)的。

郎咸朋：我們每個(gè)模型的發(fā)版至少進(jìn)行了一千萬(wàn)公里的測(cè)試，不僅節(jié)省做路試的時(shí)間，效果也有顯著的提升。而且錯(cuò)題集一定是有代表性的場(chǎng)景，比如有安全類問(wèn)題、效率類問(wèn)題等。今天我們?cè)诎l(fā)布會(huì)上重點(diǎn)講了系統(tǒng)1和系統(tǒng)2模型，后面我們會(huì)給大家介紹更多訓(xùn)練模型相關(guān)的信息。

現(xiàn)在我們做到了每?jī)傻饺斓淮文Ｐ?，這其中最關(guān)鍵的技術(shù)就是 AI 評(píng)價(jià)體系，也就是測(cè)試系統(tǒng)。測(cè)試系統(tǒng)需要很多人、很多車進(jìn)行路試，消耗大量的人力和物力。但是我們覺得這依然不夠，第一模型迭代速度過(guò)慢，第二場(chǎng)景受到限制，我們不可能將同樣的場(chǎng)景開過(guò)兩次，也不可能在夏天去模擬冬天的場(chǎng)景，所以我們做了AI評(píng)價(jià)體系，上千萬(wàn)公里的錯(cuò)題集對(duì)應(yīng)的是上百萬(wàn)個(gè)case。

在錯(cuò)題集之外我們還有模擬題，將以前的錯(cuò)題在不同的場(chǎng)景下生成用來(lái)評(píng)測(cè)是否依然能夠開的比較好，而且要達(dá)到我們80分的及格線。此外我們?cè)谠贫擞蟹浅?qiáng)大的模型，收集到有問(wèn)題的用戶數(shù)據(jù)之后，模型能夠幫助我們進(jìn)行分類并且直接放入錯(cuò)題庫(kù)，這樣的效率是非常高的。如果我們想要去訓(xùn)練模型，迭代模型，這樣非常厲害的評(píng)價(jià)系統(tǒng)是必須的，就像考試要有人批卷子，有人告訴你哪里對(duì)哪里錯(cuò)。

Q12：路試的和仿真訓(xùn)練的比例是多少？

郎咸朋：現(xiàn)在路試的數(shù)據(jù)還沒有用完，是22億公里。我們到了100億公里量級(jí)時(shí)候，可能路試的數(shù)據(jù)就不那么多了，那個(gè)時(shí)候我們?cè)谙乱浑A段會(huì)用很多的仿真數(shù)據(jù)。而且大家也可以看到生成模擬器的生成場(chǎng)景不仔細(xì)看的話是無(wú)法辨別是真實(shí)的還是模擬的。我們做出“有監(jiān)督的自動(dòng)駕駛”以后，這套模型迭代會(huì)比現(xiàn)在快很多，能夠直接生成訓(xùn)練數(shù)據(jù)，這樣我們?cè)谟?xùn)練下一階段的L4自動(dòng)駕駛的時(shí)候，我們肯定會(huì)用到仿真數(shù)據(jù)。

Q13：理想給這么多用戶評(píng)分，未來(lái)還會(huì)有很多的用戶，即使不是理想的車主，都會(huì)想在理想的智駕領(lǐng)域得到老司機(jī)的認(rèn)證。這些數(shù)據(jù)會(huì)不會(huì)在以后開源，作為一個(gè)公開的東西進(jìn)行評(píng)測(cè)？

郎咸朋：我們把這些建議先記下來(lái)，我們目前沒想過(guò)這些問(wèn)題，因?yàn)閿?shù)據(jù)都是用于我們內(nèi)部的研發(fā)，如果以后有需要我們?cè)僮觥?/p>

Q14：用戶駕駛行為好，理想汽車打了很高的評(píng)分，如果是高分用戶希望通過(guò)理想能夠把這個(gè)信息傳播給更多的消費(fèi)者呢？

郎咸朋：我們會(huì)考慮。但是我們也考慮到了一些競(jìng)爭(zhēng)因素，因?yàn)檫@個(gè)相當(dāng)于高質(zhì)量數(shù)據(jù)篩選的規(guī)則。是我們的核心機(jī)密，如果一旦公開數(shù)據(jù)其他人可能也會(huì)學(xué)會(huì)。

對(duì)未來(lái)的認(rèn)知與業(yè)務(wù)和組織的迭代邏輯

Q15：您認(rèn)為理想在中國(guó)智能駕駛的體系中排在什么樣的位置？

郎咸朋：我們一定希望達(dá)到第一的位置。但是我們深刻理解做人工智能，除了要建立各種平臺(tái)體系外，最關(guān)鍵的競(jìng)爭(zhēng)就是算力和數(shù)據(jù)。特斯拉從不避諱講自己的技術(shù)，就是因?yàn)樗嘈牌渌藷o(wú)法超越他的算力和數(shù)據(jù)。我們也是一樣的，人才的互相流動(dòng)是非常正常的，模型和算法對(duì)于大家而言都不是秘密，最終大家比拼的是有沒有算力和數(shù)據(jù)去訓(xùn)練算法，更直接一些就是資金，也就是能不能有足夠的銷量去獲取更多的利潤(rùn)去養(yǎng)自動(dòng)駕駛的算力和數(shù)據(jù)。很多人說(shuō)理想卷銷量，實(shí)際上銷量背后是我們對(duì)于自動(dòng)駕駛深刻的思考。

Q16：理想汽車怎么衡量技術(shù)發(fā)展和銷售規(guī)模平衡問(wèn)題？

郎咸朋：理想L系列外觀比較相似，外界也說(shuō)是在套娃，但是這讓我們有個(gè)最大的優(yōu)勢(shì)。傳感器布局和傳感器型號(hào)完全一致，所以理想L系列的數(shù)據(jù)可以完全復(fù)用，這個(gè)是我們比其他企業(yè)想的更長(zhǎng)遠(yuǎn)的，所以說(shuō)大家覺得我們套娃了，實(shí)際上對(duì)自動(dòng)駕駛的研發(fā)非常有好處。

我認(rèn)為技術(shù)發(fā)展和銷售規(guī)模平衡并不矛盾，最近兩個(gè)月我們的AD Max車型銷量每個(gè)月保持10%以上的提升，30萬(wàn)元以上車型AD Max銷量占比達(dá)到70%，部分車型部分地域AD Max占比達(dá)到90%以上，這就是我們最近這幾個(gè)月技術(shù)發(fā)展帶來(lái)的變化。如果技術(shù)沒有影響銷售的話，可能是技術(shù)落地沒有做好，沒有真正解決用戶需求。之前行業(yè)普遍做輕圖和有圖方案的時(shí)候，其實(shí)也在做一些功能，但是一定沒有端到端的使用效果好。我覺得還是因?yàn)榈搅硕说蕉诉@個(gè)時(shí)代，大家對(duì)這個(gè)產(chǎn)品的效果有了更好的體驗(yàn)之后，用戶就會(huì)買單。

Q17：智能駕駛的技術(shù)升級(jí)是否能帶來(lái)銷量提升？

郎咸朋：銷售有幾個(gè)非常重要的漏斗。第一個(gè)是品牌，只有用戶認(rèn)可品牌后才會(huì)比較智駕、電池、續(xù)航等。如果說(shuō)一開始品牌就不在老百姓的選擇范圍內(nèi)，那可能做什么都跟銷量沒有關(guān)系。

Q18：按照我們的理解，理想智駕從一開始的落后，到進(jìn)展和體驗(yàn)的靠前，有些做法非常關(guān)鍵，比如從RD轉(zhuǎn)PD和快速試錯(cuò)，在轉(zhuǎn)PD過(guò)程的驗(yàn)證工作，如何兼顧速度和質(zhì)量？對(duì)于有詬病的驗(yàn)證不充分就上市的說(shuō)辭，我們?nèi)绾螒?yīng)對(duì)這種質(zhì)疑？

郎咸朋：后進(jìn)生逆襲到第一梯隊(duì)很正常。第一點(diǎn)是我們的組織效率確實(shí)非常高效，我們是向華為學(xué)習(xí)的組織架構(gòu)，比如我們內(nèi)部有IPD流程等。這是我們學(xué)習(xí)一些先進(jìn)經(jīng)驗(yàn)，然后結(jié)合理想汽車自己的企業(yè)特點(diǎn)進(jìn)行內(nèi)化處理的結(jié)果。

在驗(yàn)證測(cè)試方面，我們通過(guò)技術(shù)提升做到更好的測(cè)試和發(fā)布效果，同時(shí)也減少了時(shí)間和人力。而且，測(cè)試效果比原來(lái)人力測(cè)試更好，這是人工智能技術(shù)帶來(lái)的結(jié)果。我們用重建、生成技術(shù)取代了人工的測(cè)試，重建技術(shù)很快就能夠重建幾百公里的場(chǎng)景，包括各種天氣路況下的場(chǎng)景，這些場(chǎng)景通過(guò)人類駕駛未必能夠獲取。

詹錕：目前在整個(gè)智駕團(tuán)隊(duì)，我們的PD、RD和交付這三者同步進(jìn)行，我們是交付一代、研發(fā)一代、預(yù)研一代，這是我們?yōu)槭裁茨芤恢本o跟目前智駕最新技術(shù)方案的原因，我們有比較好的階梯式研發(fā)流程。

我們?cè)谧鰺o(wú)圖NOA研發(fā)的時(shí)候，其實(shí)端到端已經(jīng)開始預(yù)研。并不是等無(wú)圖NOA做完，再慢慢的切換到端到端架構(gòu)研發(fā)中，其實(shí)我們前面就有儲(chǔ)備，所以這是我們?yōu)槭裁磿?huì)速度比較快的原因。如果大家覺得犧牲了效率，其實(shí)是因?yàn)闆]有找到提效的方法，我們逐漸已經(jīng)找到了通過(guò)自動(dòng)化測(cè)試、世界模型高效驗(yàn)證模型的方法，所以我們才能兼顧速度和質(zhì)量。

Q19：現(xiàn)階段理想智駕研發(fā)架構(gòu)中分為算法研發(fā)和量產(chǎn)研發(fā)，分別對(duì)應(yīng)著不同的小組，小組對(duì)應(yīng)的是端到端不同模塊。隨著未來(lái)算法的迭代和成本的優(yōu)化，未來(lái)的組織架構(gòu)是否會(huì)進(jìn)行調(diào)整？朝哪些方向來(lái)做調(diào)整？這個(gè)過(guò)程中有遇到哪些難題？

郎咸朋：在整體戰(zhàn)略規(guī)劃和業(yè)務(wù)戰(zhàn)略里，我們對(duì)于業(yè)務(wù)組織有清晰的布局。組織根據(jù)業(yè)務(wù)變化，業(yè)務(wù)的目標(biāo)和迭代則根據(jù)戰(zhàn)略調(diào)整，這就是我們的BLM流程（業(yè)務(wù)領(lǐng)導(dǎo)力模型），我們?cè)瓉?lái)叫LSA流程（理想汽車戰(zhàn)略分析法）。大家可能對(duì)外感知到的是產(chǎn)品、組織的迭代，但實(shí)際上背后影射的是我們戰(zhàn)略和業(yè)務(wù)的迭代和變化。

我們的組織變化要追溯到去年或者更早。我們把智能駕駛作為公司戰(zhàn)略之后，業(yè)務(wù)和組織開始發(fā)生迭代和變化。在去年秋季的雁棲湖戰(zhàn)略會(huì)，我們首次明確提出PD和RD都非常重要，但是其實(shí)在那之前PD、RD已經(jīng)有了，只是在戰(zhàn)略會(huì)上，進(jìn)一步明確了將智能駕駛和RD都作為公司級(jí)戰(zhàn)略展開，所以業(yè)務(wù)發(fā)生了變化。接下來(lái)組織會(huì)不會(huì)發(fā)生變化，要看跟業(yè)務(wù)是否有關(guān)聯(lián)。

Q20：現(xiàn)在行業(yè)中有共識(shí)，智能駕駛會(huì)分為能用，好用和愛用三個(gè)階段，目前理想汽車的智駕做到了哪個(gè)階段，我們?nèi)绱蟾判枰嚅L(zhǎng)時(shí)間可以做到“愛用”階段，哪一年可以達(dá)到這個(gè)目標(biāo)？

郎咸朋：能用、好用和愛用這其實(shí)是由用戶決定的。我們的千人團(tuán)車主以及購(gòu)買AD Max的車主比例顯著提升，我認(rèn)為這就已經(jīng)進(jìn)入到了“能用”階段。我認(rèn)為端到端內(nèi)測(cè)推送之后就是一個(gè)“好用”的狀態(tài)。我自己上下班的智能駕駛比例達(dá)到95%以上，好用和愛用是培養(yǎng)大眾對(duì)于智能駕駛理念認(rèn)同的過(guò)程。我們現(xiàn)在的千人團(tuán)、萬(wàn)人團(tuán)包括一些發(fā)燒友車主，他們依然處于早期大眾的階段。當(dāng)步入晚期大眾，也就是50%的消費(fèi)者在沒有智能駕駛的時(shí)候會(huì)不習(xí)慣甚至不會(huì)開了，等進(jìn)入到這個(gè)階段就是真正的“愛用”階段，或者說(shuō)是必須要用。

理想汽車的研發(fā)迭代速度是非?？?，我們最早今年年底，最晚明年上半年就會(huì)將這套“有監(jiān)督的自動(dòng)駕駛”量產(chǎn)交付，那個(gè)時(shí)候一定會(huì)讓大家非常愛用這個(gè)產(chǎn)品。

Q21：理想是怎么看待車企做Robotaxi？

郎咸朋：我認(rèn)為Robotaxi是一個(gè)產(chǎn)品或商業(yè)的形式，并不是技術(shù)。在技術(shù)發(fā)展到一定程度之后，它可能會(huì)催生很多的商業(yè)形態(tài)。Robotaxi，Robobus等。

第二，消費(fèi)者的需求是不是已經(jīng)到了大家更愿意用Robotaxi的階段，或者用自己車來(lái)做Robotaxi。

當(dāng)然還有一些相關(guān)的國(guó)家法規(guī)，國(guó)家法規(guī)激勵(lì)新能源車，才能讓我們走到現(xiàn)在，所以者和國(guó)家法規(guī)對(duì)這些產(chǎn)品形態(tài)的支持。

Q22：您覺得智能駕駛未來(lái)的商業(yè)前景怎樣？

郎咸朋：我認(rèn)為對(duì)于智能車，智能駕駛和自動(dòng)駕駛是不可分割的一部分。如果收費(fèi)，就會(huì)涉及到不繳費(fèi)的智能車體驗(yàn)會(huì)不好。我們的智能駕駛功能是免費(fèi)的，當(dāng)技術(shù)和能力到了一定程度之后會(huì)催生出一些新的商業(yè)場(chǎng)景和模式。

大家現(xiàn)在會(huì)有很多的暢想，如果實(shí)現(xiàn)自動(dòng)駕駛會(huì)有各種各樣的場(chǎng)景、產(chǎn)品，現(xiàn)在端到端+VLM是一個(gè)分水嶺，之前無(wú)論是有圖還是無(wú)圖，都是用非人工智能的方式來(lái)做智駕，我們做詳細(xì)產(chǎn)品的需求、規(guī)劃、拆解以及驗(yàn)證，而對(duì)于端到端，與其說(shuō)我來(lái)測(cè)試它不如說(shuō)我來(lái)體驗(yàn)它，體驗(yàn)一下它今天學(xué)到了什么樣的能力。

舉個(gè)例子，今天發(fā)布會(huì)上的視頻中有，一輛車突然向左方避讓了一下，但實(shí)際上前方是沒有車的，而是后面來(lái)了一輛自行車，他會(huì)讓自行車先過(guò)然后再回來(lái)，這樣規(guī)則幾乎是不可能有產(chǎn)品經(jīng)理設(shè)計(jì)出來(lái)的，但是我們的模型可以實(shí)現(xiàn)。所以大家要用不同的思路和眼光來(lái)審視接下來(lái)人工智能時(shí)代的自動(dòng)駕駛，他一定會(huì)超越所有人的預(yù)期，我們提到一個(gè)月內(nèi)迭代12代，會(huì)有些人覺得我們測(cè)試不充分，但是兩個(gè)月，三個(gè)月，甚至一年之后就不會(huì)再這樣想了，因?yàn)樽詣?dòng)駕駛會(huì)大規(guī)模落地。

Q23：剛才提到的自行車場(chǎng)景是否類似于自動(dòng)駕駛？

郎咸朋：有這種感覺，但還是最初的階段，到了1000萬(wàn)clips的時(shí)候肯定能夠涌現(xiàn)出來(lái)很多東西。

返回第一電動(dòng)網(wǎng)首頁(yè) >