FSD對(duì)馬斯克和特斯拉來說，將是其總體目標(biāo)的關(guān)鍵一步，走通了，潛力無限。

視覺的能力，可以發(fā)揮到多大？

特斯拉正在一步步給出自己的答案。近日，特斯拉聯(lián)合子公司DeepScale提交了一項(xiàng)新的專利申請(qǐng)，朝著Autopilot自動(dòng)駕駛軟件重新改寫又邁進(jìn)了一步。

去年10月，總部位于舊金山的DeepScale被特斯拉收購(gòu)，以幫助開發(fā)自動(dòng)駕駛技術(shù)。此前，這家初創(chuàng)公司的當(dāng)家產(chǎn)品就是一款名為Carver21的自動(dòng)駕駛AI軟件。

此次，特斯拉的這項(xiàng)專利申請(qǐng)名為“用增強(qiáng)數(shù)據(jù)訓(xùn)練機(jī)器模型的系統(tǒng)和方法”，旨在改進(jìn)Autopilot軟件使用其8個(gè)攝像頭識(shí)別環(huán)境的方式，也被稱為“3D標(biāo)簽”。

一、感知，水很深

在典型的機(jī)器學(xué)習(xí)應(yīng)用中，用于訓(xùn)練計(jì)算機(jī)模型的圖像集可能代表在許多不同的環(huán)境中捕獲的具有不同傳感器特性的對(duì)象。

這些傳感器在不同的外部參數(shù)方面也可能有所不同，例如成像傳感器的位置和方向相對(duì)于拍攝圖像時(shí)的環(huán)境。所有這些不同類型的傳感器特性使得正確訓(xùn)練計(jì)算機(jī)模型變得更加困難。

換句話說，這意味著一個(gè)自動(dòng)駕駛系統(tǒng)可以通過編程來識(shí)別特定物體的特征，但這些特征可能并不總是與攝像頭在特定環(huán)境或情況下記錄的特征相匹配，從而使傳統(tǒng)的系統(tǒng)產(chǎn)生混亂。

特斯拉申請(qǐng)的專利列出了焦距、透鏡類型、預(yù)處理或后處理、不同的軟件環(huán)境和傳感器陣列硬件可能是造成這種差異的原因。

根據(jù)專利申請(qǐng)，特斯拉和DeepSpace的解決方案在于，在軟件中引入預(yù)增強(qiáng)成像，顯示物體在不同環(huán)境中的表現(xiàn)。

這樣做的目的是希望軟件能夠?qū)Σ煌沫h(huán)境本身做出準(zhǔn)確的修正。而隨后的訓(xùn)練基于包括圖像和圖像增強(qiáng)的集合。

這意味著特斯拉的新軟件將能夠收集車輛環(huán)境的信息，計(jì)算條件如何影響成像傳感器捕獲物體的方式，增加捕獲的圖像，并相應(yīng)地更新軟件的參數(shù)來識(shí)別物體。

這款軟件以及對(duì)Autopilot和3D標(biāo)簽技術(shù)的升級(jí)，可能意味著特斯拉在開發(fā)自動(dòng)駕駛汽車的道路上邁出關(guān)鍵一步。

此前，特斯拉已經(jīng)開始在所有新車配備全新自主研發(fā)的FSD芯片代替此前的英偉達(dá)芯片，專為全自動(dòng)駕駛設(shè)計(jì)。

性能大幅提升是這款芯片的一大特點(diǎn)，除了能夠改進(jìn)特斯拉的現(xiàn)有的自動(dòng)輔助功能，更重要的是邁向完全自動(dòng)駕駛的關(guān)鍵一步。

在這一點(diǎn)上，Waymo和特斯拉應(yīng)該說是走到了一起。

為了充分利用邊緣場(chǎng)景，并進(jìn)一步改善自動(dòng)駕駛系統(tǒng)的感知，一直以來Waymo與來自谷歌大腦的團(tuán)隊(duì)合作，擴(kuò)展自動(dòng)數(shù)據(jù)增強(qiáng)研究，并在數(shù)據(jù)集上進(jìn)行測(cè)試。

擴(kuò)充數(shù)據(jù)背后的原理很簡(jiǎn)單：假設(shè)你有一張狗的照片。通過使用各種圖像增強(qiáng)操作，如旋轉(zhuǎn)、剪切、鏡像、顏色變換等，可以對(duì)照片進(jìn)行變形和變換，但這并不能改變這是一張狗的圖像的事實(shí)。

在2019年，Waymo開始將自動(dòng)數(shù)據(jù)增強(qiáng)技術(shù)應(yīng)用到基于圖像的分類和檢測(cè)任務(wù)中，還包括如何改善激光雷達(dá)的3D檢測(cè)能力。

數(shù)據(jù)效率的提高尤其重要，因?yàn)檫@意味著Waymo可以加快訓(xùn)練過程，改善第五代Waymo Drive系統(tǒng)的感知能力。

二、數(shù)據(jù)+神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)

不過，特斯拉顯然還沒有利用新的計(jì)算能力。2018年10月，特斯拉人工智能高級(jí)總監(jiān)安德烈·卡帕西(Andrej Karpathy)表達(dá)了他對(duì)使用這款FSD芯片的渴望。

“我們訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)運(yùn)行良好，但由于計(jì)算限制，我們無法將它們部署到車隊(duì)中。所有這些都將隨著硬件的下一次迭代而改變?！笨ㄅ廖鞅硎?。

不過，到目前為止，在FSD上運(yùn)行的神經(jīng)網(wǎng)絡(luò)和軟件，似乎與在舊的英偉達(dá)硬件上運(yùn)行的幾乎一樣。

一些行業(yè)人士質(zhì)疑，特斯拉的軟件和神經(jīng)網(wǎng)絡(luò)的開發(fā)落后于新硬件的部署。這一解釋很快也得到了特斯拉CEO埃隆·馬斯克的證實(shí)。

“我們的自動(dòng)駕駛系統(tǒng)有一個(gè)相當(dāng)重要的基礎(chǔ)代碼重寫，把規(guī)劃、感知、圖像識(shí)別等等真正結(jié)合起來。”馬斯克透露，新的神經(jīng)網(wǎng)絡(luò)正在吸收越來越多的問題。

比如，馬斯克提到的3D標(biāo)簽技術(shù)，并稱之為下一個(gè)里程碑式的技術(shù)，比以往的技術(shù)有兩到三個(gè)數(shù)量級(jí)的標(biāo)記效率的提高（從車身上搭載的外部八個(gè)攝像頭同時(shí)進(jìn)行）。

很快，在去年公司第四季度財(cái)報(bào)會(huì)議上，馬斯克表示，核心的自動(dòng)駕駛軟件和人工智能團(tuán)隊(duì)非常強(qiáng)大，正在取得巨大進(jìn)步。

我們才剛剛開始充分利用FSD的計(jì)算能力，消費(fèi)者所看到的表面上的進(jìn)步似乎是非常迅速的，但實(shí)際上真正發(fā)生的是擁有非常強(qiáng)大的基礎(chǔ)軟件。

所以，特斯拉正在對(duì)其神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行基礎(chǔ)性的改進(jìn)，以及如何在車端進(jìn)行實(shí)時(shí)推理（這在過去還不敢想象），包括如何給數(shù)據(jù)自動(dòng)貼上標(biāo)簽，從而訓(xùn)練這些神經(jīng)網(wǎng)絡(luò)。

在整個(gè)重寫過程中，用戶可能不會(huì)看到他們使用的Autopilot軟件有任何進(jìn)展。特斯拉相關(guān)負(fù)責(zé)人表示，從重寫開始到95%準(zhǔn)備好用于量產(chǎn)部署，沒有任何東西可以提前交付給用戶。只有當(dāng)軟件開發(fā)人員跨過“最后一英里”時(shí)，才會(huì)看到明顯的進(jìn)展。

目前，特斯拉仍然手握全球最大的數(shù)據(jù)采集車隊(duì)，這是其最大的領(lǐng)先優(yōu)勢(shì)。包括超過30萬輛裝有FSD芯片的新車和超過40萬輛裝有英偉達(dá)硬件的車隊(duì)。

相比較而言，自動(dòng)駕駛領(lǐng)頭羊Waymo也僅僅只有1000多輛測(cè)試車。這為特斯拉的神經(jīng)網(wǎng)絡(luò)奠定了巨大的數(shù)據(jù)優(yōu)勢(shì)。

這意味著，特斯拉可以使用各種自動(dòng)化技術(shù)來捕捉罕見的或令人困惑的視頻數(shù)據(jù)。

此外，特斯拉的影子模式，也在借用駕駛員的人工標(biāo)注工具。比如，當(dāng)司機(jī)遇到一個(gè)神經(jīng)網(wǎng)絡(luò)檢測(cè)不到的障礙物而停車，那么這個(gè)動(dòng)作就會(huì)被視為一個(gè)標(biāo)簽。

實(shí)際上，許多司機(jī)的行為給他們周圍的真實(shí)世界貼上了標(biāo)簽。特斯拉擁有70多萬名免費(fèi)司機(jī)，遠(yuǎn)遠(yuǎn)超過任何人工標(biāo)注外包團(tuán)隊(duì)。

視頻數(shù)據(jù)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的一種新技術(shù)是自監(jiān)督學(xué)習(xí)。自我監(jiān)督意味著不用手工標(biāo)簽學(xué)習(xí)，比如從過去的視頻幀中預(yù)測(cè)未來的視頻幀。

或者，更準(zhǔn)確地說，預(yù)測(cè)未來視頻幀的多個(gè)可能序列，每個(gè)序列指定一個(gè)概率。這可以讓神經(jīng)網(wǎng)絡(luò)對(duì)真實(shí)世界有更豐富、更健壯的理解。

一直以來，感知到?jīng)Q策的另一個(gè)瓶頸，就是預(yù)測(cè)。預(yù)測(cè)未來多種可能的行為，并為每種行為分配一個(gè)概率。考慮到車隊(duì)可以實(shí)現(xiàn)實(shí)時(shí)運(yùn)行預(yù)測(cè)，可以在任何時(shí)候觸發(fā)上傳，只要觀察到未預(yù)測(cè)或低概率的行為。

最典型的案例，就是DeepMind的AlphaGo和AlphaStar，通過模仿頂尖玩家的技能，就可以超越人類的能力。

特斯拉也可以做類似的事情。通過模仿真人駕駛的方式，有可能通過強(qiáng)化來增強(qiáng)模仿，在這種情況下，學(xué)習(xí)是通過對(duì)一些既定目標(biāo)的反復(fù)試驗(yàn)來實(shí)現(xiàn)的。

特斯拉正在做的工作就是把所有問題都變成一個(gè)學(xué)習(xí)問題，并收集大量數(shù)據(jù)。用卡帕西的話說，他的工作是用深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)（他稱之為“軟件2.0”）盡可能多地取代特斯拉傳統(tǒng)的“軟件1.0”。

這意味著，讓特斯拉的自動(dòng)駕駛系統(tǒng)更多地采用數(shù)據(jù)驅(qū)動(dòng)和神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)是重寫基礎(chǔ)代碼的主要驅(qū)動(dòng)力。

三、全力以赴

另一個(gè)積極跡象是，特斯拉在自動(dòng)駕駛方面的研發(fā)支出并沒有受到太多的資金限制。在這一點(diǎn)上，很多傳統(tǒng)汽車制造商已經(jīng)開始做出讓步。

去年四季度數(shù)據(jù)顯示，特斯拉當(dāng)季現(xiàn)金及現(xiàn)金等價(jià)物價(jià)值63億美元，2019年全年的自由現(xiàn)金流為11億美元。

管理層的指導(dǎo)方針是，公司在未來的季度和年度基礎(chǔ)上，將基本實(shí)現(xiàn)GAAP凈利潤(rùn)和自由現(xiàn)金流為正。馬斯克一再?gòu)?qiáng)調(diào)，他正在尋求對(duì)業(yè)績(jī)?cè)鲩L(zhǎng)構(gòu)成重大約束的領(lǐng)域投入更多資金。

全自動(dòng)駕駛就是其中最大的未來利潤(rùn)貢獻(xiàn)支撐點(diǎn)。

從估值角度看，全自動(dòng)駕駛軟件最明顯的利好就是幫助特斯拉盡快推出Robotaxi服務(wù)。如果能夠商業(yè)化，將在公司財(cái)務(wù)上發(fā)揮重要作用。

甚至有機(jī)構(gòu)預(yù)測(cè)，特斯拉如何按照原計(jì)劃推出Robotaxi服務(wù)，預(yù)測(cè)到2024年，將為公司獲得額外的數(shù)千億美元的收入。

一位特斯拉的工程師近日表示，“我們可以肯定，正在盡我們所能讓FSD夢(mèng)想成真。我們不斷加班，能做多少就做多少，而技術(shù)本身也在不斷發(fā)展?！?/p>

他透露，新的自動(dòng)駕駛系統(tǒng)基本上消除了特斯拉過去在駕駛員輔助系統(tǒng)上犯的所有小錯(cuò)誤。軟件重寫幫助特斯拉將其汽車的8個(gè)攝像頭的視頻輸入合并成一個(gè)3D模型，使得數(shù)據(jù)處理更容易。

他還用一個(gè)形象的比喻來描述這種進(jìn)步：人類的眼睛通常處理數(shù)據(jù)片段并將其發(fā)送給大腦，然后大腦將所有信息整合在一起，這樣人類就能看到整個(gè)畫面。

而特斯拉將能夠處理來自所有8個(gè)攝像頭的信息，并將它們拼接在一起，形成一個(gè)真正的360度圖像。有了360度視圖，就可以完整的繪制地圖——而在此前的舊系統(tǒng)上，根本無法實(shí)現(xiàn)。

重寫是從3D標(biāo)記開始，這提高了標(biāo)記每一幀的準(zhǔn)確性。錄像回放以檢查標(biāo)簽的準(zhǔn)確性。3.0的硬件版本在整個(gè)代碼重寫中起到了關(guān)鍵作用，而1.0或2.0版本沒有能力處理那么多數(shù)據(jù)。

今年2月，馬斯克在個(gè)人twitter上公開邀請(qǐng)有能力的人加入特斯拉的人工智能團(tuán)隊(duì)。目前，該公司正在集中全部精力兌現(xiàn)2020年釋放FSD全部功能的承諾。

畢竟，F(xiàn)SD對(duì)馬斯克和特斯拉來說，將是其總體目標(biāo)的關(guān)鍵一步，走通了，潛力無限。