与时间赛跑,特斯拉Autopilot发展进化史

图片[1] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

2018 年 10 月,特斯拉推送 Navigate on Autopilot 的更新

特斯拉的 Autopilot 并不是业内最早量产的自动驾驶系统。

但在 2014 年发布以后,Autopilot 凭借完善的功能定义、依靠众包数据不断学习的算法,以及通过 OTA 实现的软件升级,已经成为全球范围内部署规模最大、运行里程最长的(单一)自动驾驶系统。

在 2014 年 10 月以后,Autopilot 的硬件就默认搭载在每一辆出厂的 Model S、Model X 和 Model 3 上。

到 2019 年 Q3 结束,特斯拉在全球一共交付了近 79 万台车,其中 74 万台都搭载了 Autopilot 的硬件。

根据 MIT Human Centered AI 项目的估算,到 2019 年 Q3 特斯拉所有售出车辆的累计行驶里程约 168 亿英里,其中通过 Autopilot 行驶的里程数达到 18.8 亿英里 [1]。

Autopilot 的意义也并不止于为用户提供一种更轻松的驾驶体验。

在 Model S 和 Model X 交付后,其提供的智能体验启发影响了一大批行业内外的从业者,并极大程度地推动了全世界范围内智能汽车和自动驾驶的发展。

Autopilot 的故事,是量产自动驾驶领域,到 2019 年为止最经典的两个案例之一,另一个案例是 Mobileye

图片[2] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

2013 年,特斯拉与 Google 的核心分歧

特斯拉在内部提出 Autopilot 的规划最早是在 2013 年。

2013 年 10 月,Autopilot 招聘了第一名员工 Drew Gray。到 2014 年 10 月硬件发布,第一代 Autopilot 硬件的研发只有不到 1 年时间。

少为人知的是,在 Autopilot 项目规划的初期,Elon Musk 曾经与 Google 探讨过联合开发一套高速公路自动驾驶系统的可能性 [2]。

当时 Google 方面,内部的自动驾驶项目已经研发了几年,技术上有了一些初步的成果,公司也有意将技术进行商业化。

Google 第一个商业化的想法是推出一套能够在高速公路上单车道内实现自动驾驶的系统。这套系统允许驾驶员双手离开方向盘,但要求用户在车辆行驶时时刻注意前方。

2013 年上半年,项目组已经开始邀请内部员工参与这套系统的测试 [3]。

巧合的是,Google 将这套系统命名为「AutoPilot」,这和日后特斯拉的「Autopilot」只有一个字母大小写的差别。

但 Google 的技术最终没有在特斯拉上实现量产。

主要的原因是,2013 年 Google 很快叫停了 AutoPilot 的测试。当时公司邀请了一批每天需要通过高速公路长途通勤的员工来参与系统测试。

几周后,一名员工在自动驾驶的车上睡着了。

图片[3] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

2013 年 Google 半自动驾驶测试,员工在车上化妆

现任 Waymo CEO John Krafcik 后来阐述过内部的想法,团队认为半自动驾驶系统是不可靠的。因为「当你把这个系统开发得越好,人们就越容易过度信赖它。」

在叫停半自动驾驶项目之后,Google 与特斯拉走上了完全不同的两条道路。

前者转向全力研发 L4 – L5 级完全无人的机器驾驶系统,特斯拉则很快选择了与 Mobileye 合作,开发第一代的 Autopilot。

图片[4] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

借助 Mobileye,Autopilot 1.0 发布

图片[5] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

Autopilot 在设计之初就采用了硬件先行、软件更新的原则。

2014 年 10 月,特斯拉宣布所有新出厂的车辆都会默认搭载 Autopilot 硬件,但实际上这套系统完整的软件功能,是通过特斯拉 V7.0 版本的更新为用户开启的。

V7.0 版本开始推送的时间是一年后,也就是 2015 年 10 月。

这个时期出厂的每一辆特斯拉,都搭载了 1 个前向的毫米波雷达、1 个前视摄像头、12 个超声波雷达、1 套高精度电子辅助制动系统(线控刹车)以及一块搭载 Mobileye EyeQ3 芯片的主板,这套硬件被称为 Autopilot Hardware 1.0。

2014 年也是 EyeQ3 投产的第一年,Autopilot 是全球最早搭载 EyeQ3 的系统。

有意思的是,再过 4 年后,当 EyeQ4 投产时,其全球首发车型将会是蔚来的 ES8。这时 EyeQ4 上跑的是蔚来的 NIOPilot。蔚来在很长一段时间内都被视作特斯拉最有力的竞争对手之一。

Autopilot 组建初期的成员,主要来自包括加州伯克利、卡耐基梅隆、康奈尔、麻省理工在内的几所高校,以及大众汽车位于加州的 Electronic Research Lab。

在与 Mobileye 的合作中,Autopilot 的这支初期团队直接承担了 Tier 1 的角色 [4]。

特斯拉没有再选择一家成熟的 Tier 1 与 Mobileye 联合开发,这样的做法可能和 Autopilot 激进的时间表有关。

在特斯拉身上,与 Tier 2 二级供应商直接合作开发子系统的案例非常常见。如果 Tier 1 提供的子系统在成本、性能或者时间表上无法满足需求,特斯拉就有可能亲自下场。

例如早期特斯拉在 Model S 上曾经采用台湾的富田电机,之后内部改为自研电机,并将原有供应商降为供应电机定子和转子。

从这个角度来讲,要进入并且留在特斯拉的供应链体系,对供应商的要求是在某个垂直领域有很深的积累,长板非常长。

特斯拉同时还要求供应商技术演进的节奏要非常快,这在一定程度上也让相当数量的 Tier 1 难以适应。

今天我们能看到的 Autopilot 中最终保留下来的供应商,多数是深耕多年的传感器供应商和芯片 IP 提供商。

尽管特斯拉是智能电动车领域的先驱者,但在 2014 年,高性能的三电系统已经不再是特斯拉独有的优势。

由于多重历史原因(见《十年前,戴姆勒救了特斯拉》),戴姆勒和丰田在 Model S 上市前就已经是特斯拉的投资人和客户。

2014 年,特斯拉是戴姆勒旗下 Smart fortwo、A-Class、B-Class 车型的电动动力总成供应商,同时它也将三电系统供应给丰田的 RAV4 EV [5]。

Autopilot 发布后,智能驾驶成为拉动特斯拉销量的重要卖点。

一个极端的案例是,理想汽车的创办人李想就拥有 4 辆特斯拉,包括 1 辆没有 Autopilot 的 Model S、1 辆搭载 Autopilot 1.0 的 Model X、1 辆搭载 Autopilot 2.0 的 Mode X 和 1 辆 Model 3。他本人曾讲过买 2 辆 Model X,很大程度上就是为了体验 Autopilot。

小鹏汽车的创办人何小鹏,则有 3 辆特斯拉。

图片[6] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

2016 年,Joshua Brown 之死

伴随着一辆辆新车下线,特斯拉在官方文本中这样介绍 Autopilot:

全新的硬件并不是为了无人驾驶设计的,真正的无人驾驶还要数年才能到来。而 Autopilot 希望把驾驶员们从最无聊和危险的路况中解放出来。

最重要的是,特斯拉的文本明确地告诉车主:(尽管有 Autopilot 存在)驾驶员依然是车辆行驶过程中最终的控制方和责任方。

2015 年 10 月,特斯拉开始向全球车主陆续推送 V7.0 版本的软件更新,Autopilot 的主要功能得以解锁。7 个月后,Google 曾经最担心的事情发生了。

2016 年 5 月,在佛罗里达一段没有完全封闭的高速公路上,Joshua Brown 驾驶的一辆 Model S,撞上了一辆拐弯中的货车。

当时的高速路段上是蓝天白云,Model S 上的 Autopilot 处于开启状态。

货车正在拐弯,但 Autopilot 没有识别出货车白色的挂车车厢,因此挡风玻璃首先撞上了车厢底部。黑色的 Model S 从车厢底部穿出,最后在高速公路边的草地中停了下来。

Joshua Brown 在这场车祸中丧生。

图片[7] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

佛罗里达事故的示意图

这起事故被认为是全球范围内第一起自动驾驶致死事故,引起了非常广泛的关注和报道(后来人们发现 2016 年 1 月在河北邯郸还发生过一起特斯拉追尾清扫车的致命事故,因此 Joshua Brown 的事故为第二起)。

作为事故中主要的关联方,特斯拉和 Mobileye 先后发表了几份声明。

特斯拉首先在事故声明中指出,Joshua Brown 遭遇的是非常罕见的驾驶场景。

「当时天气晴朗,司机和 Autopilot 在蓝天的映衬下都没有注意到卡车白色的挂车车厢,因此司机和 Autopilot 系统都没有及时刹车。卡车横向穿过马路时,挂车车厢的高度以及从 Model S 上观察到的视角,构成了一种非常罕见的驾驶场景,最终导致 Model S 与卡车挂车车厢的碰撞。」[6]

特斯拉的声明发出后,Mobileye 的发言人很快进行了补充,表明事故责任并不在 Mobileye。

「当前的防碰撞技术或者自动紧急制动系统 AEB 的设计,是为了防止与前车车尾的碰撞。在这起事故中,涉及到对横向行驶车辆的处理,不属于这一代 AEB 的设计目标。Mobileye 的系统将在 2018 年开始支持对横穿车辆的检测识别。」

把 Mobileye 的话翻译一下就是:Mobileye 在 Autopilot 中提供了 AEB 功能,这个 AEB 本身不支持这样的场景,但特斯拉允许用户在这样的场景下开启了 Autopilot,因此责任不在 Mobileye。

在 Brown 的事故中,Autopilot 要识别出可能碰撞的横向车辆,关键在于系统的算法以及车载计算平台需要提供充足的算力支撑算法运行。

在 2018 年以后,Mobileye 将会投产下一代芯片 EyeQ4,也就有更多的算力支撑更复杂的车辆识别算法。

这也是为什么声明里说「Mobileye 将在 2018 年支持横穿车辆识别」的原因。

图片[8] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

Autopilot 1.0 的缺陷是什么?

显然,特斯拉没法一直等着 Mobileye。

在与 Mobileye 的合作中,特斯拉同时也意识到:前者依赖特斯拉在内的各家车辆获取大数据改进自身算法。但其对 Autopilot 进行改进的积极性和进度都没有达到令特斯拉满意的节奏。这让特斯拉内部决定「自动驾驶这个核心要抓在自己手里」。

2016 年,特斯拉请来了来自 AMD 的芯片大师 Jim Keller,开始组建硬件工程团队。

同年,特斯拉在内部启动计算平台 FSD(Full Self-Driving Computer)的研发,并选择了英伟达 DRIVE PX2 作为 Autopilot Hardware 2.0 阶段性的计算平台。

与 FSD 这样的长期准备同步,特斯拉在 Joshua Brown 事故发生 4 个月后,也就是 2016 年 9 月推送的 V8.0 软件更新中,提出暂时利用毫米波雷达来解决此前事故中暴露的系统缺陷。

毫米波雷达的特点是,擅长横向信息的测量,比如前方物体的距离和速度,但不擅长纵向信息的测量,比如物体的大小和高度。

它的检测效果还与物体的材质有关,金属物体反射的毫米波信号强,但塑料材质的物体反射很弱。

在实际应用时,毫米波雷达容易检测到前方有无(金属)物体,但不容易判断物体的大小和高度。

在 Brown 的事故中,毫米波雷达已经检测到前方卡车车厢存在,但它无法判断车厢的高度,结合视觉感知把卡车白色的「车厢」当成了天上的「白云」,最终系统倾向认为车厢是一块悬在道路上方的路牌。

如果将毫米波雷达调整为主要的传感器,当再次遇到类似情况,毫米波雷达就可以触发车辆制动。这样确实解决了类似 Brown 事故中的问题。

但由于毫米波雷达不善于判断物体大小和高度,道路上出现易拉罐或者路牌这样的障碍物时,也容易触发 Autopilot 误刹车。

以毫米波雷达为主要传感器的策略,只持续了几个月的时间,特斯拉之后会重新切换回以视觉感知为主的策略。

图片[9] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

2016 年,Autopilot 1.0 的启示

Autopilot 的推出与事故,在那个时间,在整个大的汽车行业产生了深远的影响。

特斯拉到 2016 年,大约卖掉了十几万台搭载 Autopilot Hardware 1.0 的 Model S 和 Model X。

Autopilot 是行业里第一次,在短短 2 年之内,让全球数十万规模的先富起来的人群体验到了自动驾驶系统的可用性。

以 Joshua Brown 的遭遇为代表,事故也暴露出 Autopilot 还远非完美的自动驾驶系统。

人们意识到,开发比 Autopilot 更好的自动驾驶系统,来提供给特斯拉以外的主机厂们,将是一门巨大的生意。

在世界范围内,这年大量的自动驾驶公司纷纷创立,相当数量的公司很容易地说服了投资者,头部公司更是拿到了巨额的资金。

这与 Autopilot 先期对市场的教育一定程度是分不开的。

在解决 Brown 事故中类似的感知问题上,以后的几年,激光雷达、高分辨率的毫米波雷达、高精度地图都得到了非常大的关注和资本投入。

自动驾驶领域昔日的明星创业公司 Roadstar.ai 曾经力主深度融合技术 Deep Fusion,就是通过多传感器数据的前融合来弥补单一传感器各自存在的缺陷。

2019 年,特斯拉还收购了技术公司 DeepScale(见《特斯拉的第一笔自动驾驶投资》),一部分原因也是为多传感器融合补课。

图片[10] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

Autopilot 2.0,全面替换 Mobileye

在 Autopilot 1.0 的合作中,Mobileye 认为特斯拉开放给用户的功能太激进,Elon Musk 则认为 Mobileye 同时要支持大量的传统车企,一定程度上拖慢了技术推进的节奏。

从 2015 年开始,特斯拉已经在内部组建算法和硬件的团队,为将来替换 Mobileye 做准备。

当年上半年,特斯拉组建了基于视觉感知的软件算法小组 Autopilot Vision,这个小组最初由 Autopilot 1 号员工 Drew Gray 带领。

同年,特斯拉招来了原来在微软负责 Bing Vision 和 HoloLens 的研究总监 David Nistér,David Nistér 接替 Drew Gray,并担任 Autopilot Vision 副总裁。

次年初,Autopilot 开始内部筹备全自动驾驶芯片 FSD 的研发,FSD 招的第一个团队成员是 Pete Bannon,Bannon 现在是负责 Autopilot 弱电与芯片工程的副总裁。FSD 项目汇报给 Jim Keller。

2016 年 7 月,Mobileye 与特斯拉合作关系最终破裂了,Joshua Brown 的事故成为「压死骆驼的最后一根稻草」。

Mobileye CEO Amnon Shashua 在当月的财报会上公开表示,「与特斯拉的合作将止步(Autopilot 1.0 上的)EyeQ3」。

特斯拉随后在 2016 年 9 月 V8.0 的软件更新中,将 Autopilot 调整为以毫米波雷达为主的感知方案。

2016 年 10 月,特斯拉推出 Autopilot Hardware 2.0,包含 8 个摄像头,1 个毫米波雷达,12 个超声波雷达,以及一块搭载英伟达 DRIVE PX2 AutoCruise 定制版的计算主板。

图片[11] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

Hardware 2.0 虽然上车了,但 Autopilot 软件端的 Tesla Vision 并没有开发就绪。

外部恐怕很难想象,特斯拉 Hardware 2.0 的车辆,从 2016 年 9 月到 2017 年 1 月,经历了 4 个月几乎裸机的状态。

Autopilot 的一部分功能在这个阶段缺失,包括 AEB、防碰撞预警、车道保持、自适应巡航等。

到 2017 年上半年,由于 Tesla Vision 算法的改进,特斯拉在 V8.1 版本的软件更新时,Autopilot 的功能重新追上了 Hardware 1.0 时期。

图片[12] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

Tesla Vision 追赶 Mobileye

Tesla Vision 来自于 Autopilot 内部在 2015 年成立的 Vision 小组,Vision 的目标就是要取代 Mobileye。

尽管 Vision 小组是属于 Auotopilot 软件团队下的一个分支,但其领导人 David Nistér 的职位是 Autopilot Vision 副总裁,足见特斯拉对这个小组寄予厚望。

Nistér 在 1998 年从爱立信开始投身图像压缩与 3D 重建领域。在来特斯拉之前,他在微软待了 8 年,其开发的技术被用在 Bing Vision 和 HoloLens 上。

David Nistér 过去的研究偏传统视觉领域,因此 Tesla Vision 从一开始走的是传统视觉的路线。

从 2016 年开始,特斯拉内部还有一支团队在做与 Tesla Vision 相关的工作,这支团队是隶属于 Autopilot 硬件工程副总裁 Jim Keller 麾下的机器学习小组(Machine Learning team)。

特斯拉从 AMD 挖来传奇芯片架构师 Jim Keller 时,还从 AMD 挖来了一大批具有多年芯片开发经验的大牛。

2016 年 2 月开始,Pete Bannon 带领着来自 AMD 的大牛们开始了完全无人驾驶芯片 FSD 的研发。

同时期,同样来自 AMD 的谷俊丽,在 Autopilot 硬件工程团队下开始组建机器学习小组,这个小组有两个任务:一个是搭建 Hardware 2.0 上的 AI 算法和机器学习软件,另一个是参与设计 FSD 芯片的架构和上面的软件。

Vision 小组和机器学习小组在组织架构上是相对独立的,2 个小组分别汇报给 2 位不同的副总裁,Nistér 和 Keller。

2016 年,Vision 和机器学习小组都成立不久,规模都不大。

特斯拉的原计划是与 Mobileye 协商一段过渡期:在过渡期内,Autopilot 可以同时运行 Tesla Vision 以及 Mobileye 两套软件,但 Mobileye 拒绝了这个提议。

所以就有了前面,先有 Amnon Shashua 宣布双方合作破裂,再有当年 10 月份 Autopilot 硬件更新但软件却跟不上的情况。

2016 年 10 月以前,Tesla Vision 基于传统视觉的版本在性能和功能上达不到与 Mobileye 对标,10 月以后,Tesla Vision 融合了机器学习团队基于 AI 的算法。

为了解决车载部署的实时计算问题,Autopilot 机器学习小组当时还设计一套推理(Inference)软件,来解决了英伟达的配套软件在实时计算上的速度局限问题。

在 2016 年年底那个时间,特斯拉应该是全球第一家把 AI 算法集成到量产自动驾驶系统中的公司。

Mobileye 当时还在使用传统视觉的算法,而英伟达当时「对解决自动驾驶问题的算法结构理解还不够到位」。

2017 年上半年,特斯拉推送 V8.1 的软件更新,Autopilot 终于重新追平 Mobileye 时期的功能。

图片[13] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

软硬结合,特斯拉走向「汽车界的苹果」

在特斯拉 2.0 版本的 Autopilot 硬件中,包含 8 个摄像头,1 个毫米波雷达,12 个超声波雷达,以及一块搭载英伟达 DRIVE PX2 AutoCruise 定制版的计算主板。

过去 Mobileye 的 EyeQ3 能提供的算力大约是 0.25 TOPS,它的下一代产品 EyeQ4 的算力是 2.5TOPS。而英伟达为特斯拉定制这块 DRIVE PX2 算力是 EyeQ3 的 40 倍以上,也就是超过 10 TOPS。

同时,Autopilot 从这一代硬件开始,支持计算平台的改造升级。Autopilot Hardware 2.0 以后的特斯拉车型,只要拆开车上的手套箱,车主就可以用更高算力的 FSD 替换已有的主板。

图片[14] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

图片[15] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

Autopilot 1.0 与 2.0 的感知能力对比

与 Autopilot Hardware 1.0 相比,Hardware 2.0 大幅提升了系统的感知能力。

Hardware 1.0 的车上只有 1 个前视摄像头和 1 个后视摄像头(不参与自动驾驶)。

而 2.0 的车上配置了 3 个前向的摄像头和 4 个侧向的摄像头,前向的摄像头可以检测 60 米、150 米和 250 米内的范围,侧前向的摄像头可以检测 80 米内的范围,侧后向的摄像头可以检测 100 米内的范围,配合前向的毫米波雷达和车身一周的超声波雷达,Autopilot Hardware 2.0 形成了围绕车身一周最远能到 250 米的多重无缝的覆盖。

Autopilot Hardware 2.0 在系统感知能力与计算能力上的巨大提升,让 Elon Musk 的确有理由相信,这代 Autopilot 会比上一代好得多。

实际上,在 Autopilot Hardware 2.0 推出后,特斯拉已经对外宣称这版本的硬件足以支撑完全无人驾驶。

Autopilot 从 1.0 依靠 Mobileye 提供芯片和算法,转型到 2.0 以后,在核心技术上基本能够做到自主可控。这个变化背后,有一位灵魂人物就是芯片大师 Jim Keller。

图片[16] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

Autopilot 软硬件工程副总裁 Jim Keller,现已加盟 Intel

Jim Keller 在 2000 年以前参与了 AMD Athlon K7 的设计,之后又是 K8 架构的主要设计者,然后创业,公司又被苹果收购。

Keller 加入苹果之后,带领团队设计了 A4 和 A5 芯片,这两款芯片被广泛用于 iPhone 4、4S 和最初两代的 iPad 上。之后他又回到老东家帮助 AMD 推出 Zen 架构芯片。

在 Jim Keller 加入特斯拉 1 个月后,公司又从苹果招到了研发总监 Pete Bannon,Bannon 是 A5 芯片核心的设计工程师,在那之前他是 PA Semi 的架构与验证副总裁。

PA Semi 也就是 Jim Keller 创业被苹果收购的那家公司,Jim Keller 和 Bannon 是老同事。

当月,特斯拉 FSD 的研发正式启动了。后续,特斯拉在 2016 年的上半年密集地招募了一大批原本在 AMD 进行芯片设计和深度学习研究的人才。

到 2019 年 3 月,FSD 在 Model S 和 Model X 上实现量产;4 月,FSD 在 Model 3 上量产。

搭载 FSD 的这版硬件,也就是大家通常所认知的 Autopilot Hardware 3.0。

2019 年 8 月,当特斯拉在高性能处理器顶会 Hot Chips 上公布 FSD 研发成果时,我们发现 FSD 的主创绝大部分都是来自 AMD。

(下面这张 PPT 上,除了 Pete Bannon,其他的主创人员在 AMD 平均有 15 年的开发经验,Bill McGee 甚至在 AMD 待了 18 年。)

图片[17] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

FSD 的核心开发人员

Pete Bannon 带领的 FSD 项目与前面提到的谷俊丽带领的机器学习小组,都汇报给 Autopilot 硬件工程副总裁 Jim Keller。

这样,从 2015 – 2017 年,Autopilot 团队逐步建立了自身在计算机视觉+AI+芯片的能力,特斯拉的自动驾驶系统也越发变成一个软硬件紧密耦合的系统。

这样做的好处是什么呢?就是高效。

Pete Bannon 在 FSD 量产后曾经说过,

「特斯拉开始研发 FSD 的原因是,我们发现市场上没有一种芯片是从底层出发为自动驾驶和深度神经网络设计的。

FSD 是我参与过的所有项目中最快地从设计到量产的。因为我们只聚焦于服务 1 个客户的需求。」

图片[18] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

Autopilot 团队管理架构的演进

图片[19] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

Autopilot 最早期的管理层是资深工程经理 Drew Gray,Gray 在 2013 年 10 月入职,是 Autopilot 招聘的第一个员工。

Gray 在 2015 年 9 月,也就是特斯拉 V7.0 发布的前夕,去了当时还在做后装自动驾驶解决方案的 Cruise Automation,却又在 Cruise 被通用收购的前夕去了 Otto,最后所幸赶上了 Otto 被 Uber 收购。Gray 在 Uber 时期担任工程总监,现在则是创业公司 Voyage 的 CTO。

与 Drew Gray 接近的时期,特斯拉还有一位工程总监 Darren Liccardo,Liccardo 和 Gray 在特斯拉负责的主要是 Autopilot 1.0 系统的集成。Liccardo 后来去了大疆,据说与大疆布局自动驾驶有关。

2015 年上半年,因为要自研软件逐步替代 Mobileye,Autopilot 开始组建视觉算法团队 Vision。

Vision 团队最初也由 Drew Gray 负责。一段时间后,Autopilot 从微软招募了此前负责 Bing Vision 和 HoloLens 的研发总监 David Nistér,Nistér 担任的是 Autopilot Vision 副总裁。

2015 年 12 月,在 Gray 和 Liccardo 离开后,特斯拉把原来 Model X 的首席产品经理 Sterling Anderson 调入,担任 Autopilot 总监,Anderson 的角色更接近产品总监/项目总监。

2016 年 1 月,特斯拉又引入 Jim Keller,公司对 Keller 的任命是 Autopilot 硬件工程副总裁。Keller 的团队一面着手设计完全无人驾驶芯片 FSD,一面于 2016 年 10 月推出搭载英伟达芯片的第二代自动驾驶硬件系统。

此外,Keller 麾下还成立了利用 AI 提升软件算法的机器学习小组。

2015 年 – 2016 年,硬件工程副总裁 Jim Keller 与 Vision 副总裁 David Nister 以及 Autopilot 总监 Sterling Anderson 的搭班,是 Autopilot 第一版相对稳定的管理架构。

在这个架构下,芯片、计算机视觉、AI 这几个日后关键的要素都已经萌芽。

在 2016 年 10 月以后,为了推动 Tesla Vision 尽快追赶上 Mobileye 软件所提供的功能和性能,Vision 小组与机器学习小组在技术和产品上进行融合。

同时在软件工程上,特斯拉借调了当时 SpaceX 的软件工程副总裁 Jinnah Hosein,来兼任 Autopilot 临时的软件工程副总裁。

图片[20] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

Aurora 创始人:Chris Urmson(左)与 Sterling Anderson(右)

2016 年底,Sterling Anderson 离开特斯拉,与前 Google 自动驾驶的 CTO Chris Urmson 创办 Aurora.ai。

2017 年 1 月,特斯拉又从苹果挖来了编程语言 Swift 的主要开发者 Chris Lattner,Lattner 的角色是 Autopilot 软件工程副总裁。

随着 Lattner 的到来,Jinnah Hosein 重回 SpaceX,而原来 David Nistér 的 Vision 团队被来自苹果的 Chris Lattner 接管。机器学习小组与 Vision 小组随后合并,成为现在的 Autopilot AI 团队。

从 2016 年下半年 – 2017 年上半年,在 David Nistér、Jinnah Hosein、Chris Lattner 和 Jim Keller 4 位副总裁的领导下,特斯拉 V8.1 的更新基本上恢复了此前全部的自动驾驶功能。

一个颇具戏剧性的结果是,前面的 3 位软件副总裁,到 2018 年已经悉数离开了特斯拉。

SpaceX 的 Jinnah Hosein 加盟了 Anderson 创办的 Aurora.ai。David Nistér 去了英伟达负责自动驾驶高精地图业务。而 Chris Lattner 很快去了 Google,现在在开发 TensorFlow。

在 2017 年 6 月,Chris Lattner 离开之后,特斯拉进一步提拔了 Jim Keller 为总负责 Autopilot 硬件和软件工程的副总裁。

同时,团队内部当时机器学习小组的负责人谷俊丽向 Elon Musk 推荐了 OpenAI 科学家 Andrej Karpathy,Andrej 在 2017 年 6 月加入,担任 Autopilot AI 总监,负责的就是此前 Vision 小组与机器学习小组合并的团队。

这样,在 Jim Keller 治下,Pete Bannon 主要带领 FSD 的研发,Andrej Karpathy 主要负责 Vision 和 AI 的开发。这个局面是 Autopilot 第二版相对稳定的治理架构。

在 2017 – 2018 年,Jim Keller 带领下的 Autopilot 团队发展到 300 – 400 人。

除了 Pete Bannon 带领的 FSD 开发,以及 Andrej 带领的 AI 团队外,Autopilot 还包含了规划控制、地图、仿真和测试等模块。

到 2018 年 4 月,Jim Keller 离开特斯拉转投 Intel,原来 Snap 的工程 VP Stuart Bowers 接了 Keller 的班,Autopilot 今天大致保持了 Jim Keller 时期的架构。

在 Jim Keller 的团队之外,Autopilot 还有一支关联团队很少被人提及,就是 Firmware 团队,有时也被称为嵌入式团队。

这支团队有将近百人,负责包括车内大屏、数据采集、软件 Build&Release 以及 OTA 等工作的开发。

这支团队由特斯拉软件工程副总裁 David Lau 带领,Lau 是特斯拉元老级的成员。Firmware 团队深居幕后,却对 Autopilot 也至关重要。

从 Autopilot 1.0 到 2.0,特斯拉在自动驾驶上建立了自主可控、快速迭代的能力。尽管这个过程看起来极尽折腾,内部的团队常常濒临「无人驾驶」的状态,但 Autopilot 最终拿出了领先行业的量产功能。

Autopilot 短周期高强度迭代开发的过程,也培养了一大批自动驾驶领域的实战人才。

除了先后投奔各家的高管,在中国公司的自动驾驶业务一线,小鹏汽车自动驾驶副总裁谷俊丽就是前面提到的在 Autopilot 2.0 开发时期发挥关键作用的机器学习小组负责人。

此外,蔚来汽车负责 NIOPilot 的副总裁 Jamie Carlson、纽劢科技 CEO 徐雷、原 Roadstar 联合创始人衡亮以及 AutoBrain 的联合创始人 Yolanda Du 也悉数出自 Autopilot 团队。

图片[21] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

特斯拉实现自动驾驶的路径

2019 年 3 月,特斯拉已经开始量产 FSD,FSD 能够以不到 100 瓦的功耗输出 144TOPS 的算力。根据 Elon Musk 最近的一次承诺,特斯拉将在明年底在一部分市场推出完全无人驾驶的功能。

图片[22] - 与时间赛跑,特斯拉Autopilot发展进化史 - 极客空间

特斯拉自研芯片 FSD

Elon Musk 第一次公开谈论解决完全无人驾驶的问题,是在 2015 年 3 月。

在当年 GTC 上,Musk 与黄仁勋这样讲道:「在我看来,无人驾驶的问题已经解决了。我们知道准确的技术实现路径,未来几年就能把它做出来。我们不仅要做无人车开发的领头羊,而且要让你真能买得到。」

次月,Autopilot Vision 团队在特斯拉内部成立。同年特斯拉在 V7.0 更新中推送 Autosteer 功能。

到 2016 年 Q3,搭载 Autopilot 1.0 的特斯拉已经卖出 11.4 万辆。

特斯拉可能是人类历史上,第一次用联网的汽车,以如此大的规模,配置完全相同的传感器,采集相同格式的真实驾驶数据。

这些众包采集的数据,在经过筛选清洗标注后,被用于训练深度学习的算法,算法再被进一步封装,以 OTA 的方式装载到用户车载计算机的芯片上。

数据 – 算法 – 更多数据 – 更优算法,是特斯拉实现完全自动驾驶的路径。而其自研的 FSD,为 Autopilot 奠定了算力基础,也让这个路径的实现成为可能。

回到 2014 年的秋天,当大部分人都认为广泛的无人驾驶不会那么快到来时,Elon Musk 已经不想再等。


作者 / 老车头;编辑 / 王德芙;出品 / 汽车之心(微信 ID:Auto-Bit)

本文部分内容首发于知识星球「汽车之心」:https://t.zsxq.com/NbeyvJY

参考资料:

[1]https://lexfridman.com/tesla-autopilot-miles-and-vehicles/

[2]https://www.bloomberg.com/news/articles/2013-05-07/tesla-ceo-talking-with-google-about-autopilot-systems

[3]https://waymo.com/safety/

[4]https://www.youtube.com/watch?v=kp3ik5f3-2c

[5] 特斯拉 2014 年年报

[6] https://www.tesla.com/blog/tragic-loss

[7]https://www.tesla.com/blog/all-tesla-cars-being-produced-now-have-full-self-driving-hardware?redirect=no

THE END
喜欢就支持一下吧
点赞0 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容