特斯拉Autopilot软件总监Ashok Elluswamy在投资者日会议上发表演讲时表示，运行FSD（全自动驾驶）软件的特斯拉汽车（目前约有40万客户）将能够通过硬件升级做出更智能的自动驾驶决策，这将提高整体人工智能（AI）能力。
该公司目前拥有一个人工智能系统，实时收集车上八个摄像头的视觉数据，并生成一个3D输出，识别障碍物及其运动、车辆、道路和交通信号灯，并对帮助汽车做出决策的任务进行建模。
特斯拉挖掘其汽车网络以获取更多的视觉数据，并将其输入到训练模型中。训练模型不断学习以解决新的问题，有助于AI更好地理解路上的模式。通过FSD软件升级，新的知识被输入到汽车中。
“如果我们运行并重复这个过程，它会越来越好。”Elluswamy说，“可扩展FSD的解决方案是让架构、数据和计算变得恰到好处，我们已经组建了一个世界级的团队来执行这项工作。他们正在将这三项工作推向前沿。”
FSD并非一帆风顺，软件故障迫使特斯拉召回了36万多辆汽车。该公司通过无线更新提供了软件修复。特斯拉客户可以从每月99美元开始购买FSD。一些使用旧款特斯拉车型的客户还需要额外付费安装FSD电脑。Elluswamy声称，有FSD的特斯拉仍然比美国全国平均水平安全高五到六倍。
Elluswamy说：“随着我们提高系统的安全性、可靠性和舒适性，他们可以解锁无人驾驶操作，从而将汽车的使用方式更新并超越目前的使用方式。”
如今，该公司在其数据中心的14000个GPU上运行其人工智能系统，并可以利用30 PB的视频缓存，而视频缓存正在增长到200 PB。约4000个GPU用于自动标记，其余10000个GPU用于人工智能的数据训练。
Elluswamy说：“一旦我们将Dojo（我们的训练计算机）引入这一领域，所有这些都将显著增加。”
Dojo系统基于特斯拉自主研发的D1芯片，可提供22.6万亿次的FP32性能。它拥有500亿个晶体管和10TBps的片上带宽，以及4TBps的片外带宽。
一组D1芯片将安装在高密度ExaPOD机柜中，它将提供1.1 EB的BFP16和CFP8性能。特斯拉的车载FSB计算机可以提供150万亿次的性能，主要用于推理。
特斯拉硬件高级主管Ganesh Venkataraman在去年的Hot Chips大会上发表演讲时表示，特斯拉之所以制造D1芯片，是因为在GPU和CPU扩展方面存在缺陷。
Venkataraman说：“我们注意到了许多瓶颈。首先是在推理方面，这是我们做FSD计算机的原因。然后我们开始注意到类似的训练规模问题，了解工作量后……我们可以根据输出需求优化我们的系统。”
在早期，特斯拉的人工智能系统依赖于单摄像头和单帧视频，然后在自动汽车规划系统的后期处理中进行拼接。
“这是非常脆弱的，并没有带来显著成功，”Elluswamy说。
在过去几年中，特斯拉已经转变为一个“多摄像头视频世界”。每辆车都有八个摄像头，将视觉信息输入AI系统，然后生成一个3D输出空间。人工智能对障碍物的存在、它们的运动、车道、道路和交通灯等做出决定。
任务建模超越了计算机视觉，并使用了ChatGPT等人工智能系统中使用的技术，包括转换器（Transformers）、注意力模块（attention modules）和令牌（Token）的自回归建模。
Elluswamy说：“有了这样一个端到端的解决感知的系统，我们真的去除了脆弱的后处理步骤，为规划系统提供了高质量的输出。即使是规划系统也没有一成不变。它现在开始使用越来越多的人工智能系统来解决这个问题。”
自动驾驶汽车需要快速响应，以便实时做出平稳、安全的决策。Elluswamy举了一个50毫秒响应时间的例子，自动驾驶汽车可以在与周围环境（包括行人、红绿灯）交互后做出驾驶决定。
这是大量数据，而在传统计算中，“每项数据都需要10毫秒的计算时间，很容易就超过了1000毫秒。这是不可接受的。”Elluswamy说，“但使用AI，我们将所有这些都打包成了50毫秒的计算量，这样它就可以实时运行。”
特斯拉正在通过收集世界各地不同路况和交通趋势的汽车数据来扩充其原始数据。特斯拉使用算法重建车道、道路边界、路缘、人行横道和其他图像，然后将其作为帮助汽车导航的基础。
Elluswamy说：“这是通过收集车队中不同汽车的各种片段，并将所有片段组合成汽车周围世界的统一表示来实现的。”
随着更多数据被输入到系统中，训练模型被不断地重构。为了训练网络，特斯拉在收集的数据上建立了一个复杂的自动标记管道，在该管道上运行计算算法，然后生成标签来训练这些网络。
Elluswamy说：“一旦我们完成了基础重建，我们就可以在基础上构建各种模拟，以产生无限多样的数据进行训练。”特斯拉拥有强大的模拟器，可以合成对抗性天气、照明条件，甚至其他物体的运动。“每次我们添加数据时，性能都会提高。”
