一方面,良好的人机交互界面设计是关键。例如,简洁直观的界面布局,合理分布的按钮、图标等元素,能让驾驶者轻松理解和操作。熟悉的图标、颜色和语言的运用,符合人类的习惯和心理需求,使驾驶者能够快速上手。
另一方面,语音交互、手势交互和触摸交互等多种交互方式的优化,极大地减少了驾驶者的注意力分散,提高了驾驶安全性。语音交互自然便捷,能让驾驶者在不分散视线的情况下完成各种操作;手势交互直观高效,无需看屏幕即可操作;触摸交互在合理布局触摸屏的情况下,也能让驾驶者准确地进行操作。这些交互方式的结合,为用户带来了更加舒适、便捷的驾驶体验。
自动驾驶对大量数据的处理需求极高。每辆自动驾驶汽车配备大量传感器,如摄像头、激光雷达、毫米波雷达等,这些传感器会产生海量的数据。前端技术在其中发挥着重要作用,比如数据压缩技术。以点云数据为例,每个 PCD 文件包含大量数据,ASCII 编码模式下单文件大小高达 20 多 MB,在静态帧标注场景,单帧能达到几百 MB。
通过采用二进制编码等压缩方式,可以将文件体积压缩到原来的 20%,极大地减少了存储空间的占用和数据传输的时间。此外,流式加载技术也是前端技术在自动驾驶中的重要应用。在静态帧标注场景,采用分片流式加载的方式,渐进式地加载 PCD,并增量绘制到场景里,避免了一次性加载大文件带来的卡顿问题,为用户提供了丝滑的体验。前端技术通过数据压缩和流式加载等方式,满足了自动驾驶对高效数据处理的需求。
在自动驾驶中,前端里程计的代码优化至关重要。其中,功能模块降耦合是一种有效的优化方法。例如,前端按照模块可以分为匹配、滤波、局部地图滑窗、全局地图等,而匹配和滤波模块可以独立成为通用模块。以匹配模块为例,输入点云后输出位姿,不同的匹配方式可以通过多态实现。
定义一个基类RegistrationInterface,不同的具体实现作为它的子类存在,如NDTRegistration和ICPRegistration。在程序运行时,通过定义类对象的指针,根据初始化的子类决定执行哪种匹配方式。这样在更换匹配方式时,只需要改变初始化即可,避免了大量代码的修改。滤波模块也可以采用类似的方式设计,以便在后续尝试更好的滤波方式时更加便捷。
在自动驾驶仿真系统中,前端开发起着关键作用。首先是选择开发工具,在前端开发中,可以使用图形用户界面(GUI)开发工具如 Qt、Gtk + 等开发桌面应用程序,也可以选择 Web 前端技术如 HTML、CSS 和 JavaScript,并结合框架如 React、Angular 或 Vue.js 等开发 Web 应用程序。
其次是设计用户界面,创建主要界面布局包括地图显示区域、控制面板、数据可视化等,并设bibo必博官网计交互元素如按钮、滑块、输入框等,用于用户与仿真系统的交互。然后是集成后端 API,与后端开发团队合作,定义和使用 RESTful API 或 WebSocket 等方式进行前后端数据交互和通信。最后是实现仿真数据的实时显示和交互,如车辆位置、传感器数据等,并响应用户输入调整仿真参数,如车辆速度、路线规划等。
在无人驾驶编程中的应用,不同的编程语言在无人驾驶中发挥着不同的作用。Python 因其在算法开发、数据处理及机器学习领域的广泛应用成为首选,其简洁语法和丰富的库支持使得处理复杂的数据处理任务和机器学习算法更加高效、直观,如 TensorFlow 和 PyTorch 库为自动驾驶车辆的视觉识别、决策制定等关键技术提供支持。C++ 因其高性能的特点,在处理实时系统和性能敏感的自动驾驶模块中发挥关键作用,如传感器数据采集、图像处理、物体检测等模块。Java 在自动驾驶系统中主要用于后端服务和一些不那么性能敏感的模块,具有良好的跨平台性、稳定的运行环境和成熟的生态系统,常用于车辆与云服务器之间的数据交换、车队管理系统等应用。JavaScript 在自动驾驶车辆中的应用主要集中于前端界面的开发和车辆网关与服务器之间的数据交互,随着 Node.js 的流行,也开始在后端服务中发挥作用。
在自动驾驶中的智能安防应用场景,前端技术在智能安防中有着广泛的应用。例如视频监控,安防企业在视频监控方面首屈一指,自动驾驶需要前端设备感知遇到的所有事物,而安防企业在造智能车方面具有摄像头、传感器、车联网、车载信息化设备、智能互联云平台等技术优势。通过视频监控,可以实时分bibo必博官网析路况、车辆及行人信息,基于分析结果汽车可以做出有效、及时的反馈。此外,报警系统和智能门禁等也在自动驾驶的安防场景中发挥着重要作用,当自动驾驶汽车检测到危险时可以及时发出警报,智能门禁可以确保车辆在特定区域的安全通行。
目前,自动驾驶感知大模型正逐渐成为提升车辆自动驾驶能力的核心驱动力之一。随着以 ChatGPT 为代表的生成式人工智能的发展,感知大模型在自动驾驶领域得到了广泛关注。感知大模型能够利用传感器采集的数据,实时动态地生成驾驶环境的感知结果,识别和理解道路、交通标志、行人、车辆等信息,为自动驾驶车辆提供准确的环境感知。
例如,百度文心 UFO 2.0 视觉大模型、华为盘古 CV 以及商汤的 INTERN 大模型等在自动驾驶感知方面已有相关应用。这些感知大模型通过整合多模态信息,获得了识别万物的通用感知能力,极大地提升了自动驾驶车辆对复杂环境的适应能力。
端到端自动驾驶的发展路径呈现出从分模块到一体化的趋势。端到端可以分为狭义端到端和广义端到端两种定义。从发展上看,通过感知 “端到端”、模块化 “端到端”,再到 One Model / 单一模型 “端到端” 是一种相对平滑的过渡形式。当前感知层 “端到端” 已经是主流的感知模型,决策与规控层自动驾驶算法向 “端到端” 收敛有望成为行业趋势。
端到端自动驾驶对车企竞争格局产生了重大影响。智能化时代,自动驾驶能力将重新构筑车企竞争壁垒,核心竞争要素在于 “数据”+“算力”。头部车企或供应商能掌握更多更优的 “数据”,以及更强更快的 “算力”,而优秀的智驾能力有望加强销量转化,最终强化车企马太效应,令智驾强者愈强。
特斯拉作为先行者,于 24 年初推送端到端版本的 FSD,从实际体验来看,操作更拟人、丝滑。国内主机厂如华为、小鹏、理想、元戎启行、商汤绝影等纷纷跟进,其中华为、小鹏端到端进度相对领先。因各车企战略选择有差异,端到端路线尚处在百花齐放的阶段,但随着数据、算力等竞争要素逐渐赶上,端到端路线有望逐渐收敛至一体化结构,并会结合多模态大模型、世界模型等,不断加强感知、认知、决策能力。
商汤绝影智能汽车事业群自成立以来,在智能汽车领域取得了令人瞩目的成就。发展历程方面,2016 年商汤参与本田 L4 自动驾驶研发,向其提供视觉感知技术、自动驾驶芯片和嵌入式系统,开启了在智能汽车领域的探索。此后,不断加速研发进程,2018 年介入汽车智能座舱,推出首款驾驶员感知系统,并陆续获得上海、北京、成都、西安智能网联汽车道路测试牌照。
在技术创新方面,绝影依托商汤原创 AI 算法和模型积累,具有业内领先的环视感知算法能力,其环视感知算法 BEVFormer++ 在 2022 年全球知名的 Waymo 挑战赛中获得感知算法冠军。同时,原创的自动驾驶通用目标感知体系,降低了目标数据获取的人力成本,实现了低成本的车端模型开发并投入量产项目应用。此外,商汤绝影率先布局多模态大模型技术与智能汽车的融合,如在 2024 北京车展上展示的真・端到端自动驾驶解决方案 UniAD 和以多模态场景大脑为核心的 AI 大模型座舱产品矩阵。其中,UniAD 将感知、决策、规划等模块整合到一个全栈 Transformer 端到端模型中,实现了感知决策一体化的真・端到端自动驾驶,在复杂多变的交通环境中展现出像人一样灵活应对的能力。
在商业化落地方面,截至 2022 年上半年,绝影持续推进产品商用化,收入大幅增长 71%,服务客户数 20 个,同比上升 54%,同时单客户收入也提高了 11%。绝影合作的量产车品牌包括上汽、广汽、东风、比亚迪、蔚来、奇瑞、长城、高合汽车等。商汤绝影还在国内设有 3 大研发中心和 7 大工程中心,未来将在德国等地设立研发中心,进一步加速原创技术出海的进度。
商汤绝影的成功案例为前端与自动驾驶的结合提供了诸多启示。首先,技术创新是关键,不断探索新的算法和模型,如多模态大模型技术,能够提升自动驾驶的智能化水平,为用户带来更好的体验。其次,商业化落地需要与产业链各方紧密合作,包括车载域控、各类新传感器的适配等,共同推动高级别智能驾驶的量产交付。此外,要善于抓住市场机会,如商汤在重庆公交坠江事件后推出 DMS(驾驶员状态感知系统),并顺势推出一整套的 “智能座舱” 功能,实现了业务的快速发展。
对未来发展的展望,随着科技的不断进步,前端与自动驾驶的结合将更加紧密。一方面,感知大模型将不断发展和完善,为自动驾驶提供更准确的环境感知和决策支持。另一方面,端到端自动驾驶将继续演进,向一体化结构发展,并结合多模态大模型、世界模型等技术,进一步提升自动驾驶的性能和安全性。同时,随着智能汽车市场的不断扩大,将有更多的企业参与到前端与自动驾驶的结合中来,共同推动行业的发展。未来,我们有望看到更加智能、安全、便捷的自动驾驶汽车,为人们的出行带来全新的体验。