智能座舱的下一个方向，3D 化交互？

顾方亚

虚幻引擎的前世今生
如果你是一个游戏玩家，那么对虚幻引擎这个名字应该不会太陌生。作为一个游戏引擎，基于虚幻开发的游戏大作数不胜数，比如《堡垒之夜》和广受关注的《黑神话：悟空》这样的作品。



极度精细且真实的画面被无数玩家所熟知，而非常完善的开发流程和强大的实时渲染技术也让它成为了众多游戏公司非常乐于使用的引擎。



而虚幻引擎的特点，就是来自其非常完善的应用体系。在过去十几年的时间里，虚幻引擎从游戏领域一直向外延伸，如今已经覆盖到了建筑、影视、医疗、汽车等行业，并且哪怕在同一个行业里也有着非常丰富的应用面。比如在建筑中既可以作为前期设计工具，又可以当作对外展示工具。可以说，3D 可视化的运用已经渗透进了各行各业。
而今天文章的主角，正是虚幻引擎在汽车智能座舱领域的表演。


我们有幸借着 UNREAL OPEN DAY 2022（虚幻引擎技术开放日）的机会，与路特斯智能座舱系统 Lotus Hyper OS 项目的合作伙伴魔思科技的 CTO 张霆先生有一次简短的采访沟通，以下为结合采访整理的内容解读。
数字孪生
数字孪生就是在汽车车机上创造一个和真实世界状态相同的世界和车辆，模拟并显示真实炫酷的视觉效果。


路特斯的车机系统命名为 Lotus Hyper OS，基于两颗 8155 SOC 的硬件和安卓底层架构，使用虚幻 4 打造高质量的 3D 交互界面，并且整个系统带有非常高度的定制化和智能化。
为了塑造出虚拟世界的真实性，充分运用了 UNREAL ENGINE 虚幻引擎和高面数的车辆模型，使用 PBR 材质以及 HDRI 环境光照明技术，营造一个实际观感非同寻常的车机界面。



从颜色，配置，外观，到开关门状态尾翼升起状态，都能够保持车机可视化和车辆真实状态同步。
孪生还不止于此，在 Lotus Hyper OS 中，还可以通过接口读取云端天气信息，并结合车身传感器，在屏幕上显示天气状态，日照情况、雨雾雪的效果。这些真实并且华丽的视觉效果都依托于虚幻引擎自身丰富的特效工具和接口。
HMI 3D 化会是趋势吗？
魔思张霆：「对于车辆来说，人在接触车的过程也是从车外到车内，一样一样去接触车本身的。这个方向能够降低使用上手成本。」
常规来说，一个熟悉使用智能系统的人，对于菜单逻辑的理解都是层级式的。而这些理解在建立的过程中，也是基于一个具体的事物来的，人只需通过眼和手的协调，就能在现实中准确地拿取东西。
比如，在常规菜单中，你想调节尾翼你需要先点击车控按钮，在第一级菜单中选择对应的车辆外部设置栏，再在二级菜单中更改尾翼的开和关。

而在 3D 车控界面中，首先是把视角切换到可以点击尾翼控件的角度，然后点击交互控件就可以开始设置。



所以其实对于 3D 智能座舱的交互逻辑来说，操控逻辑本质上其实并没有发生变化。因为层级关系在 3D 化用户界面中是融合存在的，两者交互控件无非是具像化和文字描述上的区别。
但是对于用户来说，一个不熟悉智能交互方式的用户是可以直接上手 3D 车控界面的，因为在这个场景下交互与现实认知是完全匹配的，而层级菜单却需要经过一次转化。
虽然这两者的理解层面其实没有差别，并且，在 Lotus Hyper OS 的主界面边缘同样可以放置快捷控制功能，比如地图、音乐和空调，依然可以融合层级菜单在整个界面中，并针对高频功能进行整合实现快速控制。



但是相对应的，3D 交互效果目前看来依然需要配合层级菜单一起使用，完全脱离层级菜单只会让整个车控设置缺乏逻辑性，过去所有的 3D 游戏的交互设计也印证了这个道理。


比如需要调整车辆驾驶相关的细节设置，那么像动能回收强度、方向盘力度等功能是抽象的，并不能作为实际存在在 3D 界面的内容中去交互。

而现在大众对视觉效果的需求是逐渐提升的，在这个时代下所有的产品都越来越讲究设计。而在做到实用的基础上，如果能够有着更好的视觉效果，那么这也许就是路特斯系统宣传所提到的次世代座舱系统，一个面向未来的系统。
高度定制化
上海魔思科技的 LuSuKu 工作室作为一家技术供应商，在面对不同的车企客户时，需要为各种不同的需求定制开发流程。
对此，魔思公司内部制作了一个硬件性能评测工具 MoPerf。这个工具在已有的硬件平台上运行各种光照、材质、模型规模的测试，来获取硬件对虚幻引擎各种效果的支持信息，再依靠此信息和需求去定制开发整个系统。
在 MoPerf 的帮助下，后续的开发工作有了高效的便利性。团队可以灵活通过这个工具了解芯片的性能，并且根据性能对使用的技术和效果进行取舍来获得相同硬件下的最优解。
比如 ELETRE 上采用了两颗 8155 的芯片共同处理座舱 5 块屏幕的计算任务 ，那么预先通过 MoPerf 的测试，就发现这一套硬件平台可以支持实时光照和一些特殊效果，在整个开发流程上就减少了大量的调试时间。



而在 Lotus Hyper OS 中，实时光照对应的功能，就是日夜转换和天气效果，这也是路特斯对座舱系统的初始需求之一。
游戏引擎全新的应用
过去魔思科技有十多年的游戏制作经验，并有多部国内外的 3A 游戏制作经验。而对于一家游戏公司来说，过去在游戏行业的开发经验在智能座舱的应用上，实际的利用率将会非常高。
一方面，虚幻引擎的开发工具非常统一且具有高通用性，尤其是 3D 可视化部分。也得益于虚幻引擎非常成熟先进的光照着色技术，所以在游戏和动画行业非常广泛应用的 PBR（基于物理渲染） 材质流程也能够直接应用在里面，这也会对后期一系列的开发效率起到非常好的帮助作用。
另一方面，由于涉及到交互逻辑的设计和编程，而游戏本身就是一个高度程序化的系统，常规的游戏架构复杂度可能都会比 Lotus Hyper OS 需要的场景交互要复杂很多倍。



除开这些以外，虚幻引擎本身的物理系统、特效系统等，在这个路特斯的简易场景中也几乎没有引用的。各方面的精简，才让整个系统能够尽量为画面服务，并且流畅地运行在双 8155 的硬件平台上。
对魔思科技 CTO 张霆的采访纪要
Q：LuSuKu 的基因是来自游戏行业的，我们如何去把之前的经验借鉴到智能座舱方面？有哪些共通点？
A：其实有一个非常本质的一个东西，我们这个品牌叫 LuSuKu，其实这个品牌挺有趣的。站在我们的立场上，它并没有什么特殊的一个含义，它是我们自己，我们原来是做内容的，（我们所说的内容包括游戏本身也是内容）这个名字是我们自己原创项目里一个赛车团队的名称。然后我们自己打造了这个团队，在故事中其实特别有趣，所以我们就把这个团队的名称拿出来，作为我们这个业务品牌的名称了，所以我觉得我们的基因会有一些跟别人不同的地方，除了游戏之外来说的话，第一就是说我们喜欢去做热爱的东西——车。对于我们团队来说，有很多人是特别喜欢的，包括我们自己在做其他内容的时候，像游戏等文化娱乐内容的时候，经常会涉及到车这个东西，我们也有很多车游戏的一些经验，那对于我们来说，进入到这个行业带有一定的偶然性，但是它也是有一定必然性。因为我们在早前的时候会接触到比较多数字孪生这样的一个工作。
那车在一定程度上来说，是因为我们自己喜欢它，站在我们自己的角度，开发者角度和用户角度，都对他有一定的解读，所以说这个是我们进入到这个行业的一个契机。然后另外一点来说，就是从技术这个事情来说，因为我们其实更多地把自己定义为一家是带有研发能力的产品公司或者服务商这样的角色。那其实从本质上来讲，我们去使用一个东西和去开发一个东西是两个不一样的状态。
那对于我们公司来说，更多的是挖掘游戏引擎，包括 UNREAL 这些引擎的一些有优势的一些地方，加入自己的一些研发能力，然后把它进行产品化这样的过程。这是我们过去在做游戏的时候经常会做的一件事情，所以他自然会沉淀下来很多的这样的技术，当其中对于像车机来说的话，3D 化就是一个话题。因为我们都知道，对于 8155 芯片来说，它的算力相对于我们现在的手机，或者 PC 来说的话是有限的，那如何去把我们的技术很好地转化到这样的一个平台上，如何去跟车载延伸功能做很好的结合，这是我们面对的课题，也是我们去解决的问题。好在我们在经历过去的一段时间里面所做的一件事情已经很好地证明了，一家具备图形图像能力研发的一家公司，是可以很好地把这个问题解决的。并且帮助品牌去拿出一些产品，他在产品上面是有些特性的，这个我觉得也是从侧面证明了我们自己的一些价值。
Q：您刚才说那个 3D 效果，如果用在车机的话，他对那个芯片的算力和软件的要求大概是有多高？
A：其实在车辆产品的设计来说，大部分情况是品牌做规划设计，我们在进入项目时才会了解到我们面对的是一个怎样的算力环境。这个话题对我来说一点都不陌生，因为从十几年前我们开始做游戏的时候，都会面对的问题。比如说我们算力就只有这些，我要做更好的东西，我要做东西越来越好，那我们就从游戏机这个话题，从游戏机刚出现的时候，当游戏机（发布）过了五年、七年要结束的时候，它上面画面的一些效果、功能都在变得越来越好，其实它是对于算力的一个挖掘。这样的经验可以帮助我们在跨行应用过程中，有更好的结合方式。如果我们单纯说技术功能源已经占了很多的算力了，我们的渲染需要很多的算力等等。这样说的话，其实很难是把这件事情做到这个高度上。
我觉得过去的经验给我们带来最好的帮助，是我们非常理解这个过程，我们应该怎样去合作，去开发一个好的产品，不打破原有产品的定义和理念，同时又可以把我们的一些技术植入进去，我觉得这个是很宝贵的一件事情。
Q：因为 UE5 很多技术对于行业都是一个颠覆性的，包括 Nanite、Lumen 等技术，可以在传统游戏流程上面去大幅地提升开发效率，那未来 UE5 在智能座舱车机这一块会不会有一些帮助？
A：技术上的升级会一点点地进入到 HMI 领域里面去的，但贸然地去把技术植入到某一个领域里面去，会把它变成一个负担。或者说，其实我觉得更多的是来自于我们现在，包括未来跟厂商之间对于产品的探讨，对于车本身的一些探讨和需求的方向，我们会去选择一步一步地用什么样的技术慢慢地植入到这个领域面去。您刚才所说的 Nanite 也好，Lumen 也好，其实都是很好的话题，我觉得在后面是有很大的机会运用的。而且算力肯定是个成长趋势，这个成长趋势之下也会解放更多的空间。
Q：在初期对于硬件平台的选择，是主动选择骁龙平台，还是被迫选择？
A：其实对于我们来说的话，不会特别得去在意现在的平台的情况。因为十几年以来，我们经常会面对这样的一个话题，大家永远都想做更好的效果，更多的功能，更人性化的产品，大家也都会希望产品本来的能耗都是有所控制的。对于我们来说，第一就是现在我们所面对的（智能座舱）行业，目前的芯片和架构选择上，大概是处在一个这样的层面上，我们也相信未来大家都会往高算力的方向去进行一步一步的有序地发展，那对于我们来说，是把更多可实现技术和对用户有帮助的技术植入到现在的平台上，这个环境就会更重要一些，而不是说我们会去说做一个（硬件平台的）选择。
Q：像我们这次合作其实还是一个基于安卓的底层去做了整个系统，那以后的话会不会有更多的比如说在虚幻引擎内部去做一些系统，就类似游戏里面有各种各样的交易系统、任务系统这样，都把这些程序第三方应用全部做到虚幻引擎里面？
A：是不是第三方我们倒还不太好说，因为这个首先我还是说，第一就是这辆车的一个选择问题。但单纯从技术角度来讲的话，您说的这个是完全有可能的，比如说举个例子，说车载游戏这个发展方向是不是会成为一个独立的一个领域，这个话题一定是存在的，那既然是这样的话，他是不是有更多的发展空间，包括其他的一些第三方的这些应用结合，是不是有更多深度的这种结合空间，我觉得完全可能，我们单纯去说娱乐中的一个话题，它的空间和可能就会非常大。
所以我觉得，可能也因为就是说你是相关专业出身，所以对这方面呢，可能技术上面会更有兴趣，会更敏感一些，那我觉得这些对于大家来说，大家都能看得到，我觉得品牌方也会看得到，然后也会去想象，就是说接下去是不是会有一些延展，甚至于涉及到一些生态的这样一个话题，那我觉得对于我们来说的话，这个有空间。
Q：那如果抛开我们算力的因素，你觉得我们在智能座舱的一个想象力会有多大？
A：这就是一个很有趣的话题，我觉得我们可以聊很久，其实他的想象空间肯定是非常大的，因为为什么说我们在就是座舱内的创新产品和娱乐这一块都有投入和都有观望，都是希望你们刚才所说的东西才会变成一个新的一个将来，驾舱内针对于不同的应用场景。单人的，朋友的，或者说家人的，他都会有一种就是合适的这样的应用内容和应用空间和功能在里面，所以我觉得这个话题从现在开始谈的话，就是一个很好的时机，我觉得我们可以慢慢的去看整体车辆的品牌的一个发展方向，和我们技术的架构的一个发展方向，我觉得对于我们来说，包括娱乐、车载游戏、人工智能，然后对于生活应用场景的一些延伸，这些话题都会涉及到，我觉得我们抱着一个完全开放的一个心态去面对这些东西，可能慢慢的都会到来。
Q：因为英伟达之前发布了一个芯片叫 Thor，它主要是面对自动驾驶的，但是他在发布会的时候有提到，是可以同时应用在自动驾驶的感知和决策，同时还可以再用在智能座舱的计算。那么对这样一个芯片有什么看法吗？
A：我觉得英伟达一直站在这一块的前沿嘛，但是我更期待的是说我们是不是有一些自主品牌的芯片可以出来，然后自己的芯片是不是可以做到某一些啊，领域上的一些应用，这个是我最期待的一个地方，所以英伟达他有很多东西可以做到一个不错的一个就是状态，这个大家都能看得到。我们现在自己会开始关注更多的是国内自己的一些新生在车这个领域上的一些内容，这个是一个很有前景并且非常有趣的一个话题，而且这个事情其实我们已经做了很久很久，不单单是我们，而是说整个行业已经做了很久。其实这个点的话，对芯片公司来说也是一个非常长期的一个合作，是大家都是相互协同进步的。
单是一个车来说的话，整车至少有数万个这样不同的部件，我觉得大家在里边互相之间都会有各种各样的签约和共同发展这样的话题，所以这也是说大的行业的方向在往好的方面发展，所以我们做这件事情对我们自己来说一定是积极的一个选择。
写在最后
总的来说，虚幻引擎在汽车智能座舱的应用是足够新的，将图形化的界面赋以越来越高级的视觉效果这件事，在任何用户看来都是十分明显的代际差异，只不过这种代际差异在 3D 化的交互方式上被放大得足够明显了。
其实在智能座舱刚开始发展的前几年——也就是现在，我们去想象未来的方向和空间依然是十分狭隘的。比如在张霆看来，其实硬件和软件的需求是持续互相挖掘的。软件从不会满足于现有的硬件，反过来硬件也不会满足现有的软件，这个逻辑在过去十几年的游戏发展史中清晰可见。
而在汽车行业中，品牌之间、同级车型之间的智能化方案并不相似，从品牌路线到硬件方案，再到系统方案，每个部分也都有所差异。在这样一个整个行业都没有明确方向的智能化环境中，现在走在前面探索新路线的公司，基本就等于是在开荒。
基于这些东西我们会思考，在下一个 5 年里，全面卷智能化会是智能汽车的趋势吗？并且在这个趋势之中，3D 化的交互设计又会是一个更优解吗？以及作为全球汽车电动化智能化的主战场，国内会不会因此在芯片领域再次获得机会得到进步呢？
起码新一轮的软件军备竞赛已经悄然开始了。