文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

无需游戏引擎,大模型实时生成“我的世界”,每秒20帧零延迟可交互,已开源

2024-11-28 15:37

关注

可以直接根据玩家操作预测下一帧,连游戏引擎都省了。

这个怎么看都像是《我的世界》的界面,就是这款游戏Oasis本尊了。

虽然看着像,但两者驱动方式完全不同,Oasis的图像不是来自渲染,而是AI实时绘制。

Oasis会根据你的键盘输入生成新的帧,每次游戏都能探索不同的地图。

像这样的可交互世界模型,一个模型就是一个游戏,每秒20帧零延迟的生成效率,也让不少人都投来了惊讶的目光。

FlashAttention作者Tri Dao也感叹说,很快模型推理成本就会降低,很多娱乐内容将会变成AI生成。

图片

目前Oasis的代码和500M参数的模型权重已经开源,作者同时也放出了在线体验版本。

无需游戏引擎,大模型即是游戏

在Oasis之前,已经有人用类似的技术,开发出了基于大模型的fps射击游戏。

图片

现在,Oasis直接把科技树点到了开放世界游戏当中。

Oasis在线版本提供了多种地图风格可供选择,需要排队体验,不过时间不长,排到一次可以玩五分钟。

图片

进入之后会显示游戏画面、操作说明和剩余的体验时间。

图片

根据前面选择的地图风格,游戏中的AI引擎可以实时生成各种各样的画面。

图片

而且模型也包含了一些对现实世界的理解,比如在绘制时能够理解并遵循光照等物理规律。

图片

生命值、饥饿度这样一般游戏中具有的复杂机制也都有,可以通过食物来获得体力。

图片

而且游戏世界也并不空洞,角色的设定方面,Oasis中安排了大量的动物和NPC。

但是……为什么都挤成一团啊?

图片

当然这些动物也不只是贴图,你可以像《我的世界》种一样和动物进行交互。

图片

时间用完或者手动结束后,还会有游戏全过程的视频记录,可以选择下载保存。

图片

不过,Oasis的画面质量也确实还有很大的进步空间,还有人吐槽一致性问题,只要转一个圈看到的东西就全变了。

图片

但至少胜在响应速度快,也算是为以后的实时AI画面生成打了个样。

那么,Oasis的研发团队都运用了些什么技术呢?

生成一帧只要47毫秒

Oasis由位于美国加州的初创公司Decart打造,该公司成立于2023年。

为了让研发的模型能够高效工作,Decart选择了和一家叫做Etched的芯片初创公司合作研发。

Etched由哈佛辍学生Gavin Uberti在2022年创建,并于今年获得了1.2亿美元的A轮融资。

今年六月,Etched研发出了专用于Transformer的4nm AI芯片Sohu,号称一张能顶20张A100。

图片

按照宣传,Sohu运行700亿参数的Llama 3,每秒吞吐量可达50万tokens,相当于1秒就能生成21个人一天说的所有话。

当然,Sohu拥有高速度的代价之一就是只能用来跑Transformer,其他的CNN、RNN等神经网络通通运行不了。

所以,为了能够利用Sohu的速度优势,Decart团队为Oasis选定了Transformer作为基础架构。

具体来说,Oasis所用的模型由空间自动编码器和潜在扩散主干两部分组成。

两者都基于Transformer构建,其中自动编码器为ViT(Vision Transformer)架构 ,主干网则运用了很多视频生成模型(包括Sora)都在用的DiT(Diffusion Transformer)。

Decart还对Transformer架构进行了修改,在空间注意层之间穿插了额外的时间注意层,以便提供来自先前帧的上下文。

图片

另外不同于Sora等双向模型的是,Oasis生成帧的过程是自回归的,因此能够根据游戏输入对后续帧进行调节,使得用户能够与世界实时交互。

Decart介绍,如果用H100来跑Oasis,在360P的画质下能够达到每秒20帧,而用Sohu的话相同帧率下的画质可以达到4K。

实际运行下来团队发现,Oasis生成一帧画面只需47毫秒。

当然除了速度之外,对于Oasis这样的游戏场景来说,保持时间稳定性也是一项重要工作。

但是在自回归模型中,错误会发生叠加,即使很小的缺陷也有可能形成雪球效应。

为了解决这个问题,Decart团队引入了动态噪声。

动态噪声机制会在第一个扩散前向传递中注入噪声以减少误差累积,并在后面的传递中逐渐消除,这样模型就可以找到并保留高频细节。

图片

未来,Decart团队将针对部分远处物体出现模糊、不确定对象的时间一致性等问题进行研究,逐步提升Oasis的游戏体验。

官方介绍:https://oasis-model.github.io/。

DEMO:https://oasis.decart.ai/welcome。

代码:https://github.com/etched-ai/open-oasis。

模型权重:https://huggingface.co/Etched/oasis-500m。

来源:量子位内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯