昆仑万维发布并开源 Matrix-Game 2.0 与 Matrix-3D 模型,深耕交互式世界模型领域

2025-08-12 10:07:20 来源:IT之家
昆仑万维发布并开源 Matrix-Game 2.0 与 Matrix-3D 模型,深耕交互式世界模型领域

  8 月 12 日消息,昆仑万维 SkyWork AI 技术发布周于 8 月 11 日正式启动,活动将连续五天每天发布一款模型,覆盖多模态 AI 核心场景。

  在首日,昆仑万维带来了自研世界模型 Matrix 系列中 Matrix-Game 交互世界模型的升级版本 ——「Matrix-Game 2.0」,该模型号称实现了通用场景下的交互式实时长序列生成。为促进交互式世界模型领域的发展,「Matrix-Game 2.0」全面开源,堪称业内首个在通用场景上实现实时长序列交互式生成的世界模型开源方案。

  「Matrix-Game 2.0」在实时生成和长序列能力上实现了 “质的飞跃”。相较于上一版本,2.0 版本更侧重低延迟、高帧率的长序列交互性能,能够以 25 FPS 的速度,在多种复杂场景中稳定生成连续视频内容,且生成时长可扩展至分钟级,大幅提升了内容的连贯性与实用性。

  值得一提的是,在推理速度显著提升的同时,模型依然保持了对物理规律与场景语义的 “精准理解”,支持用户通过简单指令,自由探索、操控并实时构建结构清晰、细节丰富、规则合理的虚拟环境。

  除了 Matrix-Game 2.0.昆仑万维还开源了 Matrix-3D 大模型。该模型能从单图像出发,生成高质量、轨迹一致的全景视频,并直接还原可漫游的三维空间,对标李飞飞 WorldLabs 的生成效果,可实现更大范围的探索空间。

  Matrix-3D 由以下核心部分组成:

  轨迹引导的全景视频生成模块:利用场景 Mesh 渲染图作为条件输入,训练视频扩散模型生成符合给定相机轨迹的全景视频。这一模块能提升生成视频在空间结构上的一致性,缓解遮挡错误与图像伪影问题。

  双路径可选择的全景 3D 重建模块:包含优化路径和前馈网络路径。优化路径会对生成的视频进行超分与 3DGS 优化,以获取高质量 3D 结构;前馈网络路径则基于 Transformer 直接回归,从生成视频 Latent 特征快速预测 3D 几何属性,实现高效重建。

  Matrix-Pano 数据集:这是一个大规模高质量合成数据集,包含 116K 条带有相机轨迹、深度图和文本注释的静态全景视频序列。

  此次两款模型的发布与开源,不仅展现了昆仑万维在 AI 多模态领域的技术实力,也为相关领域的开发者提供了有力的工具支持,有望推动交互式世界模型技术的进一步发展与应用落地。

免责声明:本文仅代表作者个人观点,与朝闻天下无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们联系,本网站将在规定时间内给予删除等相关处理.

猜你喜欢

OpenAI 奥尔特曼:考虑收购 Chrome,计划投资脑机接口公司,将投巨资建数据中心

8月16日消息,当地时间周四,OpenAICEO奥尔特曼在旧金山与TheVerge记者共进晚餐时,披露了公司一系列未来的宏大计划。其中既有可能投入数万亿美元建设数据中心,也有对收购谷歌Chrome浏览

AI 投资

2个月前

美国宇航局研发 O-PTIR 技术,助力高效识别火星岩石成分

8月16日消息,据科技媒体scitechdaily8月15日博文报道,美国宇航局的科学家成功研发出O-PTIR光热红外光谱技术,该技术未来可应用于太空岩石检测,能高效区分不同成分并敏感检测有机物。20

美国 技术

2个月前

HKC 蚂蚁电竞 ANT257PF 显示器将于 8 月 19 日在京东拍卖

8月16日消息,HKC蚂蚁电竞宣布,旗下全球首款原生750Hz刷新率显示器ANT257PF将于8月19日晚8点在京东拍卖频道以“1元起拍”的形式开启拍卖。成功拍到该产品的用户,将获得TE溯游戏战队俱乐

蚂蚁 京东

2个月前

FlexiVol 全息 3D 投影技术问世:无需头显,可直接用手交互空中内容

8月16日消息,据科技媒体Neowin报道,西班牙纳瓦拉公立大学(UPNA)的研究团队展示了一种名为“FlexiVol”的全息3D投影技术。该技术的突出特点是,所呈现的全息内容无需用户佩戴头显,就能清

技术

2个月前

iOS 26 提醒事项升级:原生支持自动分类,AI 助力任务智能分组

8月16日消息,科技媒体9to5Mac于8月15日发布博文报道,苹果在iOS26的提醒事项(Reminders)应用中,新增了原生自动分类功能——借助Apple智能(AppleIntelligence

iOS 26 AI

2个月前

Windows 11 预览版 Build 26200.5751/26120.5751 推送:Copilot + 功能升级,多场景体验优化

8月16日消息,微软今日向Windows11Dev开发频道推送了预览版Build26200.5751(KB5064071),同时也为Beta频道推送了Build26120.5751(KB5064071

功能 优化

2个月前