
8月12日消息,昆仑万维于8月11日开启SkyWork AI技术发布周,连续五天每日推出一款模型,覆盖多模态人工智能的关键应用场景。
今天,昆仑万维发布了其自主研发的世界模型Matrix系列中的最新版本——Matrix-Game 2.0。该模型在交互式世界生成领域取得重要进展,支持通用场景下的实时长序列交互式内容生成。
为推动该领域的发展,昆仑万维决定全面开源Matrix-Game 2.0,为业界提供首个在通用场景中实现交互式实时长序列生成的世界模型开源方案。
据称,Matrix-Game 2.0在实时生成和长序列能力方面实现了显著突破。相比前代版本,新版本更注重低延迟与高帧率的交互性能。该模型可在多种复杂场景中稳定以25帧每秒的速度生成连续视频内容,且生成时长可延长至分钟级,大幅提升了生成内容的连贯性与实用性。
在生成速度明显提升的同时,模型仍能准确理解物理规律与场景语义。用户可通过简单指令自由探索、操控并实时构建结构清晰、细节丰富、符合逻辑的虚拟世界。
此外,昆仑万维还开源了另一款大模型Matrix-3D,该模型能够基于单张图像生成高质量、视角连贯的全景视频,并可还原出可供漫游的三维空间,生成效果达到行业领先水平。
Matrix-3D由以下几个核心模块构成:
轨迹引导的全景视频生成模块:利用场景Mesh渲染图为条件输入,训练视频扩散模型生成符合指定相机轨迹的全景视频,提升空间结构一致性,有效减少遮挡错误与图像伪影。
双路径可选的全景三维重建模块:包含两条重建路径。优化路径通过对生成视频进行超分辨率处理和3D高斯优化,获取高质量三维结构;前馈网络路径则基于Transformer架构,从视频Latent特征中快速预测三维几何属性,实现高效重建。
Matrix-Pano数据集:一个大规模高质量的合成数据集,包含116,000条静态全景视频序列,并附有相机轨迹、深度图和文本注释信息。
Matrix-Game和Matrix-3D的开源地址分别为:
https://github.com/SkyworkAI/Matrix-Game
https://github.com/SkyworkAI/Matrix-3D
本文属于原创文章,如若转载,请注明来源:昆仑万维开源Matrix系列AI模型,推动交互式世界生成技术发展https://ai.zol.com.cn/1029/10298429.html