人工智能的时代已经开启，它不再仅仅满足于“画得像”，而是开始理解衣物为何飘动、褶皱如何形成。
韩国科学技术院的一个研究团队开发出一款新的生成式人工智能模型，能够学习遵循物理定律的三维空间运动与交互。这项技术克服了现有基于二维视频的人工智能的局限，有望显著提升电影、元宇宙和游戏中虚拟角色的真实感，并大幅减少对动作捕捉或手动三维图形工作的需求。
该研究成果已发表在预印本服务器arXiv上。
由计算学院Tae-Kyun Kim教授领导的研究团队开发了“MPMAvatar”，这是一个基于空间和物理的生成式人工智能模型，它突破了现有二维像素级视频生成技术的限制。
为了解决传统二维技术的问题，研究团队提出了一种新方法：利用高斯泼溅技术将多视角图像重建到三维空间，并将其与物理模拟技术——物质点法相结合。
换言之，该人工智能通过立体重建从多视角拍摄的视频，并让该空间内的物体像在真实物理世界中一样运动和交互，从而自主学习物理定律。
这使得人工智能能够基于物体的材质、形状和外部作用力计算其运动，然后通过将计算结果与实际视频进行比较来学习物理规律。
研究团队使用点单元来表征三维空间，并通过将高斯泼溅和物质点法同时应用于每个点，他们一举实现了物理上自然的运动和逼真的视频渲染。
也就是说，他们将三维空间分割成无数微小的点，使每个点都像真实物体一样移动和变形，从而实现了与真实世界几乎别无二致的自然视频。
特别是，为了精确表达像衣物这样轻薄复杂物体的交互，他们同时计算了物体的表面网格结构和其粒子单元结构，并采用了物质点法。该方法能依据物理定律计算物体在三维空间中的运动和形变。
此外，他们还开发了一种新的碰撞处理技术，能够逼真地再现衣物或物体在多个位置以复杂方式移动和相互碰撞的场景。
该技术所应用的生成式人工智能模型MPMAvatar，成功再现了穿着宽松衣物的人体的真实运动与交互，并且在零样本生成方面也取得了成功，即人工智能能够对学习过程中从未见过的数据进行自主推理处理。
所提出的方法适用于各种物理属性，如刚体、可变形物体和流体，因此不仅可用于虚拟人物，也可用于生成一般的复杂场景。
Tae-Kyun Kim教授解释道：“这项技术超越了人工智能简单地画一幅画；它让人工智能理解‘为什么’它眼前的世界是它所呈现的样子。这项研究展示了能够理解和预测物理定律的‘物理人工智能’的潜力，标志着朝向通用人工智能的一个重要转折点。”
他补充说：“预计该技术将在更广泛的沉浸式内容产业中得到实际应用，包括虚拟制片、电影、短视频内容和广告等，并带来重大变革。”
研究团队目前正在扩展这项技术，致力于开发一个仅根据用户文本输入就能生成物理一致的三维视频模型。
精选文章：