人工智能媒体生成数字人多模态【免费下载链接】ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60项目地址https://ai.gitcode.com/hf_mirrors/nvidia/ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60点击查看免费下载ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60 是 NVIDIA 发布的 ARDY 交互式人体动作生成human motion generation模型家族中的一个变体。与其他直接预测原始髋部轨迹的 ARDY 模型不同它采用了Kimodo 平滑根轨迹表示smooth-root motion representation让根约束和动作输出能够与 Kimodo 模型直接比较、互通。本文用通俗的语言拆解这个差异到底在哪里以及它带来了什么实际价值。 先认识 ARDY一个能对话的动作生成模型ARDYAutoregressive Diffusion with Hybrid Representation是一款面向交互式人体动作生成的扩散模型你给它一段文字它就能让虚拟角色做出对应的动作你给它一条行进路径或几个关节关键帧它就会听话地生成符合约束的全身动作。它的三个核心能力在线文本提示online text prompting生成过程中可以持续输入文本动作实时响应灵活的长时程运动学约束支持根轨迹/途经点root paths/waypoints、全身关键帧、稀疏关节位置与旋转实时响应自回归 扩散的混合架构单步生成一段再接着往下生成历史姿态最多可参考 8 秒。模型规模不大非常适合部署总计192M 参数去噪器 157M 动作 tokenizer 36M不含文本编码器。典型应用场景包括人形机器人动作规划、游戏动画、数字孪生与工业仿真、以及合成数据生成。 核心差异根轨迹表示决定了模型的性格要理解这个变体与众不同之处先理解什么是根轨迹root trajectory。根轨迹 人体根部骨盆/髋部在地面上划出的行走路径。它决定了角色往哪走、走多快是整段动作的骨架。其他 ARDY 变体如 20fps 的 Core 版、25fps 的 G1 机器人版直接用**原始髋部轨迹raw hip trajectory**作为根表示——也就是把髋关节位置的原始序列原封不动地喂给模型。**本变体KimodoRep**则改用了Kimodo 模型使用的平滑根表示对比维度其他 ARDY 变体本变体KimodoRep根表示原始髋部轨迹Kimodo 平滑根表示骨架27 关节Core/ 34 关节G1SOMA 30 关节人体模型帧率20 / 25 fps30 fps生成视野8 / 40 / 52 帧不等60 帧约 2 秒平滑意味着什么原始髋部轨迹里混杂着大量高频抖动和细微噪声模型必须逐点复刻这些噪声而平滑根表示把关注点收敛到整体的行进路径、速度与方向节奏上把高频毛刺过滤掉。带来的直接好处有三个预测更稳定模型学的是走向而不是抖动长时生成时轨迹不容易漂移约束更精准给模型指定一条 root path 或 waypoint 时平滑表示让约束误差更可控生态互通输出的根运动格式与 Kimodo 模型直接可比对、可直接衔接方便在同一管线里混用两套模型。 config.yaml 里的Kimodo 基因打开 config.yaml能清晰看到这个变体的身份设定关键参数值含义motion_repKimodoMotionRep动作表示采用 Kimodo 平滑根方案autoencoder 与 denoiser 处各出现一次skeletonSOMASkeleton30SOMA 30 关节人体骨架fps3030 帧/秒的动作频率gen_horizon_len60每次自回归生成 60 帧约 2 秒num_frames_per_token4每 4 帧压缩成 1 个 token降低序列长度causal_encoder/causal_decodertrue因果结构是实现实时流式交互的关键num_base_steps10基础去噪步数仅 10 步保证实时性nframe_root_dim20每帧根运动用 20 维描述input_first_heading_angletrue首帧朝向角也作为模型输入可以看到KimodoMotionRep同时写进了动作 tokenizerFSQVAETransformer带 128 级的 FSQ 有限标量量化和去噪器AutoLatentTwostageDenoiser两处——也就是说从编码、压缩到生成整条链路都在同一套平滑根表示上进行而不是生成完再转换格式。 stats/ 目录让平滑生效的归一化统计仓库中的 stats/motion/ 目录直观展示了这套表示的双轨结构路径内容stats/motion/body/身体body特征的均值mean.npy与标准差std.npystats/motion/global_root/全局根世界坐标系下的行进统计stats/motion/local_root/局部根相对身体朝向的根部运动统计global_root与local_root的拆分正是平滑根表示的典型形态一条轨记录在世界中往哪去另一条记录相对身体如何移动两者都经过均值/标准差归一化让不同尺度、不同分布的信号落在统一的数值区间内模型训练更稳、约束求解更准。此外还有 stats/pre_quantization/ 与 stats/post_quantization/分别保存 tokenizer 量化FSQ前后的统计量覆盖编码全链路。 快速上手三步用起来第一步克隆仓库git clone https://gitcode.com/hf_mirrors/nvidia/ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60第二步核对模型文件是否齐全文件作用denoiser.safetensors两阶段去噪器权重157M 参数tokenizer.safetensors动作 tokenizer 权重36M 参数config.yaml模型结构与推理配置stats/训练集统计量推理归一化必需LICENSENVIDIA 开放模型协议第三步接入 ARDY 官方代码库运行README.md 中给出了代码库指引本仓库只存放模型权重与配置。运行环境要求PyTorch 推理TensorRT 加速引擎可选操作系统 LinuxGPU 支持 Ampere / Hopper / Blackwell 架构官方在 NVIDIA A100 与 RTX 4090 上完成过推理测试。✅ 总结这个变体适合谁一句话如果你需要 30 fps、SOMA 30 关节人体模型并且希望与 Kimodo 模型生态互通选它就对了。想要平滑可控的根轨迹约束沿路径行走、途经点导航→ KimodoRep 平滑表示让约束更准想与Kimodo 模型混合使用、结果直接可比→ 只有这个变体做到同格式对话其他需求低帧率快速原型、Unitree G1 机器人骨架则可以看看 ARDY-Core 与 ARDY-G1 系列变体。这个变体证明了动作生成模型之间说同一种语言同一套根表示往往比单纯堆参数更有价值——它让约束、评测与模型切换都变成了一次简单的格式对齐。赞分享人工智能媒体生成数字人多模态【免费下载链接】ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60项目地址https://ai.gitcode.com/hf_mirrors/nvidia/ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60点击查看免费下载相关推荐ARDY-SOMA-RP-30FPS-Horizon60与Core、G1等5个模型变体怎么选30fps SOMA骨架版本适用场景对比ARDY SOMA RP 30FPS Horizon60与Core、G1等5个模型变体怎么选30fps SOMA骨架版本适用场景对比 ARDY SOMA RP人工智能媒体生成数字人ARDY-SOMA-RP-30FPS-Horizon60模型仓库文件完全指南denoiser、tokenizer、config.yaml与stats各是什么ARDY SOMA RP 30FPS Horizon60模型仓库文件完全指南denoiser、tokenizer、config.yaml与stats各是什么人工智能媒体生成数字人避坑指南ARDY-SOMA-RP-30FPS-KimodoRep-Horizon60的6大已知限制与工程实践建议脚部滑移等避坑指南ARDY SOMA RP 30FPS KimodoRep Horizon60的6大已知限制与工程实践建议脚部滑移等 ARDY SOMA RP 30人工智能媒体生成数字人多模态上一篇UnityGaussianSplatting渲染系统深度解析BiRP、URP和HDRP集成全攻略下一篇终极终端音乐体验NetEase-MusicBox命令行播放器完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
