论文标题: AutoMV: An Automatic Multi-Agent System for Music Video Generation作者: Xiaoxuan Tang, Xinping Lei, Chaoran Zhu, Shiyun Chen, Ruibin Yuan, Yizhi Li, Changjae Oh, Ge Zhang, Wenhao Huang, Emmanouil Benetos, Yang Liu, Jiaheng Liu, Yinghao Ma机构: m-a-p.ai / 北京邮电大学 / 南京大学 / Queen Mary University of London / 香港科技大学 / University of Manchester论文链接: arXiv:2512.12196项目地址: GitHub | Website
一、一句话概述
AutoMV 是一个无需训练的多智能体系统，输入一首完整歌曲，全自动生成一支具有角色一致性、镜头多样性、音乐-视觉对齐的完整 MV，并在人类专家评估中显著超越现有商业产品，接近专业人工制作水平。
二、研究背景与动机
🧩 音乐视频自动生成的三大痛点
音乐视频（MV）制作一直是一项高度依赖人工的创作活动。拍摄一支专业 MV 需要编剧、导演、摄影师、剪辑师等多角色协作，耗时数周、成本动辄上万美元。
现有的 AI 视频生成方法虽然发展迅猛，但在 MV 场景下存在三个核心挑战：
• 时序一致性缺失：现有方法只能生成短片段，无法维持角色外观在整首歌中的一致 • 音乐-视觉对齐不足：生成的画面与音乐节拍、歌词内容、歌曲结构脱节 • 缺乏系统性评估：业界缺少针对 MV 生成的标准化评测基准
图2：传统 MV 制作流程 vs AutoMV 自动化工作流。AutoMV 大幅节省人力与时间成本，同时保持令人满意的质量。
三、方法详解
整体架构：四阶段多智能体协作
AutoMV 将 MV 生成拆解为四个可协同工作的阶段，每个阶段由专门的 Agent 负责：
图3：AutoMV 整体架构。包括音乐感知预处理、编剧/导演规划、视频生成、以及 Gemini Verifier 质量验证四个阶段。
阶段一：音乐信息预处理 🎵
系统首先使用一系列音乐信息学工具提取歌曲的结构化特征：
• Songformer 分析歌曲结构（前奏、主歌、副歌、桥段等），将完整歌曲划分为多个片段（segment） • Whisper 进行歌词识别，获取时间对齐的歌词 • htdemucs 进行音源分离，提取人声轨道（用于后续唇形同步） • 提取节拍（beat）信息，为后续视觉节奏对齐提供基础
这些音乐属性被构建为统一的上下文输入，供下游 Agent 使用。
阶段二：编剧 Agent + 导演 Agent 🎬
这是 AutoMV 的"大脑"——由 Gemini 驱动的**编剧 Agent（Screenwriter）和导演 Agent（Director）**协同工作：
编剧 Agent 的职责：
• 为每个歌曲片段设计短剧本（script），包括场景描述、角色动作、情绪基调 • 定义**角色档案（character profiles）**并存入共享的外部角色库（Character Bank） • 角色库确保整支 MV 中同一角色外观一致——这是实现角色一致性的关键机制
导演 Agent 的职责：
• 将剧本转化为具体的拍摄指令 • 指定镜头类型（特写、中景、远景等）和运镜方式 • 决定什么时候需要唇形同步（lip-sync），什么时候只需普通画面 • 调用 Image Generator 生成**关键帧（keyframe）**作为视觉锚点
阶段三：视频生成 🎥
AutoMV 采用自适应后端路由策略，根据场景类型选择不同的视频生成模型：
• 故事场景（story scenes）：使用 Kling-2.6 或 Veo-3.1，以关键帧为条件生成叙事性视频片段 • 歌手场景（singer scenes）：使用 Qwen-Wan-2.2 进行唇形同步生成，实现伴舞与演唱画面 • 关键帧由 Seedream-4.5 生成，作为视频生成的视觉参考
阶段四：Gemini Verifier 质量验证 ✅
Gemini 2.5 Pro 充当验证官，对生成结果进行两道关口检查：
• 图像验证：检查关键帧的物理真实性（姿态、光照、透视是否合理）和指令遵循度（是否匹配剧本描述） • 视频验证：检查生成片段的物理可行性、文本-视觉对齐度，以及角色身份连续性——与角色库中的描述是否一致
只有通过验证的候选结果才会被采纳，未通过的会自动重新生成。
效果展示
图1：AutoMV 生成结果展示。系统能生成保持角色一致性、包含多样镜头和视觉特效、且与音乐和歌词对齐的完整 MV。
四、实验与评估
评测体系：4大类12项细粒度指标
AutoMV 构建了首个系统性的 MV 生成评测基准，包含 4 个高级类别和 12 项细粒度指标：
| Music Content（音乐内容） | |
| Technical（技术质量） | |
| Post-Production（后期制作） | |
| Art（艺术表现） |
评分同时采用人类专家评估（邀请独立音乐人、唱片公司从业者、MV 导演）和LLM-as-Judge 评估（Gemini、Qwen 系列），并使用 ImageBind 进行客观的音画对齐度（IB）度量。
主实验结果
表1：30 首歌曲基准上的总体评估结果。成本和时间按每首歌归一化。
📊 关键发现：
• AutoMV 在所有自动系统中取得最强综合表现，在 ImageBind 音画对齐分数（24.4%）上显著超越 Revid.ai（19.9%）和 OpenArt-story（18.5%） • 在人类专家评分中，AutoMV 的 Content 类别得分（2.62）远超商业产品（最高 1.10），接近人类专家制作的 MV（2.95） • 成本仅 $10-20/首、耗时约 30 分钟——对比人工制作 ≥$10K 和数周工时 • LLM 评分（Gemini-2.5-Pro）在 Technical、Post-Production、Content 三个维度上，AutoMV 同样全面领先商业基线
消融实验
表2：消融实验结果。
消融实验揭示了各组件的重要性：
• 去除歌词信息：Content 得分从 2.62 降至 1.83——说明歌词引导对语义对齐至关重要 • 去除角色库：Character Consistency 下滑明显，验证了角色库在保持身份一致性中的核心作用 • 去除 Verifier：Physical Authenticity 和 Shot Continuity 均下降，说明验证模块有效过滤了低质量生成
基线对比
图4：与基线方法的可视化对比。AutoMV 在角色一致性（a）和内容多样性（b）上均表现更优。
五、LLM-as-Judge 探索
论文还深入探讨了使用多模态大模型作为 MV 自动评委的可行性：
图8：各模型评分与人类评分的 Pearson 相关系数热力图。
• Gemini-3-Pro-Preview 与人类评分相关性最高（总体 r=0.600），尤其在 Physical Authenticity（r=0.737）上表现突出 • Gemini-2.5-Pro 紧随其后，在 Emotional Expression（r=0.613）上表现最佳 • Qwen-Omni 系列由于输入 token 限制只能处理 30 秒片段，评分出现饱和现象，相关性较低 • ImageBind 虽仅输出单一分数，但也展现出中等程度的相关性（r=0.274）
💡 核心洞察：LLM 的 MV 评估能力与其视频理解能力直接相关——视频理解越强的模型，与人类判断的相关性越高。
六、总结
AutoMV 的核心贡献：
• 🧩 首个端到端全自动音乐视频生成系统，输入歌曲即可输出完整 MV • 🎬 创新的多智能体协作架构：编剧 Agent + 导演 Agent + Gemini Verifier，模拟真实制作流程 • 🔧 角色库机制确保跨镜头的身份一致性——这是长期视频生成的关键突破 • 📊 构建了首个系统性 MV 生成评测基准（4类12指标），填补了领域空白 • 💰 成本 $10-20/首，将 MV 制作从"奢侈品"变为"日用品"
七、不足与未来方向
7.1 当前不足 🔸
• 物理真实性不稳定：基础视频生成模型仍会产生异常的手部姿态、发光眼睛等物理上不合理的画面 • 节拍对齐不精确：舞蹈动作与音乐节拍的同步仍不够精确，现有节拍跟踪方法鲁棒性不足 • 文字渲染质量差：当剧本要求出现文字元素时（如手写信特写），当前视频模型难以保持字形一致性 • 唇形同步仍有偏差：含糊歌词或特殊唱法（如周杰伦风格的咬字）仍会导致口型对齐错误
图5：物理不合理生成的典型案例。
图6：文字渲染不一致案例——手写信中字形随时间变化。
图7：音源分离前后唇形同步效果对比。(a) 无音源分离 (b) 有音源分离——后者显著优于前者。
7.2 未来研究方向 🚀
• 基础模型升级：随着视频生成模型能力的提升，物理真实性和文字渲染等问题有望自然缓解 • 节拍精确对齐：将 beat-aligned motion generation 作为独立研究方向，实现更精准的音画同步 • 更强的验证机制：引入更细粒度的质量检查，减少人工干预需求 • 交互式编辑：允许用户对剧本、角色和镜头进行微调，实现人机协同创作 • 更全面的 LLM 评委：探索长上下文视频理解模型作为自动评估器的潜力
💡 延伸思考：AutoMV 的意义不仅在于自动化 MV 制作，更在于它展示了一种可泛化的多智能体创作范式——将复杂创意任务拆解为规划、执行、验证三个环节，由不同 Agent 协同完成。这种架构可以迁移到短视频广告生成、影视预告片制作、甚至交互式音乐可视化等场景。当 AI 不仅能"理解"音乐，还能"导演"画面，内容创作的门槛将被彻底重塑。
