智东西
作家 | 李水青
剪辑 | 心缘
智东西5月15日报谈，昨日晚间，阿里通义万相团队开源Wan2.1-VACE（Video All-in-one Creation and Editing model，视频剪辑与生成谐和模子）。
这是当今业界功能最全的视频生成与剪辑模子。单一模子可同期撑捏文生视频、图像参考视频生成、视频重绘、视频局部剪辑、视频布景延展以及视频时长延展等多种生成和剪辑智力，并撑捏多任务组合生成。
举例，Wan2.1-VACE可将竖版《蒙娜丽莎》静态图膨胀为横版动态视频，并为其“戴上”参考图中的眼镜，一次性完成画幅膨胀、时长延展和图像参考三项任务。
该模子基于通义万相V2.1基座检修，本次共开源1.3B和14B两个版块。其中1.3B版（轻量级）撑捏480P视频输出，可在奢靡级显卡驱动；14B版（满血版）撑捏480P/720P，恶果更优。
诞生者可在GitHub、Huggingface及魔搭社区下载体验，该模子还将舒服在通义万相官网和阿里云百真金不怕火上线。
开源地址：
GitHub：https://github.com/Wan-Video/Wan2.1
HuggingFace：https://huggingface.co/Wan-AI
魔搭社区：https://www.modelscope.cn/organization/Wan-AI?tab=model
一、单一模子措置视频生成和剪辑
Wan2.1-VACE定位为“视频规模的万能模子”，撑捏一王人主流输入神色，涵盖文本、图像、视频、Mask和升天信号，不错齐全变装一致性、布局、开拓姿态和幅度等因素的升天。
主要智力袒护了：
1.视频重绘：撑捏通过景深、姿态、开拓轨迹等多维度升天条款生成新视频。
2.局部剪辑：齐全视频对象的增改换，举例擦除东谈主物、替换物体（如熊猫变狮子）。
3.图像参考生成：撑捏单图/多图行为主体或布景参考，举例将卡通形象与实景合股。
4.布景延展：自动膨胀视频画幅（如横屏变超宽屏），或生成新布景替换绿幕。
5.时长延展：撑捏在时域上的生成变化，如帧延续、片断延续、连接等。
6.基础生成：基础的文生视频、图生视频、首尾帧等。
二、多任务组合，一次性完成视频增改换扩
Wan2.1-VACE的中枢冲破在于单模子撑捏多任务纯真组合处理，无需传统多模子串联的复杂责任流。
其撑捏恣意基础智力的摆脱组合，用户无需针对特定功能检修一个新的众人模子，即可完成更复杂的任务，极地面膨胀了AI视频生成的思象空间。
举例：在视频中框选区域替换为猫，同期参考原视频动作序列和新猫图片，齐全局部剪辑+动作迁徙。
这种纯竟然组合机制，不仅大幅简化创作经由，也极大拓展了 AI 视频生成的创意规模，举例：
组合图片参考 + 主体重塑功能 → 视频中物体替换
组合开拓升天 + 首帧参考功能 → 静态图片的姿态升天
组合图片参考 + 首帧参考 + 布景膨胀 + 时长延展 → 将竖领土拓展为横屏视频，而且在其中加入参考图片中的元素。
三、模子亮点解读：谐和四大输入，破解多模态肃肃
Wan2.1-VACE基于通义万相文生视频模子研发，同期改进性建议了全新的视频条款单位 VCU，它在输入形状上谐和了文生视频、参考图生视频、视频生视频、局部视频生视频4大类视频生成和剪辑任务。
视频条款单位 VCU将多模态的种种高下文输入，转头成了文本、帧序列、Mask序列三大形状，在输入神色上谐和了 4 类视频生成与剪辑任务的谐和。VCU 的帧序列和Mask序列在数学上不错互相重叠，为多任务的摆脱组合创造条款。
同期，Wan2.1-VACE还进一步解决了多模态输入的token序列化肃肃，将VCU输入的帧序列进行主张解耦，分开重组成可变序列和不行变序列后进行编码。
结语：视频生成时候进化，从单任务向多任务组合迈进
通义万相Wan2.1-VACE的推出，体现了视频生成时候从单任务向多任务组合迈进的趋势。其开源政策或有望缩小AI视频创作门槛，从而进一步鞭策生成式AI在影视、告白等规模的利用。
自本年2月以来，通义万相已先后开源文生视频模子、图生视频模子和首尾帧生视频模子kaiyun网址，当今在开源社区的下载量已超330万，在GitHub上斩获超1.1w star，是同期最受迎接的视频生成模子。
