今日精选的前沿 AI 信息,欢迎阅读 👇
🎥 Runway 推出 Gen-3 Alpha 视频转视频功能,一键将视频转换任意风格,还可添加特效!
🎬 阿里通义万相发布全新 AI 视频生成模型,多风格影视级画质,支持多语言和可变分辨率!
🎨 阿里 EchoMimic 推出 ComfyUI 插件,轻松生成口型同步的角色肖像动画视频!
🖌️ 阿里开源 Flux 局部重绘 ControlNet,简单涂抹即可精准修改图像!
✂️ AI Youtube Shorts Generator 自动剪辑长视频精彩片段,生成吸引人的短视频,提升创作效率!
前沿资讯
1、Runway 推出 Gen-3 Alpha 视频转视频功能,一键转换任何风格。
该功能能够将一段视频画面风格转换成任意风格,画面稳定,甚至你还可以给画面增加特效。
目前仅针对付费会员开放使用,如下转换的示例,随意改变视频画面中的环境季节、天气、还可添加下雪的特效。
2、阿里通义万相发布全新 AI 视频生成模型。
申请体验:https://tongyi.aliyun.com/wanxiang/wanxvideo
- 具备强大的画面视觉动态生成能力;
- 擅长概念理解与组合生成,多种艺术风格轻松驾驭;
- 优化中式元素表现,带来影视级画面质感;
- 支持多语言与可变分辨率生成。
AI 绘画
1、阿里搞的音频生成视频项目 EchoMimic,有 ComfyUI 插件了。
只需要提供角色图像和音频,生成逼真的且口型同步的角色肖像动画视频,此外通过可编辑的标志点调节,可让肖像动画更加生动自然。
GitHub:https://github.com/smthemex/ComfyUI_EchoMimic
2、Flux 局部重绘的 ControlNet。
阿里开源的一个基于 Flux 的局部重绘 ControlNet,涂抹需要修改的地方,输入提示词后即可精准修改。
GitHub:https://github.com/alimama-creative/FLUX-Controlnet-Inpainting
如下图效果演示,从左到右:输入图像 --> 蒙版图像 --> SDXL 修复 --> FLUX 修复
开源项目
1、一款自动化剪辑长视频精彩部分并生成短视频的工具:AI Youtube Shorts Generator。
主要功能是从长视频中提取有趣的、吸引人的片段,通过剪辑、添加配乐、生成标题和描述,最终生成全新的短视频。
GitHub:https://github.com/SamurAIGPT/AI-Youtube-Shorts-Generator
工作流程:
- 视频下载:给定一个 YouTube 视频链接,工具自动下载视频;
- 转录功能:使用 Whisper 进行视频内容转录;
- 精彩片段提取:利用 GPT-4 识别视频中最吸引人的部分;
- 说话人检测:检测视频中的说话人;
- 垂直剪辑:将精彩片段进行竖向视频裁剪,并制作成短视频。
个人觉得比较适用于自动化剪辑一些名人演讲视频,感兴趣的可以研究看看。