今年是AI生成视频技术爆发的一年。从年初OpenAI推出Sora开始,全球各大人工智能视频技术研发团队就在日以继夜,你追我赶,才过了大半年,正是上市的产品就有Runway、pixverse、Luma、即梦、可灵、清影等等,太多了。
随着AI视频生成工具的升级迭代、不断成熟,围绕AI视频生成的应用场景也不断被大家开发出来,从年初的“AI我中华”,到AI绘本动画,再到老照片“动起来”,到用AI生成高质量的电影级预告片和商品宣传片……
人们使用AI生成视频的门槛也不断降低,年初想要生成“AI我中华”这样首位帧相接,快速变化转场的动画,除了要有丰富的Stable Diffusion动画插件使用经验,更要有动辄上万的电脑主机配置,这让很多对AI视频生成这一新生事物产生浓厚兴趣的朋友望而却步。但随着后来可灵、清影的问世,现在我们普通人拿着一部智能手机就能进行AI视频创作。科技进步大大降低了大家的使用门槛。
当然,由于目前整个AI生成式应用尚处于发展的初级阶段,AI视频生成更是处于探索初期,现有的工具要生成一镜运到底的长时间,复杂内容的视频暂时还难以做到,另外现有工具在使用中还经常存在这些问题:
1.训练数据差异: 视频生成的内容和提示词想差很大。特别是国外产品的训练数据并不了解国内的很多文化,元素和符号内容。同样的名词国内外代表的事物存在差异。或者更简单来说就是国外模型使用的国内的训练数据少。
2.提示词的差异:使用国外产品一般需将中文的提示词翻译成英文提示词再给到模型进行输出,这个过程难免导致很多内容、信息上差异。
3.AI视频生成工具无法模拟真实时间的运动状态:特别是生成多个人物,或者多个事物的时候,视频中物体的三维状态很难保持协调性。经常会出现人物胳膊腿乱飞的现象,或者反物理常识的运动状态,这就使得生成的内容很奇怪,不太和谐。
虽然AI视频生成的技术和工具发展任是任重而道远,但凭借现在常规的这些AI工具,已经能够创作出高质量的视频作品了,比起工具本身,这里面更考验大家的是对剧情分镜场景的编导能力,对前期生成图片的审美能力,后期的视频剪辑能力。
这里,我给想要用AI创作高质量的视频作品的朋友,整理了一个思路:
1.使用大语言模型如ChatGPT、Kimi智能助手等生成文案;
2.文案满意后,使用大语言模型将文案分段变成一组组的提示词;
3.使用Midjourney、FLUX、Stable Diffusion等多模态模型来合成对应的图片内容。
4.在Runway、Luma、可灵等视频生成工具中使用图、文组合提示词,再加上运镜。
5.使用ChatTTs生成音频
6.使用剪映把音频和视频内容串联起来即可。整个视频生成过程涉及使用文本提示词来生成文案,用文本提示词生成图像,用图、文提示词生成视频。因此合成好的视频就离不开提示词的各场景的使用,来引导大语言模型、文生图模型、文生视频模型生成高质量的文案、图像、视频。
既然做视频,那一定要选择好用的AI视频生成工具,这样可以帮我们事半功倍。这里,我就把当前几种主流好用的视频生成工具推荐给大家:
1.可灵
网址:https://klingai.kuaishou.com/
手机端:各大应用商店下载快影
这个没说的,对中文提示词语意理解较好,支持视频延长(最长3分钟)、定义尾帧图片、运镜模式,国货之光,Sora公测前公认效果最好,最能接近Sora的AI视频生成工具。
2.Luma
网址:https://lumalabs.ai/dream-machine
这个工具最大的优点就是动作幅度大,想象力足。不同于其他视频生成工具,Luma生成的视频中,主要角色动作幅度都比较大,好处是有时能生成出人意料的效果,坏处是有时动作快得刹不住车,造成主要角色严重变形。
3.Runway
网址:https://app.runwayml.com/video-tools/teams/wyzyaan/ai-tools/generative-video
Runway Gen-3 Alpha整体效果也是非常出众,对语意理解也非常到位,比起可灵,就差最长可将视频延长到3分钟了。
4.Viva
网址:https://vivago.ai/explore?activeTab=video
Viva也是生成效果比较好的一款视频生成工具,最大的有点就是免费,让大家可以无限抽卡。
5.即梦
网址:https://jimeng.jianying.com/ai-tool/home
字节头条的即梦,如果没有友商快手可灵出来抢风头,现在应该算国内第一图片、视频生成工具了,它的优势就是比较全面,像故事创作模式还可以实现从文案到绘本视频一站式生成,你说厉害不?
6.清影
网址:https://chatglm.cn/video?fr=opt_homepage_PC&lang=zh
手机端:各大应用商店下载智谱清言
清影是智谱清言下面的视频生成模块,未来估计会像可灵一样独立出来。虽然在语意理解上比可灵、即梦这些国内大哥还差得有点远,而且视频尺寸还不能调为竖屏,但它免费呀!况且还是初代产品,随着迭代会越来越好。
另外由于清影所用的是开源模型(模型开发者将源代码挂在网上,可以免费下载使用),还有人将其模型下载到电脑上,用ComfyUI联动其他诸如FLUX等生图模型,可玩性非常强,很容易形成行业的生产力落地方案。
大家可以将这些工具都拿来用一下,掌握它们的特性,如果将以上工具善加利用,哪怕你是过去不止AI为何物的小白,也能快速创作出令人满意的作品。
文章来源公众号:AI资本家