服务粉丝

我们一直在努力
当前位置:首页 > 财经 >

GEN2发布:首个多模态视频工作流

日期: 来源:AIGC研修社收集编辑:逗砂

昨天晚上,Runway 发布了最新的视频工作流 GEN-2 (小声说一下我 GEN-1 都还没来得及用)。

这个升级版主要是加入了文字和图像作为提示词直接生成视频的功能。

在 GEN-1 里大部分的还只是对视频风格的处理,GEN-1 的介绍我在之前写的 ControlNet VS GEN-1 :谁将成为AIGC的新范式?有详细介绍。

GEN-2 的官方页面:https://research.runwayml.com/gen2

GEN-2 的相关论文(可以看到是3月11日发布的):https://arxiv.org/abs/2302.03011

GEN-2 的宣传视频:


     模式一:文字生成视频

使用纯文本提示,你就可以生成成任何您能想象到的风格的视频。只要您能说出来,你就可以看到它。

Prompts:纽约市阁楼的窗户透过午后晚阳投射进来。


     模式二:提示词+图片生成视频
也就是通过输入图片和提示词来生成视频。这里给出的例子是通过一张男人走在街上的图片,还有提示词来生成的一张不同风格的视频。

Prompts:一个低角度拍摄的镜头,拍摄一个男人走在街上,周围的酒吧霓虹灯照亮了他的身影。


     模式三:图片生成视频
不需要提示词直接使用图片生成视频。

文生视频这个领域去年Google也发布过类似的产品,但是后面就没有什么水花了。归根结底还是因为目前的文生视频还是只能生成很短的几秒钟。GEN-2 看起来也是如此,给出的 Demo 都是一些微动画。
不过不管怎么说 GEN-2 确实是多模态,对比之前百度发布会的 生成视频的多模态来说 GEN-2 才是真正的生成视频,百度那个更多是拼接视频。

GEN-2 什么时候才能用上?目前官方没有给出内测申请入口。不过可能很快就会开始内测了。

相关阅读

  • 腾讯回答2022:Q2跳伞,Q4回暖

  • 3月22日下午,腾讯发布了2022年Q4和全年业绩报告。根据财报披露的信息,腾讯在去年第四季度的收入为1450亿元人民币,同比增长0.5%。同时,按照非国际财务报告准则,经营利润达到了394
  • 如果你的面试官是AI,这些建议能助你一臂之力

  • 在疫情隔离期间,许多人力资源管理程序转移到线上。即使生活日渐重归亲临实地的现实,这些程序中有许多也会继续保留。其中之一是虚拟的,或者说预先录制的求职面试,它们越来越多地
  • 盗坤 | 变现百万

  • 有些人是天生的懒惰主义者,当他们遇到了业务瓶颈的时候,突然听大家说起了视频号这个风口。他以为是个风口是个人都能接住,所以只要做了视频号,所有的问题都迎刃而解了。殊不知,视
  • 半无人,日销三万

  • 把别人的视频录制下来,在直播间用绿幕去放录制好的视频,然后真人在右下角出镜。用这种方式,在视频号卖虾仁,一场直播卖了三万多。这种操作,也就是市面上所谓的半无人直播。关于半
  • “西瓜”不行就换“青桃”?抖音版 B 站来了!

  • 狐妹发现,最近又有一款水果类……啊不是,一款中长视频 APP 上线了。它就是“青桃” APP。天眼查显示,这款名叫“青桃”的 APP 早在今年 2 月就悄咪咪上线了。不过好像直到现在
  • 知乎高赞:有什么0门槛不起眼很挣钱的副业?

  • 短视频的火爆,带来了太多“造富神话”。2021年前,网上经常可以看到有关短视频作者轻松月入十万的新闻。如此诱人的收益,再加上看似非常低的投入,学习剪辑成为视频创作者开始成为
  • 抖音家推出了这款APP,叔叔你还笑得起来吗?

  • 有同学反馈收不到推送,请大家星标果核,第一时间接收推送。各视频平台都有自己的赛道,有偏向短视频的、有偏向二次元的、还有生活的、科普的、偏向电视剧电影和偏向微信的……一

热门文章

  • “复活”半年后 京东拍拍二手杀入公益事业

  • 京东拍拍二手“复活”半年后,杀入公益事业,试图让企业捐的赠品、家庭闲置品变成实实在在的“爱心”。 把“闲置品”变爱心 6月12日,“益心一益·守护梦想每一步”2018年四

最新文章

  • GEN2发布:首个多模态视频工作流

  • 昨天晚上,Runway 发布了最新的视频工作流 GEN-2 (小声说一下我 GEN-1 都还没来得及用)。这个升级版主要是加入了文字和图像作为提示词直接生成视频的功能。在 GEN-1 里大部分的
  • 【头条】关于劳动合同终止,这些你要知道!

  • 劳动合同是保障劳动者实现劳动权益的重要法律形式之一我正在孕期,公司能与我终止合同吗?我的合同到期了,单位没跟我续订合同,能要求支付经济补偿吗?关于劳动合同终止你是否也存在