usdt交易平台(www.caibao.it):你在网上看到的0失误游戏视频,可以是用AI天生的丨Demo在线可玩

USDT第三方支付API接口

菜宝钱包(caibao.it)是使用TRC-20协议的Usdt第三方支付平台,Usdt收款平台、Usdt自动充提平台、usdt跑分平台。免费提供入金通道、Usdt钱包支付接口、Usdt自动充值接口、Usdt无需实名寄售回收。菜宝Usdt钱包一键生成Usdt钱包、一键调用API接口、一键无实名出售Usdt。

原题目:你在网上看到的0失误游戏视频,可以是用AI天生的丨Demo在线可玩

萧箫 发自 凹非寺

量子位 报道 | 民众号 QbitAI

现在,能像打游戏一样,控制真人网球运动员的 每一个动作,“赢得”竞赛:

甚至能一帧帧控制,制作一个 0失误的弹球游戏视频:

还可以像夹娃娃机一样,想让视频中的机械人夹爪往哪动,它就往哪动:

制作种种视频,现在就像是打游戏一样简朴,效果还异常真切。

果真,这又是AI的“劳绩”。

“可玩”视频天生器

只需要敲几下键盘,就能控制视频中某个目的的方式,叫做 “可玩视频天生器”

也就是说,不需要视频剪辑技巧,只需要用几个键来指示动作标签,用户就能像“打游戏”一样,控制目的的 每一帧动作,制作出视频来,效果丝滑流通。

不外,与游戏差别的是,这种方式甚至可以通过AI展望动作,来控制 真实视频中的目的。

这是怎么做到的?

作者们行使自监视的方式,让模子学习了大量无标签视频。

也就是说,给出一组无标签视频,让模子学习出一组离散的动作,和一个能通过这些动作、天生视频的模子。

为此,作者设计了一种encoder-decoder结构 CADDY,其中展望的动作标签则起到瓶颈层 的作用。

这些可播放视频天生结构,由若干组件组成,其中编码器E,从输入视频序列中,提取帧特征。

而时序模子,则接纳递归神经 *** R、和用来展望输入动作标签的 *** A,用于估量目的延续的动作状态。

最后,用解码器D,来重构输入帧,就能天生可控制的视频模子了。

训练数据集&操作方式

固然,想要让模子到达开头那样的效果,还需要对应的视频数据集。

作者们用了3个数据集来训练,分别是 RoboNet、Atari BreakoutTennis

RoboNet数据集,是伯克利人工智能研究所 做的一个机械臂数据集,共有1500万个视频帧。

这个数据集,包罗种种机械人的摄像纪录、机械臂姿势、力传感器读数和夹爪状态。

而Atari Breakout,则是一个弹球游戏,这是一个异常简朴的2D像素游戏,玩家通过控制平板左右移动,让弹球准确地弹掉天花板上的砖块,以此得分。

这一游戏,已经专门为AI设立了一个排行榜,现在得分更高的仍然是谷歌DeepMind的 MuZero

,

Usdt第三方支付平台

菜宝钱包(caibao.it)是使用TRC-20协议的Usdt第三方支付平台,Usdt收款平台、Usdt自动充提平台、usdt跑分平台。免费提供入金通道、Usdt钱包支付接口、Usdt自动充值接口、Usdt无需实名寄售回收。菜宝Usdt钱包一键生成Usdt钱包、一键调用API接口、一键无实名出售Usdt。

,

而能控制模子一帧帧天生游戏视频的CADDY模子,也是通过这个游戏训练出来的。

也就是说,只要玩得够慢,绝对能 “0失误”做出“完善弹球游戏视频”来。

假装是自己玩的

至于网球数据集,作者们是在油管下载的 ,通过油管上的网球视频,做出真人可控的录像来。

说不定,未来还能操作自己喜欢的网球巨星,来与密友举行一场世界级的“实战”博弈。

此外,既可以通过项目地址来下载上述的三个模子,也可以自己准备想用的视频数据集 ,来训练出目的可控的视频。

详细到模子运行上,作者们推荐用Linux系统来运行模子,训练的话,更好自带1个或以上兼容CUDA的GPU。

准备好后,就能举行模子训练和评估了。

在线Demo可玩

现在,这一模子的“弹球游戏”版在线Demo已出,玩家可以通过控制左、右、或保持,这三种动作,来让弹球准确地击打到平板上。

若是你是手残党,用这个demo制作出来的视频,绝对能让你体会到游戏0失误的快乐。

文末附demo链接,赶快上手试试吧~

作者先容

这个“可玩视频天生器”的一作Willi Menapace,是来自特伦托大学的博士生,主修深度学习和计算机视觉应用,尤其对图像和视频天生偏向的研究稀奇感兴趣。

二作Stephane Lathuili´ere,是巴黎理工学院的助理教授,主要的研究偏向是强化学习、和深度学习中的回归问题,包罗图像和视频天生。

配合二作Sergey Tulyakov,来自Snap的首席科学家,主要研究偏向包罗机械学习中的气概转换、真切工具操作和动画、视频合成、展望和重新定位等。

Aliaksandr Siarohin和Elisa Ricci,分别是来自特伦托大学的博士生和助理教授,主要研究偏向包罗计算机视觉、机械人和机械学习等。

加入AI社群,拓展你的AI行业人脉

量子位「AI社群」招募中!迎接AI从业者、关注AI行业的小伙伴们扫码加入,与 50000+名密友配合关注人工智能 行业生长&手艺希望

վ'ᴗ' ի 追踪AI手艺和产物新动态

一键三连「分享」、「点赞」和「在看」