AI 也能生成逼真的《猫和老鼠》动画片了！长度可以达到 63 秒，剧情也可以重新生成。

当地时间 4 月 8 日，来自英伟达、美国斯坦福大学、加州大学圣地亚哥分校、加州大学伯克利分校、得克萨斯大学奥斯汀分校的研究人员，基于测试时训练（TTT，Test-Time Training）生成了多个《猫和老鼠》的动画视频。

他们在预训练的 Transformer 模型中添加了测试时训练层并对其进行微调，借此生成了具有强时间一致性的《猫和老鼠》一分钟动画片。

研究人员表示，每个视频都是由模型一次性直接生成的，没有经过编辑、拼接或后处理，每个故事也都是全新创作的。

那么，上述视频到底是怎么生成的？研究人员表示，如今的 Transformer 模型在生成一分钟视频方面仍然面临挑战，因为自注意力层在处理长上下文时效率低下。诸如 Mamba 层之类的替代方案在处理复杂的多场景故事时表现不佳，因为它们的隐藏状态表现力较弱。

为此，他们使用了测试时训练层，其隐藏状态本身可以是神经网络，从而具备更强的表达能力。当在预训练的 Transformer 中加入测试时训练层，使其能够根据文本分镜脚本生成一分钟的视频。

研究中，他们从一个预训练的扩散 Transformer（CogVideo-X 5B）开始，原本其只能以 16 帧每秒的速度生成 3 秒的短片段，或以 8 帧每秒的速度生成 6 秒的短片段。

但是，研究人员添加了从头初始化的测试时训练层，并对该模型进行微调，以便根据文本分镜脚本生成一分钟的视频。

他们将自注意力层限制在 3 秒的片段内，以便将研究成本保持在可控范围内。整个训练过程运行在 256 个英伟达 H100 上，相当于消耗了 50 小时的训练时长。

为了快速进行迭代，研究人员基于约 7 小时的《猫和老鼠》动画片，并辅以人工标注的分镜脚本，整理了一个文本到视频的数据集。

作为概念验证，本次研究中的数据集侧重于复杂、多场景、长镜头且充满动态动作的叙事。而对于视觉和物理真实感方面，此前人们已经取得显著进展，所以本次研究未作重点强调。

从宏观层面来看，本次方法只是在预训练的扩散 Transformer（Diffusion Transformer）上添加了测试时训练层，并在带有文本注释的长视频上进行微调。

他们采用了预先添加测试时训练层、然后再进行微调的方法，这种方法原则上适用于任何主干架构。

研究中，他们选择扩散 Transformer 作为初步演示，因为它是视频生成中最流行的架构。由于在视频上预训练扩散 Transformer 的成本过高，所以研究人员从 CogVideo-X 5B 的预训练检查点开始。

他们将视频设计为包含多个场景，每个场景包含一个或多个 3 秒的片段，并采用 3 秒片段作为文本与视频配对的最小单位，之所以这样做的原因有三个：

第一，原始预训练的 CogVideo-X 的最大生成长度为 3 秒。第二，在《猫和老鼠》的剧集中，大多数场景的时长至少为 3 秒。第三，以 3 秒为一段构建多阶段数据集最为方便。

在推理阶段，研究人员按照以下三种格式中的任何一种，以详细程度递增的顺序来编写长视频的文本提示。

• 格式 2：用大约 20 句话详细描述情节，每句话大致对应 3 秒的片段。

• 格式 3：分镜脚本。每一个 3 秒钟的片段都由一段 3 到 5 句话来描述，内容包含背景颜色和镜头移动等细节。一个或多个段落组成的脚本组，会被严格地界定为属于某些场景，并且要使用关键词“<场景开始>”和“< 场景结束 >”。

在微调和推理中，文本分词器的实际输入始终采用格式 3，格式之间的转换由 Claude 3.7 Sonnet 按 1→2→3 的顺序执行。

为了生成时间较长的视频，研究人员针对每个 3 秒的片段都独立使用相同的程序。

具体而言，给定一个包含 n 段落的格式 3 的分镜脚本，首先生成 n 个序列片段，每个片段都包含从相应段落提取的文本标记以及后续的视频标记。

然后，将所有 n 个序列片段连接在一起，从而形成输入序列，这时序列中包含交错排列的文本 tokens 和视频 tokens。

对于 CogVideo-X 来说，它采用自注意力层来针对每段最长 3 秒的视频进行全局序列处理。但是，面对长视频时，其所采用的全局注意力机制会显著降低效率。

为了避免增加自注意力层的上下文长度，研究人员将其处理范围限定在每个 3 秒片段内，使各 n 个序列片段能够独立进行注意力计算。

由于测试时训练层能够高效地处理长上下文序列，因此他们采用全局方式来处理整个输入序列。

遵循大语言模型的标准做法，研究人员将改进架构的上下文长度分为五个阶段，并将其扩展至一分钟。

具体来说，他们先在《猫和老鼠》的 3 秒片段上针对整个预训练模型进行微调。

在此阶段，新的参数特别是测试时训练层和门控机制中的的参数，会被赋予更高的学习率。

接下来，研究人员分别对 9 秒、18 秒、30 秒以及最终的 63 秒的视频进行微调。

为了避免模型在预训练过程中遗忘过多的世界知识，研究人员仅对测试时训练层、门控层和自注意力层进行微调，且在这四个阶段中使用较低的学习率。

在原始视频的选取上，他们选择了从 1940 年至 1948 年间发行的 81 集《猫和老鼠》，每集时长约 5 分钟，所有集数加起来时长约 7 小时。

然后，研究人员在原始视频上运行一个视频超分辨率模型，从而为数据集生成视觉效果更强的视频，这些视频的分辨率均为 720×480。

接着，他们让人工标注员将每个片段分解为场景，然后从每个场景中提取 3 秒长的片段。

接下来，研究人员让人工标注员为每个 3 秒的片段撰写一段详细的描述，然后直接针对这些片段进行微调。

为了创建数据，研究人员将连续的 3 秒片段拼接成 9 秒、18 秒、30 秒和 63 秒的视频，并附上相应的文本注释，所有训练视频的标注均采用上文的格式 3。

对于 GPU 而言，要想高效地实现测试训练层-多层感知器（TTT-MLP，Test-Time Training-Multi-Layer Perceptron），就需要进行特殊设计，以便利用其内存层次结构。

英伟达 GPU 架构中的核心计算单元是流式多处理器（SMs，Streaming Multiprocessors），其功能类比于 CPU 中的单个核心。

GPU 上的所有流式多处理器共享一个相对较慢但容量较大的全局内存（即 HBM，High Bandwidth Memory），然后每个流式多处理器都有一个快速但容量较小的片上内存（即 SMEM，Shared Memory）。

GPU 上 SMEM 与 HBM 之间的频繁数据传输会显著降低整体效率。而 Mamba 和自注意力层通过利用内核融合技术，可以减少这类数据的传输。

其核心思想是将输入和初始状态加载到每个 SMEM 中，完全在片上进行计算，并且只将最终输出写回 HBM。

然而，TTT-MLP 的隐藏状态即双层 MLP 函数 f 的权重矩阵 W(1) 和 W(2)，由于体积过大无法存储于单个流式多处理器的共享内存中。

为了减少每个流式多处理器所需的内存，研究人员使用张量并行机制，将 W(1) 和 W(2) 在流式多处理器之间进行分片。

由于大型多层感知器层可以被分片并跨多个 GPU 的高带宽存储器上进行训练，因此研究人员将同样的思路用于多个流式多处理器的共享内存中，将每个流式多处理器视为一个 GPU 的类比。

研究人员利用英伟达 Hopper GPU 架构的分布式共享内存特性，实现了流式多处理器间的全局归约操作，进而显著提升了效率。

作为一种通用原则，如果一个模型架构 f 可以通过标准张量并行机制在 GPU 之间进行分片，那么当 f 用作隐藏状态时，同样的分片策略也可以用于流式多处理器之间。

不过，本次研究的 TTT-MLP 内核受限于寄存器溢出和异步指令的次优排序。未来，通过降低寄存器压力以及开发编译器感知更强的异步操作方案，其执行效率或能得到进一步提升。总的来说，本次方法有望用于生成更长、更复杂视频，也许下一代儿童将能看上由 AI 生成的动画连续剧？目前看来，这一设想并非没有实现的可能。

大风到哪了

「活动」kumadaibiaotitest

4.51MB

版本V9.1.68

下载APK 高速下载

下载小姐姐内衣试穿开箱安装你想要的应用更方便更快捷发现更多

89%好评(03272人)

详细信息

软件大小: 85584.75730MB
最后更新: 2025/04/12 07:08:23
最新版本: V3.80014.5
文件格式: apk
应用分类:ios-Android 缅甸恐怖网站www破解在线观看
使用语言: 中文
: 需要联网
系统要求: 5.29357以上

应用介绍

一，自慰喷水合集大胸不断颤抖，今汐大战漂泊者
二，玩废猛男篮球队长小说，Angelababy美照
三，小男生硬了进去太爽，小🐤🐤入🍑🍑视频训练营
四，亚洲拳头交瓶交巨大扩张，给女高官剃毛穿环
五，甘雨爆乳被❌🔞🔞㊙️动漫，好猛好深好爽喷水无码
六，卡卡西纯肉高H漫,孩子发烧灌肠塞屁股，大爱仙尊小说在线阅读
七，《未亡人雪女和诅咒戒指》动漫免费
【联系我们】
客服热线：134-2881-646

加载更多

版本更新

V5.8.97

欧美性受ⅩXX性爽XYX

王者女生裸体被❌歪歪

deepdown漫画版免费阅读

13725.88MB

102好评

校花赤身裸体闯入教室小说
尸祖降臣3d在线播放免费视频

白色连体裤

70365.46MB

848064好评

《姬骑士莉莉娅》动漫在线观看
蜜桃久久久AAAA成人网一区

山城恋同人18❌漫画免费

13.25MB

313好评

不知火舞魅语乳液狂飙
成人国产AV精产㊙️区二区

白白嫩嫩hdsexvideos

53.30MB

272好评

肉園第1巻えだ在线观看
在线精品㊙️一区二区

あねちじょ♥动漫无修国语

71.75MB

700好评

桃花源1v3笔趣阁
小月亮小男孩

欧美调教骚痒网站

83.00MB

332好评

潮videossex潮喷hd
二次元弱音泳装视频

3d动漫美女被❌到爽视频

23.08MB

108好评

Gαy❤♂yαoi动漫男男软件
非会员体验区试看60秒

18禁止视频㊙️在线

50.08MB

923好评

sm脚奴调教丨我恋美脚社免费视频
美女的㊙️让男人桶到爽

粗暴㓜交videos乱叫XXX28

83.33MB

568好评

扒开美女内衣狂揉她的奶头A片
美女撒尿无遮挡㊙️

丹祖宗三奴的lvk

83.11MB

752好评

脱👙让学生🐻在线观看下载
免费A片国产毛无码A片

羽毛球王小羽裸体

00.52MB

0679好评

杭州娱乐场所全部关闭
真人被❌到爽🔞奶头文字D章

淫毛1动漫

01.82MB

124好评

太子被疯狂灌满精H
体育生自慰sexvideos

刻晴大战史莱姆隐藏入口

65.97MB

743好评

东北国产China痞帅XNXX
三年大片大全在线观看免费观看第22集

18禁㊙️啪啪污污游戏

54.59MB

754好评

▓芭乐视频▓无码免费下载官网
屁股大的女朋友做爰爽

在线无码精品㊙️国产三年

57.07MB

689好评

黑人无遮挡A片又黄又爽视频
亚洲AV成人片色在线

🔺国产免费叼嘿视频免费看

24.14MB

352好评

绝世唐门梦红尘的胸罩是什么颜色
丘咲爱蜜莉办公室美人妻

亚洲AV片一区二区三区

13.97MB

316好评

伊米娜为艺术献身是哪一集
春丽裸乳被爆❌白浆的图片

护士的初苞被强开了小说

84.08MB

213好评

免费看污黄网站♥️大全
锕锕锕锕锕锕www湿透了网址

2024年11月8日罗宾帮乔巴度过青春期|レ

45.16MB

731好评

调教男奴(H)小说
THZ35雅典娜女战士中文版叫什么

班花撩起我的🍌蹭来蹭去小说

10.65MB

186好评

黄瓜蜜桃草莓日本韩国在线看免费
伊丽莎白一世生平简介

91网站🔞在线观看潮喷教学

44.22MB

368好评

双胞胎萝早晨胯下吞吐粗大小说
🍌伸进去里啊好痛观看软件

公开调教铃口扩张j交小说男男

91.08MB

206好评

帮老太爷囗交出精
一龙五凤刘亦菲杨幂

www.dior.com.cn

30.58MB

901好评

8x国产一区二区三区精品推荐
小受扒开🍑让人c视频

按摩师把我添高潮了6次小说

30.60MB

549好评

魅魔双腿无力任他进出h
学生扒开🍑伸进🍌❌小说

天行九歌焰灵姬怀孕是多少集

29.72MB

124好评

越南纯色不规则连体衣
梅花十三被❌到爽

美女图片全部祼春光图片

70.40MB

459好评

女S男M✅打屁股
挤奶玩弄跪趴调教网站 title="嗯啊边上课边做…H课堂" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

明日香扒开裤子㊙️

色欲AⅤ精品无码一区二区pro

详情
女同桌把我绑起来玩小j作文 title="XXX18🍌🍑日木视频" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

亚洲裸体哺乳做爰挤奶

妮露cos挠脚心惩罚丨VK

详情
羞耻新入生健康诊断2023 title="捏着男人的jiji" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

极品婬荡交换做爰TXT

周妍希浴室三点露视频

详情