软件炒股杠杆 字节跳动不能输掉的一场仗
文｜邓咏仪 周鑫雨
编辑｜苏建勋
事情大家都知道了：字节跳动终于发布了自家的" Sora "。
9 月 24 日的深圳 AI 创新巡展上，火山引擎发布两款视频生成大模型 PixelDance（像素舞动）和 Seaweed（海草），并且面向企业市场开启邀测。
这是一次毫无预警的发布。除了少数进入到内测环节的创作者，字节没有发布任何有关新产品的消息。
尽管低调，但市场对字节系 sora 仍有着巨大期待。年初，OpenAI 的 Sora 几乎是一脚踢开了多模态、视频生成的大门。之后，6 月快手可灵的爆火出圈，彻底点燃了这个赛道。
作为短视频巨头的字节，从去年 ChatGPT 发布后，就背负了巨大期待。从已有条件上看，字节几乎是大厂中，先天优势最足的一家：有钱、有芯片、人才密度也足够大。
类 Sora 赛道，也早已被市场公认为是字节、快手的"天选场景"——短视频巨头不仅有巨量数据，也有足够丰富的应用场景。
但现实是，快手可灵自 6 月上线以来，已有超 260 万人使用过可灵，累计生成了 2700 万个视频、5300 万张图片。此前的字节却仍未有动静，不免要面对市场上的诸多猜测——等到此时发布 AI 视频生成模型，还有多大胜算？
字节版" Sora "，可以摘掉 Sora 的帽子吗？
从效果上看，两款模型初步可以实现的的效果，无疑令人惊艳。
字节官方给出的实例中，无论是统一性、角色丰富度，都上了一个台阶。
由文字或图像生成的 AI 视频，不仅能够遵循复杂指令，让不同人物完成多个动作指令的互动，人物样貌、服装细节甚至头饰在不同运镜下也保持一致，接近实拍效果。
△来源：豆包 AI 视频生成模型
值得关注的，一是多帧视频的连续性。
此前，视频生成模型大多只能完成简单指令，比如某个人 / 某个物体，完成单个动作。一旦有比较复杂的动线，视频就容易失真、变形。
现在的豆包 AI 视频生成模型，则可以实现自然连贯的动作，在奔跑、走路、抬头等等上面，连贯性和效果都好了不少。简单来说，不会看着看着，就突然从史密斯吃面，变成特朗普吃面。
△来源：豆包 AI 视频生成模型
二是角色的丰富度。豆包这次发布的 AI 模型，优势尤为突出的是多主体间的互动。
在不少实例中，都可以看到多个角色之间的互动，动作连贯合理，镜头类型也十分丰富，包含了多种类型的镜头调度方式——远景和近景的切换。镜头也能实现变焦、环绕、平摇、缩放、目标跟随等多种形式的变化。
在切换前后，人物样貌、服装细节甚至头饰也都可以保持一致。
下面这则视频，就从前面戴潜水墨镜的人，切换到后方另一位潜水员，两者的形象也都保持了一致。
目前，PixelDance（像素舞动）和 Seaweed（海草）模型都正在内测版小范围测试，还未完全开放公测。但《智能涌现》通过内测风景、人物等等场景，即梦 AI 在实时生成风景视频上，镜头的调度、画面质量上，都可圈可点。
△来源：36 氪实测 PixelDance 功能
不过，在人物生成场景里，输入原图 + 指定的动作 Prompt 后，随着动作改变，一致性还是相当可以，但会有部分手指变形的 Bug，
△来源：36 氪实测 PixelDance 图生视频功能
豆包本次的 AI 模型基于自研的 DiT 架构打造，这也被认为是 OpenAI Sora 的同款架构，是目前 AI 视频赛道上的主流技术路线。
不过，AI 视频生成赛道的发展阶段比文字、图像都还要更早。如今的底层算法以闭源为主，数据极其稀缺——意味着各家都只能闭门造车，拼的就是工程优化能力。
火山引擎总裁谭待也表示，即梦 AI 等业务场景，已经对 Transformer 结构进行深度优化，而在 DiT 架构的研究上也有多款创新，才能大幅解决 AI 视频应用成本昂贵的问题，让应用成本降到最低。
但也有 AI 视频领域的从业者保持冷静，认为不用抱有太高期待。"现在底层的大模型没有代差，拉不开太大差距。"
AI 博主归藏，就把豆包和 AI 视频老大哥 Runway，以及明星初创 Luma AI 的生成效果，做了直观对比——
△来源：归藏
从功能上看，此次字节发布的 Seaweed 模型产品功能和体验更多元，不仅支持各种风格提示词响应，还有横竖多种比例的输出。
"综合结果比 Luma 要好很多，跟 Runway 各有优劣。"归藏在即刻上表示。
无论如何，字节的雄心壮志已经摆在了桌上。除了两款 AI 视频新模型，本次字节还发布了新的豆包音乐模型和同声传译模型，以及音乐模型。对创作者而言，豆包的大模型家族真正成为了"全家桶"：覆盖语言、语音、图像、视频等模态。
更值得关注的，是业务层面的迅猛增长。
自豆包大模型家族正式发布以来，日均调用量经历了爆发式增长。截至 9 月，豆包语言模型的日均 tokens 使用量超过 1.3 万亿，相比 5 月首次发布时增加十倍。其中，多模态数据处理量也分别达到每天 5000 万张图片和 85 万小时语音。
近期的一张 AI 产品增长表现统计图，就颇令人玩味：单单是豆包 App 的 MAU 增长，就已经远远拉开了与其他产品的距离。
△来源：AI 产品榜
豆包爆发式的增长，更多来自此前的激进价格战。自 5 月以来，包括字节、阿里、腾讯等巨头，以及 Deepseek 等创业公司，展开了一场轰轰烈烈的降价。字节甚至把每千 Token 价格卷到了以"厘"为单位，迅速拉到了地板价。
现在，底层模型已经到了拼性能的阶段。火山引擎总裁谭待，这次就又提出了一个新指标：峰值 TPM（每分钟 Token 数）。"业内多家大模型目前最高仅支持 300K 甚至 100K 的 TPM，难以承载企业生产环境流量。"他说。
TPM，可以看作是在在单位时间内，模型的数据吞吐量。豆包 Pro 支持 800K 的 TPM ——据谭待表示，比如某科研机构的文献翻译场景，TPM 峰值为 360K，某汽车智能座舱的 TPM 峰值为 420K，某 AI 教育公司的 TPM 峰值会达到 630K。这些场景，豆包 Pro 如今都可以满足。
随着豆包 AI 生成视频的发布，字节最后补上了 AI 视频的一块拼图。这和昨夜 OpenAI 突然发布的高级语音功能一起，一起形成了一种明喻：在模型层，大厂们已经武装到牙齿，大的细分赛道都有相应的模型——留给创业者的空间，又要再一次打个问号。
字节和快手的漫长对垒
在 AI 赛场上，字节对于胜利的渴望已经溢于言表。
剪映及其旗下的 AI 视频产品"即梦"，就由前抖音集团 CEO、现剪映业务负责人张楠亲自带队。而为了尽快让此次的两款新模型上线，字节也抽调了不少人做工程。
字节跳动的焦虑，来自短视频战场上的老对手：快手。
2024 年 6 月，文生视频模型"可灵"，就突然空降快手剪辑产品"快影"。
在行业苦等"中国版 Sora "出现的当下，可灵的表现是亮眼的。
"现在视频生成很难做长的原因，一是成本高，二是前后一致性太难保证。"一名 AI 从业者告诉 36 氪，"但是可灵能生成 2 分钟视频，比 Sora（60 秒）的天花板还高。"
更进一步，从镜头的连贯性和元素关系的逻辑性来看，不少业内人士都表示，可灵在中国类 Sora 产品中，效果是 Top 级别。
与彼时仍未开放的 Sora，和小出圈的生数科技视频生成模型 Vidu 相比，快手对"老铁们"也可谓是慷慨和坦诚：立马开放公测，且免费。
与"众多工程师参与"的 PixelDance 和 Seaweed 不同，可灵团队的项目执行方式可谓是相当粗放和激进。
有媒体曾报道，可灵团队只有 20 余人，从立项到上线只花了 3 个月。可灵启动一个月后，就被上升为快手的战略级项目。快手高级副总裁、主站业务与社区科学线负责人盖坤常说的一句话是：公司的卡都给你们用，公司全力支持。
在豆包发布之前，可灵也提供截至 9 月 19 日，可灵已经迭代了 9 次，最新的 1.5 版本上线了 Web 端，有了更高清的画质、更符合物理规律的运动轨迹，支持更为复杂的镜头控制和可自定义的运动轨迹。
不少从业者对 36 氪判断，可灵的出圈，与快手丰富的视频数据积累密不可分。而能与之一战的，大概率只有拥有抖音的字节跳动。
然而在视频生成领域，字节对阵快手以来，碰到了罕见的败北。其实早在可灵发布前 1 个月，剪映就在 AIGC 产品"即梦"上线了 AI 视频生成功能。
但无论是关注度，还是用户口碑，即梦都不算一款成绩漂亮的产品。一名使用者评价：在效果一般的情况下，非会员生成视频超 3 秒竟然还要收费。
压力已经给到了字节。一位 AI 3D 领域生成的从业者就表示，AI 视频生成公司给出的样例，一般都是尝试过输入多次 Prompt，才得出来的 Good Case（好样本）。等之后全量上线，才能真正看到豆包在实用场景下的表现。
"一些明显可以感知的指标在于，长镜头时长什么时候可以超过 1 分钟，多分镜切换后时空一致性能不能保持，以及随着分辨率加大时，生成时间会不会跟随分辨率指数增长。"他表示。
对于当下的抖音和剪映业务体量而言，AI 视频的应用成本依旧是高昂的。
一个最直观的问题在于，对于剪映这样一个月活已经超过 3 亿，专注在视频剪辑场景的应用，如何要在降低 AI 应用成本的同时，维持产品和效果的高水平，将是更难的挑战。
先发优势在 AI 模型层依然重要。目前，可灵、Vidu 已经先行占据了视频生成领域的用户心智，作为后入者的字节，不得不加快步伐。
漫长的战役才刚刚开始。
封面来源｜视频截图
本文来自微信公众号"智能涌现"，作者：邓咏仪 周鑫雨软件炒股杠杆，36 氪经授权发布。