可灵大模型(Kling)是由快手大模型团队自研打造的视频生成大模型。它具备强大的视频生成能力,能够生成长达2分钟、1080p分辨率的视频。可灵大模型采用3D时空联合注意力机制,能够生成符合物理规律的大幅度运动视频,并模拟真实世界的物理特性。这个模型可以将用户的文本描述转化为具体的画面,生成电影级的高质量视频。它支持多种视频宽高比,适用于多样化的视频制作和内容创作需求。除了强大的视频生成能力外,可灵大模型还具备出色的概念组合能力和多模态输入支持。用户可以通过输入文本、图像、音频等多种形式的内容,结合自己的想象力,创作出丰富多样的视频作品。此外,该模型还提供智能视频编辑功能,方便用户进行后期处理,进一步提升视频的质量和效果。
官网入口:https://kling.kuaishou.com/
可灵大模型的主要功能:
- 生成高质量视频:可灵大模型能够生成长达2分钟、1080p分辨率的视频,帧率达到30fps。
- 大幅度合理运动:采用3D时空联合注意力机制,生成符合物理规律的大幅度运动视频。
- 模拟物理特性:能够模拟真实世界的物理特性,如光影反射和重力影响下的流体运动。
- 强大的概念组合能力:将用户的文本描述转化为具体画面,生成丰富多样的视频内容。
- 多种宽高比支持:支持多种视频宽高比,适用于不同场景的视频制作需求。
- 视频续写:支持对已生成的视频进行续写,单次续写可延续4.5秒,最长可生成3分钟的视频。
- 表情身体驱动:基于3D人脸和人体重建技术,实现表情和肢体的全驱动。
- 图生视频:可灵图生视频模型以卓越的图像理解能力为基础,将静态图像转化为生动的5秒精彩视频。配上创作者不同的文本输入,即生成多种多样的运动效果,让您的视觉创意无限延展。
可灵大模型(Kling)生成视频案例
- 可灵不但在想象上天马行空,在描绘运动时又能做到符合真实的运动规律,复杂、大幅度的时空运动也能准确刻画。
比如 一只戴眼镜的小白兔坐在咖啡馆的椅子上看报纸,桌上有一杯热咖啡。
- 两朵花在黑色背景下缓慢绽放,展示出细腻的花瓣和 花蕊
- 在这段倒牛奶的众 视频中,力学方面的重力规律、液面的上升都符合现实,连倒液体时泡沫一直在最上层的特性也考虑到了:
不做“画饼“大模型,应用才是硬道理
- 大模型行业“卷”到今天,我们见证了太多技术的高光时刻,但技术突破的初心仍然还是应用。
快手可灵视频生成模型,诞生于短视频头部厂商,也持续面向应用在探索。非常值得一提的是,可灵大模型是发布即上线,不画饼!不画饼!不画饼! - 可灵的文生视频模型,已在快影APP中正式开启邀测,目前开放的版本支持720P视频生成,竖版视频生成能力也即将开放。
- 顺便再做个剧透,基于可灵大模型的图生视频功能,也将于近期与用户见面,实际上,作为头部视频厂商,快手在大模型热潮之中也动作迅速,此前就曾相继推出语言模型和文生图模型。基于这些模型,Al文案、AI生图,AI生视频,以及更多AI创作功能,都已相继在快手和快影APP中上线。
算法Direct-a-Video、多模态生成算法ideg-LaVIT、图生视频算法I2V-Adapter、多模态美学评价模型UNIAA等关键技术,为可灵大模型积累了深厚的技术沉淀。
现在,快手完整的文生视频功能终于华丽登场,我们期待快手作为一家拥有独特场景优势和广泛应用场景的短视频赛道巨头,能够率先把视频生成能力在短视频场景中落地生花。