StoryDiffusion – 字节跳动推出的开源长视频生成工具

StoryDiffusion 是一个由南开大学和字节跳动联合推出的开源 AI 项目，专注于生成连贯的图像和视频故事。它利用一致性自注意力和语义运动预测器技术，在文本驱动下生成具有一致主题的图像和视频。这使得它特别适合用于漫画创作和长视频生成。

官网入口：https://storydiffusion.github.io/

StoryDiffusion主要功能特点：

1. 一致性自注意力：通过一致性自注意力机制，StoryDiffusion 能够在生成图像和视频时保持主题的一致性，使得故事更加连贯。
2. 语义运动预测器：利用语义运动预测器，系统可以根据文本描述生成动态的场景和动作，增强视频的表现力。
3. 高质量生成：StoryDiffusion 能够生成高分辨率的图像和视频，适用于漫画创作和长视频生成。
4. 开源项目：作为一个开源项目，StoryDiffusion 提供了丰富的资源和工具，方便开发者进行二次开发和应用。

StoryDiffusion 生成视频展示：

StoryDiffusion的适用场景

1. 漫画生成：StoryDiffusion能够生成风格多样的漫画，并确保在多图漫画中角色的风格和服装保持一致，支持连贯的故事叙述。这使得它在漫画创作领域具有巨大的应用潜力。
2. 长视频生成：通过图像语义运动预测器，StoryDiffusion能生成高质量的视频，无论是基于生成的图像还是用户输入的图像。这一功能使得它在广告、电影等长视频制作领域具有应用价值。
3. 广告和娱乐内容创作：StoryDiffusion可以生成连贯的图像和视频故事，为广告、电影等领域提供新的创意方式和制作手段，帮助创作者创作出更具吸引力的内容。
4. 图像转视频：用户可以通过提供一系列条件图像，利用StoryDiffusion的Image-to-Video模型生成视频。这种能力在图像编辑、动画制作等领域具有广泛的应用前景。

StoryDiffusion的使用方法

1. 在线demo地址：https://huggingface.co/spaces/YupengZhou/StoryDiffusion
2. 项目地址：https://storydiffusion.github.io/
3. 论文地址：https://arxiv.org/abs/2405.01434
4. github仓库地址：https://github.com/HVision-NKU/StoryDiffusion