大家好，我是守阁人

今天给大家分享一下：StoryDiffusion，最新生成连续一致视频与图片AI工具

说句实话,我们做youtube的时候,做INS账号的时候,打造个人IP账号,肯定要把人物的一致性搞定.

以前做图片的时候,都是用换脸工具完,最近出的MJ的一致性出图,解决了图片一致性问题,打造图片类个人IP太容易了,但是是搞视频因为的一致性问题还是挺大的.

今天我们介绍的StoryDiffusion的最大特别就是解决一致性的问题,可以生搞长视频与不同的场景的个人图片.所以,特别值得我们太注…

StoryDiffusion 是一个由南开大学和字节跳动合作开发的AI工具，专注于长范围图像和视频生成。它利用一致性自注意力机制来实现图像和视频内容的连续性和一致性。无论是创建漫画、卡通角色，还是生成长视频，StoryDiffusion 都能保持图像风格的一致性，为用户提供高质量的视觉内容。

StoryDiffusion 的工作主要分为两个部分：

一致的自我关注（Consistent Self-Attention）：这一部分用于长距离序列上的字符一致的图像生成。它是一个可热插拔的模块，与所有基于SD1.5和SDXL的图像扩散模型兼容。StoryDiffusion 通过这种机制能够在一系列生成的图像中保持内容的一致性，尤其是那些包含主题和复杂细节的图像。

语义运动预测器（Semantic Motion Predictor）：为了将生成的故事帧流式传输成视频，StoryDiffusion 提出了语义运动预测器，它可以在语义空间中预测两个图像之间的过渡。这种方法在生成平滑的视频帧方面质量显著优于最近的条件视频生成方法，如SEINE和SparseCtrl。

StoryDiffusion 的应用范围广泛，包括但不限于：

• 生成具有一致人物的图像和长视频。
• 通过预训练的运动模块，生成平滑的视频帧。
• 支持视频和漫画的生成，提供工具和模板，供用户创建高质量的漫画。
• 允许用户根据文本提示生成一致、高质量的视觉内容。

此外，StoryDiffusion 还提供用户友好的界面设计，简化了复杂的流程，使用户能够轻松地创建内容，并且支持多种文件格式用于上传和下载内容。它还集成了社交媒体的分享功能，允许用户直接将他们的内容发布到Facebook、Twitter和Instagram等平台。

项目地址:https://github.com/HVision-NKU/StoryDiffusion

试用地址:https://huggingface.co/spaces/YupengZhou/StoryDiffusion/discussions/5

免费第三方的网站:https://story-diffusion.com/  (个人喜欢用这个网站)