随着文本到图像模型（例如，稳定扩散）和相应的个性化技术（例如，LoRA和DreamBooth），每个人都可以以负担得起的成本将他们的想象力表现为高质量的图像。 随后，对图像动画技术有很大的需求，以进一步将生成的静止图像与运动动态相结合。 在这个项目中，我们提出了一个有效的框架，以动画现有的个性化文本到图像模型一次全部，节省在模型特定的调整的努力。
在所提出的框架的核心是附加一个新的初始化的运动建模模块冻结的文本到图像的模型，并训练它的视频剪辑之后，提取一个合理的运动先验。一旦经过训练，通过简单地注入这个运动建模模块，从同一个基础模型导出的所有个性化版本都很容易成为文本驱动的模型，生成多样化和个性化的动画图像。
gpt-assistant