生成吉卜力风格图片开源模型又来啦！等等，这次并不是模型，而是一个大模型注入框架 —— EasyControl

目前 diffusion 模型正在从 Unet 架构转向为 DiT （Diffusion Transformer）架构。但目前 DiT 没有成熟的插件支持（比如LoRA）。这个框架就可以给新的基于 DiT 架构的 diffusion 模型提供轻量级的条件注入 LoRA 模块。轻松实现风格迁移。

下面的图片就是我用他们最新的 Img2Img 生成的，他们仅用100 张真实亚洲面孔与 GPT-4o 生成的吉卜力风格对应图像进行训练就得到了这个结果。

我尝试了几个大家都非常熟悉的图片来进行生成。效果如图，当然也测试出了一些问题，比如它在识别多个人物半身像剪影不是很好（魔戒那个电影海报）。以及尺寸超过了输入规定尺寸会导致图片边形（这个倒是小问题，提前裁剪就好）。

另外，这个框架目前已经可以跟 ComfyUI 一起使用了