阿里巴巴又整活了!
FaceChain-FACT:无需训练,上传你的照片克隆你自己🤓
你只需要上传一张照片,它就能提取你的面部特征,然后结合不同的风格模板,生成具有你个人特征的虚拟AI肖像。
可以实现让你在任意场景中或者生成各种风格、服装、个性化的你自己!
最牛P的是它可以运行在CPU上!达到秒级生成速度!
FaceChain-FACT的主要亮点:
1、支持零样本肖像生成。无需训练,上传照片即可!
2、训练模型时使用了数百万精美的人类肖像,确保生成肖像的真实性和质量。
3、提供100多种高级定制模板。
4、模型支持在CPU上运行,并实现秒级推理时间,生成速度极快!
5、兼容与ControlNet和LoRA插件,提供了更多的灵活性和创造空间。
技术原理:
现代面部定制在图像生成中面临挑战,尤其是因为人脸的高细节要求。
FaceChain通过训练一个LoRA模型,整合面部信息来生成定制化肖像。然而,由于需要训练用户的LoRA模型,FaceChain的流程分为训练和推理两个阶段,这增加了用户的成本。
因此,提出了一种无需面部LoRA模型训练的零样本版本,即FaceChain-FACT。此外,只需用户的单张照片,即可生成定制化肖像。与现有商业应用相比,生成速度提升了100倍,实现了秒级图像生成速度。
FaceChain-FACT整合了类似于Stable Diffusion的基于变换器的面部特征提取器,并使用了作为面部条件的密集细粒度特征,这些特征具有更好的角色再现能力。FaceChain-FACT与ControlNet和LoRA插件兼容,并支持即插即用。
方法:
该技术采用了一系列图像预处理方法,包括面部分割、裁剪和对齐、手部检测、面部质量筛选等,以筛选和获得训练数据集。
利用基于变换器的面部特征提取器提取特征,并利用倒数第二层的密集细粒度特征作为面部条件。
Stable Diffusion通过FACT-Adapter接收面部条件,并将其与文本嵌入结合,生成肖像图像。通过融合来自FaceChain的各种LoRA模型,可以生成多种风格的肖像。
项目及演示:https://t.co/zkDWAS24tr
GitHub:https://t.co/YKD9XdlaS6(coming soon…)