AI Image

2024必备赚钱技能:微调Flux LoRA

2024-09-26

想搞钱,这个技能你最好学一下:微调Flux Lora。

一旦掌握之后,你就能让AI生成你指定长相的人或者产品。甚至,你还可以把两个Lora叠加起来使用。比如,让你的虚拟模特拿着某个特定的产品。

如果你是做电商,或者是运营IP,一定深有体会:人物和产品的实拍有多麻烦。通过微调Flux Lora,你能省下一大笔钱、一堆时间。

哈喽各位好,欢迎来到我的频道。我是国内少有的、能把AI的Why和How讲明白的博主。记得点一波关注。如果想链接我,就来newtype社群。

在上一期视频,我介绍了Flux模型加上ComfyUI工作流是怎么玩的,也演示了网红Lora的效果。还没看的小伙伴,一定去我主页找来看看。看完你就有概念了。我这边可以简单粗暴地总结一下:

关于Flux模型,你就记住,它生成图片的真实程度,比DALLE、SD都高。只有解决了真实性的问题,才有可能商用。

关于ComfyUI,你就记住,它解决了控制的问题,让模型按照你设定的步骤、在你圈定的范围内去生成。只有解决了可控性的问题,才有可能大规模商用。

关于咱们今天要重点讨论的Lora,你就记住,它解决了模型经验的问题。

举个例子,模型知道美女长什么样,但它不知道网红美女长什么样。但是,我们又不能从头训练过模型——成本太高,不现实。所以我们给模型加个技能包,告诉它:网红美女就长这样。以后有人提需求,你就按照这个去生成。

这个技能包,就是Lora。要制作这个技能包很简单。跟微调大模型比起来,简直就是“有手就行”的简单。我快速演示一下。

大家现在看到的这位小姐姐,是我特别喜欢的一位老师,就以她为例。比如,我希望AI能够按照她的长相生成图片。该怎么做呢?

首先,当然是准备学习资料,也就是老师各个角度和表情的图片。这样AI才能照着生成,对吧?这些图片不用太多,20张起步。我这边准备了25张。

接着,我们需要一个微调工具。国内外有很多平台都提供现成的。我这边用的是Replicate上边的项目。

进入Replicate网站。搜索这一串关键词。然后找到这个项目。

这边有两步是一定要操作的:

第一,上传ZIP格式的压缩包。我试了一下,RAR格式好像不行。大家记得用ZIP格式压缩。

第二,新建一个模型。这样训练好之后,就会以模型的方式存在平台上。

其它的设置都是可调可不调。比如,如果你希望把训练的结果同步到Hugging Face上的话,就填上你的ID和Token。

当这些都配置要之后,就可以开始训练了。因为GPU用的是H100,所以非常快,大概20分钟就搞定了。

训练好的Lora,可以在Replicate上直接使用,也可以下载下来。

我们直接在Replicate上测试一下效果。记住,Prompt里一定要带上前边设定好的触发关键词。

这个结果我还是挺满意的。如果有更多照片,表情和角度更加丰富,训练出来的效果肯定会更好。

想在本地跑也可以。把下载下来的文件放到loras文件夹。然后进入ComfyUI,在Lora加载器里选中。默认的强度是0.8,不同的数值,结果会不太一样。我测试了几种情况,给大家看看。

前边提到,可以把多个Lora叠加起来使用。所以我又训练了一个产品的Lora,用的是雷朋眼镜的图片。我想测试一下,虚拟模特使用特定产品是否可行。因为植入或者带货都会用到。

要叠加多个Lora很简单:按住Alt键复制一个Lora加载器,然后把线连上、把文件选中。在Prompt里一定要把触发关键词都带上。

这边我就不调强度这个数值了,咱们直接生成。

这个叠加还是挺成功。咱们老师成功戴上了雷朋眼镜。所以,大家可以打开想象:虚拟模特加产品,或者虚拟模特A加虚拟模特B,应该都可以。如果你有做生意的感觉,就会明白,这里边的空间有多大。

OK以上就是本期内容。想进一步探讨的话,来newtype社群。咱们下期见!