Kontext遮罩秘籍大公开:越南团队插件+原生节点对比,附100%成功参数!

一、局部遮罩在Kontext中的用途
今天这篇又是我研究了一天的成果,从早上钻研到现在,原因是昨天晚上在群里有人分享了一个Kontext的局部遮罩的插件ComfyUI-Kontext-Inpainting
测试了下发现效果还不错,顺手推荐给大家。
然后呢,我又想琢磨下原生的局部遮罩两种方案在Kontext的作用,所以就有了今天这篇的对比。
下来简单看看这个插件效果

有的人会问了,Kontext不是就可以直接用提示词来控制吗,为啥还要用到遮罩来控制啊,这不是脱裤子放屁多此一举嘛,确实有点道理是吧。
但是呢,你想想我们以前举的是视觉线索编辑(画个红框或者涂抹颜色区域),这些都是为了让系统更好的定位到要修改的区域,核心目的都是为了提高成功率,原图那么大,如果物品太多,我涂抹下区域告诉系统就在我这个遮罩范围内找,是不是就更快了。
这里面强大的效果,我下文中会做对比,和原来的Fill模型做对比,你就知道我的厉害了,先来个图说明下
我涂抹了很大区域,但是我就修改裤子,用以前fill模型会直接把衣服也改了,但是kontext不会,他精准识别到裤子,并且修改了。其他保持不变,前面挡住的牛仔衣服都没变,就问厉不厉害吧。

二、相关安装
插件地址:https://github.com/ZenAI-Vietnam/ComfyUI-Kontext-Inpainting
这个插件是个越南团队做的,给作者点个赞,然后我测试下来,这个插件的效果是和使用设置Latent噪波遮罩
这个节点效果一样,所以如果不安装插件也行,按我一会说的处理即可。
三、测评说明
工作流已发RH平台:
Kontext局部遮罩两种方案对比:https://www.runninghub.cn/post/1942255865699184642?inviteCode=kol01-rh024
这个测评很有含金量,主要是我测试了一整天,我一天工地搬砖可以赚200!
今天测评是来探索Kontext在局部领域上的使用,对比了下今天介绍的这个ComfyUI-Kontext-Inpainting插件,以及和设置Latent噪波遮罩、VAE内补编码器这三者的区别。
先说结论
- ComfyUI-Kontext-Inpainting插件和设置Latent噪波遮罩效果一样。
- 推荐使用设置Latent噪波遮罩,VAE内补编码器效果不大行,会修改遮罩涂抹的区域,一致性没前者好。
- ReferenceLatent左边都接原图VAE编码,K采样器的Latent接Latent噪波遮罩,这是最优方案,直接用即可。
- 局部遮罩在kontext移除领域效果惊人,缩小范围,减少干扰项,成功率自然提升。
在开始前,我们再补一下Kontext的整体架构,看完可能对后面说的更好理解:
Kontext的厉害之处在于它的统一架构,它就像一个万能工具箱,里面装着各种工具,无论是让你从零开始画一张图,还是基于已有的图片进行修改,他都能用同一个核心机制来处理。
中其实是接受两个输入的:
- 一个是你的文本指令,告诉它你想干什么
- 另一个就是上下文图像,就是你希望它参考的图片
然后,它会根据这两个输入,生成你想要的目标图像。关键在于,它学习的是图像之间关系,而不是孤立地处理每一张图。

ok,先来看这个插件的工作流

可以看到,核心就是用了一个节点 Kontext Inpainting Conditioning,支持传入关于和遮罩图,然后就可以根据提示词来修改了,我用的提示词如下:
女孩牛仔裤改成粉色丝绸材质的短裙
结果对比看下图,我发现非常完美,就是前面被遮住的衣服,也保持不变,就修改了裤子,其他的一致性简直保持的100%不变,太强了。

插件的测试就到这里,接下来我要测试下ComfyUI原生的2个局部重绘的节点 设置Latent噪波遮罩、VAE内补编码器。
整体工作流如下

我们主要区分两种情况, 就是局部涂抹的区域和提示词要修改的地方是否相同来展开测试。
然后,我们测试的核心重点是在这两个Latent的接入点,一个是ReferenceLatent,另外一个是K采样器的Latent输入。 下面截图中给出了。

提示词修改地方和涂抹区域一样
先测试局部涂抹区域和提示词匹配的情况下的三种情况
我们用的提示词还是:
女孩牛仔裤改成粉色丝绸材质的短裙
方案一:ReferenceLatent左边接VAE编码
这种情况下,都是把原图像直接编码后传入,然后下面这三种情况的出图对比如下

遮罩情况下,K采样器那边Latent输入连Latent噪波遮罩、空lantet或者图片VAE编码效果一致,都很好,连VAE内补编码器效果会差一些,主要是默认的VAE内补编码器节点参数要改一下,不然边缘效果不好,有伪影。
放大点给你们看VAE内补编码器
这种情况边缘细节,这里涂抹的边缘是有问题的


所以,结论就是VAE内补编码器不好用,另外就是,通过图像对比,虽然就裙子部分做了修改,但是整体的皮肤有一丢丢变红。
左侧是原图,右侧是局部重绘改了裙子为粉色后,皮肤有一些变化,背景是没变化的。

方案二:ReferenceLatent左边接设置Latent噪波遮罩
第二种就是左边都连设置Latent噪波遮罩,然后对比不同K采样器那边连入的Latent入参效果如何
直接给结论,只要ReferenceLatent左边接设置Latent噪波遮罩,K采样这边不管连什么,都有效果

方案三:ReferenceLatent左边连的是VAE内补编码器
这种情况和上面连设置Latent噪波遮罩不一样,有很大的区别,先看结果图

ReferenceLatent左边连的是VAE内补编码器后,生成的效果不行,衣服边角料也变化了
对比一下上面的效果,你就知道区别了,前面遮罩的衣服也没了,一致性有损失,所以用VAE内补编码器效果不行。

提示词修改地方和涂抹区域不一样
ok,现在我们测试下,遮罩区域和提示词修改地方不一样的情况下会发生什么。
提示词:改变女孩黑色头颜色发为蓝绿渐变
ReferenceLatent左边接VAE编码
先看结果对比图

左边都是VAE编码正常图像传进来,K采样那边接入的是设置Latent噪波遮罩或者VAE内补编码器的Latent输出,最终图像不会改变,和原图一样。
等于说,在遮罩区域,Kontext没有找到要修改的物体,所以就不动,所以遮罩用途生效了。
最后这里接入空lantet或者图片VAE编码,就等于在整张图寻找,可以找到头发区域,就去修改了颜色,这没问题。
ReferenceLatent左边接设置Latent噪波遮罩

左边接入设置Latent噪波遮罩节点情况下,右边接入Latent噪波遮罩
也没有变化,和上面效果一样,所以Latent噪波遮罩
和VAE编码接入到 ReferenceLatent 的效果其实是一样好的,这里可以很好的证明,我们直接Latent再接出来看Latent预览图像。

ReferenceLatent左边连的是VAE内补编码器
最后一种是ReferenceLatent左边连的是VAE内补编码器

你会发现一个很奇怪的现象,为啥K采样器连 VAE内补编码器的时候,遮罩那个区域名称蓝色,并且最终图也带这个蓝色,而连空lantet或者图片VAE编码的时候,不仅有这个蓝色区域,头发也变了。
头发变了这个是正常的,因为空latent或者图片VAE编码是全图参考了,能识别到头发区域,所以就改了。
蓝色区域这个,我找了半天,最终发现是接入ReferenceLatent的时候图像就变了,这里也同样用Latent预览图像
来看一下就明白了。

可以看到,VAE内补编码器
这边预览出来的图就已经是带有遮罩来,ReferenceLatent参考的上下文图片就是这种,所以你最终出的图就是这种形式,然后根据提示词,顺便把这个区域变成了蓝绿色,
局部遮罩在移除物体领域的作用
这里这个要单独讲,因为我发现,在kontext中使用遮罩的话,在移除物体方面成功率100%,可以让Kontext精准的识别到,原因很简单,我给你缩小了识别范围了,你就在我圈中的区域去寻找,能找到就能移除。
这里拿我们以前说的那个香水案例,一张图里面有很多香水,你要通过提示词去移除难度有点高,之前是利用红框的方案,但是那种我也是试了好几次才成功,而这次我先通过遮罩涂抹,先精准的框选了范围,kontext就在我选的区域去寻找,一次就成功了。
遮罩涂抹方案和红框线条方案的区别就在这里,红框是全图去找,而遮罩就给出了指定区域,前者就像在一个500平房子里面找香水,而后者则是指定了在抽屉里面找,成功率不用我细说了吧。
效果图如下:
左边是原图,中间是我涂抹的一个香水区域的遮罩,右边是结果图,而我的提示词就是简单的:移除香水

听懂掌声~ 记得三连哈。
四、在线使用
云端镜像
大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。
目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。
镜像名称:嘟嘟AI绘画趣味学


云平台镜像地址:
https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY
https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY
新用户通过邀请码注册,总共可获得 8 元奖励,体验 4 个小时的 4090 作图时长。
RH平台
推荐不想本地自己折腾的同学一个可在线使用Runninghub平台可在线体验AI应用和工作流(注册即送1000积分可用)。
https://www.runninghub.cn/?inviteCode=kol01-rh024

主页更多精彩工作流可在线体验: https://www.runninghub.cn/user-center/1865434314359058434?inviteCode=kol01-rh024

五、总结
以上就是我折腾了一天探索的Kontext下局部遮罩的用途,这次讲的比较细,能看完的都不容易。
技术的迭代是飞快的,要关注最新的消息才不会掉队。
嘟嘟每天分享最新的ComfyUI技术前沿。
本篇中的工作流和模型网盘链接:https://pan.quark.cn/s/e5f36dd4b0c9
我是嘟嘟,专注于 AI 绘画以及 AI 工具分享,欢迎来一起交流。
如果觉得文章有帮助,请帮忙点赞收藏关注一下呦~