Midjourney在人物一致性控制方面一直存在着一些挑战,特别是在制作连续性的漫画等作品中,人物一致性变得尤为重要。虽然网上已经有流行的方法,如垫图和一致seed等,但实际上这些方法并不总是有效。除非人物本身特点鲜明或者是已知的名人,否则这些方法几乎就是赌运气。

另外,通过反复将相似的图片标注为喜欢,期望后续生成的人像更加相似,更是类似于玄学一样的作法,并不靠谱。因为标注为“喜欢”并不会立即训练当前模型,所以也不会影响接下来生成图像的偏好性。

今天,我将介绍两种新方法,虽然不能完全解决问题,但可以在一定程度上改善Midjourney在人物一致性方面的表现。

准备工作

1. 准备一张你所需要的人物形象图

主角图

2. 按你自己的需求生成场景图,比如这个例子里,是女主角坐在星巴克里面喝咖啡。这个时候可以先不关心生成的图里的人物是否和主角一致。
这里顺便吐槽一下Midjourney,只要prompt的词里有中国,生成的图就是老破旧的场景和比较粗糙的面孔。

我用下面的prompt生成了所需的场景:

A youthful and beautiful Korea girl enjoying a cup of coffee at Starbucks. The girl is sitting in a cozy corner, with a smile on her face and a warm cup of coffee in her hand. The lighting is soft and warm, creating a relaxed and inviting atmosphere. The background is blurred, focusing all the attention on the girl and the coffee. The photo is taken in a realistic and natural style, capturing the beauty and charm of the girl in her everyday life. front-facing view. --ar 4:3 --v 5

场景图

现在我们得到了满意的场景图,然后需要把场景图中的人物换成我们需要的女主角。

传统方法

传统方法在上面步骤2的时候,是直接使用女主角的图像作为image prompt,再加上场景文字来生成女主角在星巴克的场景图。然而,这种方法很大程度上依赖于运气,因为除非人物特点非常明显,或者是著名人物,否则生成的结果大概率不理想。此外,生成的图像往往只集中在头部,场景和动作部分经常被忽略。下图展示了使用传统方法生成的结果,可以看到图像集中在头部,而桌子、咖啡和举杯等场景和动作描述都被忽略了。

直接垫图,受人像图影响,场景和动作的生成会受到影响

InsightSwapFace换脸

InsightFaceSwap bot是Discord上专门用来换脸的机器人,可以配合Midjournet bot一起使用。

1. 使用这个链接把InsightFaceSwap bot机器人邀请到自己的房间:https://discord.com/api/oauth2/authorize?client_id=1090660574196674713&permissions=274877945856&scope=bot.

2. 用/saveid idname image命令将女主上传,下面的idname用lan为这个女主起了个名字

saveid命令创建角色

3. 将我们生成的满意的场景图用upscale放大后,点击右键,在菜单里选择 APP -> INSwapper触发换脸命令

INSwapper换脸命令

4. 大约一秒钟后,就会换脸成功,生成换脸后的图片。

换脸后效果图

这个脸部有些向女主靠近,但效果在我看来并不太明显,可能美女都长得差不多。如果特点突出一点,效果会比较好。看看官方的示例,效果要明显好的多:

官方效果图

InsightFaceSwap使用很方便,在女主脸部特征明显,与目标图配合的好的话,可以直接达到比较满意的换脸效果,且场景不会有任何改变。大家可以先用它试一下,不行再试其它办法。详细的用法可以参考官方地址:
https://github.com/deepinsight/insightface/tree/master/web-demos/swapping_discord

Blend命令

Midjourney的blend命令可以把多张图融合在一起,也可以用来换脸。步骤如下:

  1. 把那张场景图下载下来,用PS或者其它软件打开,然后把女主的头像抠下来直接粘贴在场景图里的女孩头上。有个大概样子,不用特别贴合。抠头像可以用www.remove.bg等在线工具,不用注册就可以免费使用。得到如下图:

粗糙的换脸图

1. 上面的图再稍微改改,然后用截图的方式重新保存一张差不多一样。注意一定用截图的方式另搞一张,而不是直接拷贝一张。否则后面的blend命令会报两张图像相似的错误,blend不允许两张太相似的图片进行融合。

2. 运行/blend命令,上传上面那两张粗糙的换脸图,将两张图融合

blend命令

3. 融合后得到一组女主脸且场景动作大体相似的新图,如果不满意,可以多试几次。效果如下:

换脸效果图

总结

以上介绍的两种换脸方法虽然仍不能完全让人满意,但至少提供了一些接近目标效果的方式。其中blend方法还可以用于模特换衣,只需要将衣服贴在人物身上,重新blend一下就可以得到模特换衣的效果。

举报/反馈

饭西饼

36获赞 47粉丝
架构师随笔,AIGC,程序化交易
关注
0
0
收藏
分享