当emoji照进现实

流汗黄豆真的来了!

Posted by Hugo.X on Tuesday, November 21, 2023

AI生图

  在使用Stable Diffusion或者Midjourney等AI工具画图的时候我们往往需要输入很长的一段提示词(prompt),包含背景、人物、衣着、景深、构图、风格等等各种内容。这些内容的排列分布顺序会影响到最终成图,而且提示词也并不是由自然语言构成的。由于AI生图提示词的玄学特性(用得好惊天动地,用不好魂飞魄散),因此prompt又被戏称为“咒语”,SD面板中的各种参数就是“法杖”,而使用咒语的AI画师又被戏称为“魔法师”,魔法师所用的教材当然就被叫做“魔法书”了。

  具体的细节大家可以去翻看《元素同典》、《元素法典》以及《魔导原典》等国内著名的魔法书,简单来说一张满意的AI成图其“咒语”往往需要15次以上的迭代修改。

樱花树下的女孩

Positive prompt: highres, high quality, 8k, beautiful girl (braided hair)(huge breasts) <lora:breastinclassBetter:0.05>, blue (transparent:0.9) backless dress <lora:ClothingAdjuster3:-0.3>, nsfw, looking back (blush:1.2)(surprise) <lora:asianGirlsFace_v1:0.2>, road side tree (cherry blossom)(blossom falling:0.9) ,(photographer),(serendipity),day time, cloud(soft breeze),solo focus,soft light,realistic photograph (nostalgic)(pastel colors),

Negative prompt: (worst quality, low quality:1.4),logo,text,monochrome,Deformity,Twisted limbs,Incorrect proportions,Ugliness,Ugly limbs,Deformed arm,Deformed fingers,Three hands,Deformed hand,4 fingers,6 fingers,Deformed thigh,Twisted thigh,Three legs,Deformed foot,Twisted foot,Terrible foot,6 toes,4 toes,Ugly foot,Short neck,Curved spine,Muscle atrophy,Bony,Facial asymmetry,Excess fat,Awkward gait,Incoordinated body,Double chin,Long chin,Elongated physique,Short stature,Sagging breasts,Obese physique,Emaciated,

Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 3369622088, Size: 512x768, Model hash: d7e2ac2f4a, Model: majicmixRealistic_betterV2V25, Denoising strength: 0.3, Clip skip: 2, ADetailer model: face_yolov8s.pt, ADetailer confidence: 0.3, ADetailer dilate/erode: 4, ADetailer mask blur: 4, ADetailer denoising strength: 0.4, ADetailer inpaint only masked: True, ADetailer inpaint padding: 32, ADetailer use inpaint width/height: True, ADetailer inpaint width: 512, ADetailer inpaint height: 512, ADetailer version: 23.7.11, ControlNet 0: "preprocessor: softedge_hed, model: control_v11p_sd15_softedge_fp16 [f616a34f], weight: 0.8, starting/ending: (0, 1), resize mode: Crop and Resize, pixel perfect: False, control mode: Balanced, preprocessor params: (240, 64, 64)", Hires upscale: 2, Hires steps: 20, Hires upscaler: R-ESRGAN 4x+, Lora hashes: "breastinclassBetter: d62716438a56, ClothingAdjuster3: d376664395f1, asianGirlsFace_v1: 53040ed45427", Version: v1.5.1

学校区示意图

Positive prompt: drone view,Chinese countryside,(a modest office building in the middle:1.2),(a small-scale storage base in front of the building:0.8),a technology center on the left,<lora:lw-MIRNKV0.6废物版:0.3>,Arial view,clean line,
Negative prompt: lowres,text,error,extra digit,fewer digits,cropped,worst quality,low quality,normal quality,jpeg artifacts,signature,watermark,username,blurry,
Steps: 20, Sampler: DPM++ 3M SDE Karras, CFG scale: 7, Seed: 3518541399, Size: 1536x1024, Model hash: f7c2a4bb41, Model: architecturerealmix_v1repair, Denoising strength: 0.3, Clip skip: 2, Lora hashes: "lw-MIRNKV0.6废物版: d5cf72cc9dba", Version: v1.6.0

  是不是看着就头大,而且发现我不仅仅使用了不同系的魔法咒语就连法杖都换了?甚至成图里面有些元素和提示词中给的描述不完全对的上?没错,这就是目前AI生图的劣势。我们可以用AI生成看起来非常不错的图片,但是却无法像手绘或者传统电脑绘图那样进行精确控制。AI生图作为示意图、背景图等没有实施意义的图片是非常棒的,但是无法作用于施工图、效果图等具有实施意义的图片,并且咒语迭代(调试提示词)、法杖更换(调整参数)也是一件非常繁琐耗时的事情。

什么是emoji

emoji:表情符号,来自日语词汇“絵文字”(假名为“えもじ”,读音即emoji)。emoji已被大多数现代计算机系统所兼容的Unicode编码采纳,普遍应用于各种手机短信和社交网络中。[emoji百度百科]

Unicode:如果把各种文字编码形容为各地的方言,那么统一码就是世界各国合作开发的一种语言。在这种语言环境下,不会再有语言的编码冲突,在同屏下,可以显示任何语言的内容,这就是统一码的最大好处。就是将世界上所有的文字用2个字节统一进行编码。那样,像这样统一编码,2个字节就已经足够容纳世界上所有语言的大部分文字了。[Unicode百度百科]

  被Unicode收录的emoji表情符号,不仅仅可以在大多数的电子设备上被正确识别并且显示,并且可以用作AI生图的提示词被AI识别。

用emoji作为提示词的优势

Emoji可以直接作为prompt的部分输入,而且单一使用效果强到可怕。 不知道到底是什么人以什么样的精神状态将emoji作为tag进行训练,但总之这件事情就这么发生了,emoji它就是可以当作prompt用。 Emoji是单个字符,可以无视SD框架对它识别时的一切拆分尝试,以最短的字符长度代表出一个概念。它的信息密度的分母是最小的,信息量与其它词相比却差不多,所以信息密度高到吓人,因而导致其多,所以信息密度高到吓人,因而导致其准确度高到可准确度高到可怕。《元素同典》

  也就是说emoji不仅仅包含了以2个字节位包含了超大量信息,而且是不可被SD拆分的信息。如果我们想要生成“淡黄的长裙,蓬松的头发”,那prompt中这段法术大概是1girl, pale yellow dress, fluffy hair或者1girl, dress, pale yellow, (fluffy) hair,这其中的pale、yellow、fluffy这些形容词,包括dress、hair这些名词都有可能在SD框架中被随机拆分。以下是用不同的几个人像模型随机出来的图,可以看到不仅仅有些颜色被拆分到背景、头发上去了,还有一些模型的背景十分空白。

淡黄的长裙

1girl, moyou 1girl, pale yellow dress, fluffy hair
Negative prompt: FastNegativeV2,
Steps: 15, Sampler: DDIM, CFG scale: 7, Seed: 1146905752, Size: 512x512, 

  但是!BUT当神奇的emoji照进现实,见证奇迹的时刻到了!

👸 emoji

Negative prompt: FastNegativeV2,
Steps: 15 - 20, Sampler: DDIM, DPM++ 2S a, CFG scale: 6 - 7

  以上图全部是用单一emoji提示词生成的图片从上往下分别是👸 🌹 🌹 🏛️。4不4很神奇,单一提示词涵盖了背景细节等等各方面而且基本上跑十几张图就有一两张可以用的。

  这让我不禁想要做一个“当emoji照进现实”的系列,大概会开个小红书和大家分享一下目前的3773个emoji被AI照进现实会是怎么样吧。

  最后非常感谢制作各类魔法书的魔导师们,特别鸣谢将魔网连接到现实的aaaki大佬制作的绘世启动器。


共享协议:CC BY-NC-ND 4.0

「我有一个梦想,如果每个中国人赏我一个大洋😏」

南宫的AI小栈

我有一个梦想,如果每个中国人赏我一个大洋😏

使用微信扫描二维码完成支付