NISHIO Hirokazu[Translate]
Stable Diffusion Inpaintの仕組み


「マスクしてないところだけを描き直してくれる機能」ってのは一般人向けの雑な説明
「マスクされてるところは一切変更しないで、残りの部分だけを境界の辻褄が合うように作る」って仕組みではない
拡大してみるとマスクされたベンチの網目模様が変化しているのがわかる

マスクされたところも変わってしまうのは当たり前でlatent spaceにその詳しい情報を保持しておけるだけの次元がないから
例えマスクもノイズも皆無だったとしても16分の1の情報量から画像を復元してるので揺らいでしまう

"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]

(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]