写実的でない絵画の分野がひらけた

NISHIO Hirokazu [Translate]
写実的でない絵画の分野がひらけた
from 日記2022-10-13
写実的でない絵画の分野がひらけた

>@nishio: 最近カメラが生まれた時の写実画家のコメントをAIを使った漫画にしてる人を見かけたのだけどメモしてなかったので見つけられなくなってしまった
> 今まさに新しい領域の誕生に立ち会ってるわけなので、今見聞きしたものを記録しておくと後々役に立ちそうだなぁとこの投稿を見て思い出した
>@HomeiMiyashita: メディア史を学ぶとき、カメラの誕生が社会に与えた衝撃とか、写真家に対する画家の感情とかいったことを想像するのはけっこう難しい。でも、2022年10月上旬の今だけは、「AI絵師」というキーワードをTwitterで追うことで、その想像の助けになるかもしれない。
新しい技術に対する反発

>@yurijinitai: Novel AIで漫画作ってみました
>「写真ができたときにも今のAIと同じような気持ちになった人がいたのか、調べてみた」
>#NovelAIDiffusion #NovelAI
>
ダゲレオタイプ

これのこのコマの部分から僕のストーリーが分岐する
>@nishio: これの3枚目の「写実的でない絵画の分野がひらけた」ところから僕のストーリーが分岐する
>@nishio: 僕がStable Diffusionに見出したのは「写実的でない絵画を描ける」という能力だった
>/c3cats/20220826100310
>上記が今でもプロジェクトのアバターに使ってる猫の元絵。
> 最初に物理製品を作ってみたのはこれ
> 
>最近生まれた中で気に入ってるのはこれ
> 

>実際、過去の実験では写真的な絵もたくさん生成されている。プロジェクトの画像一覧にそういうのがないのは我々夫婦が却下しているだけの話。今までで4万枚生成した中の1500枚しかリリースしてない。却下したもの例(今まで紹介したことなかった)
> 
> 僕「この猫の絵はよく描けてるんじゃない？」
> 妻「本物の猫のかわいい写真や動画がありふれている場で、写実的な猫の絵を生成しても、本物に勝つことはない」
> 僕「確かになー」
> その妻がチョイスしてインスタでも24人がいいねしてるのがこれ
>
>個人的には上記は猫だと言われないで見せられて猫を感得できるか微妙だと思うので、同じ「奇妙な生き物」系でもこっちが好き。これは先日ブックカバーに加工したりもした
> /c3cats/20220912034858

>@nishio: アートの歴史文脈で言えば「カメラが誕生して、技術が好きで、写実画家ではなかった人たちがカメラの技術で試行錯誤して写真作品を作り始めた」と同じ流れが現在Stable Diffusionのオープンソース化によって発生していて、僕はその写真家側の立場なわけだ。
オープンソース作画AIとカメラ

>@nishio: 「カメラの中身を理解した技術者」がある特定分野の画風に特化したカメラを作ってみた、それがNovelAIDiffusionとかであり、そのターゲットとなった画風の人たちが反発するのはまあそりゃそうだろうという感じ。一方でcubo-futurismを指定してもこんな絵になってしまうので僕にとっての魅力は減ってる
>
>---
> 元々のStable Diffusionだとこういう絵が出る。つまり特定の領域に特化することによってその領域での成功率を高め、他の領域の成功率が下がる(ターゲット領域に引き付けられてしまう)という現象が起きてるわけ
> /c3cats/20220829080905

>@nishio: つまりこれは、僕や妻の「良いの定義」がNovelAI Diffusionにフィットしないという話。
> 先日こういう解説をしたら「そこまでしないと良い絵が得られないのか？」という質問があったのだけど、それは「良いの定義」依存
>Stable Diffusionのシードとプロンプトの関係
>「私はこれを良いと思う」と定義して世の中に提示していくことがアート活動の一つの側面
>僕がやってることは画像生成の自動化およびプロンプトの強化学習での生成なので、カメラに例えると「カメラが自動でシャッターを切り続けるようになり、カメラが独自の判断で首振り移動をして構図を決める、どの構図がいいかは人間の好みを学習」って感じだな
> 「私はこれが良いと思う」の探索の部分を人間の試行錯誤ではなく機械の試行錯誤に置き換えて高速化したわけだ。
> それに加えて、僕は「ソフトウェアエンジニア」という種類の芸術家なので「機械が自動的に僕好みの絵を作り続けるシステム」というメタな芸術作品も「これが良いと思う」なわけだ
> そうして「AIによって作られた絵の集合をベースにして意味のネットワークを作る」っていうところも、また別のレイヤーの芸術作品なわけだな アートの媒体
>「私はこれを良いと思う」を具体的な1作品「点」xではなく、それを生成する「確立分布」p(x)として表現したいと考えている。それぞれの作品はp(x)からサンプリングされた点x1, x2,…である 点ではなく確率分布としてのアート