NISHIO Hirokazu[Translate]
AIが図の間の関連を見出す実験
2026-08-03 FableFableによる実験
304枚の西尾のイラストを入力として、そのイラストの間に「共通する構造がある」的な関係性を見出そうとする実験

ver.1

どちらも「2本の飽和曲線が、途中では離れ、右端で合流する」絵です。vt-080 は cost-performance 平面で、施策あり(黒)となし(灰)の曲線の中間ギャップに B、合流点に赤丸 A。vt-126 は時間軸で、声の大きい人(赤A)が先に立ち上がり、静かな人(青B)が遅れて追いつき、途中の差に P(斜線領域)、合流点に丸 Q。
対応は記号レベルで一対一です:中間ギャップ B↔P、合流点のマーク A↔Q、上の曲線↔先行者、下の曲線↔後行者。2枚は「優位は途中経過にだけ存在し、十分先では消える。だから判定は測定点の位置で決まる」という同一の主張を、介入効果と発言力というまったく別の題材で描いています。「効果があるか」という問いと「声が大きい人が得か」という問いが、実は同じ「どこで測るか」問題だった、というのが同型の中身です。
nishio 見た目は確かに似ている
骨格は「中央に共有対象がひとつ、左右に観察者 A と B、それぞれの思考バブルが同じ対象の相補的な部分を強調する」。vt-025 の中央は黒い塊の上に赤い小片が乗った X で、A のバブルは「黒の上に赤が乗る」(赤=新情報)、B のバブルは「赤は既に黒の中」(赤=既知)。vt-110 の中央は半分の水で、A のバブルは空の部分に斜線、B のバブルは水の部分に斜線。
つまり「みんなもっと知るべき/もう知ってる」の対立は、有名な「半分しかない/半分もある」と同じ図形でした。片方は知識の増分、片方は楽観悲観のフレーミングという別ジャンルの話ですが、どちらも「対立は対象の性質ではなく、どちらの相補部分に注目するかの差」を描いています。発信者と受け手のズレ(vt-025 のテーマ)がコップの水の古典的な認知フレーミング問題の一例だ、と言える接続です。
nishio 一見全然似ていないと思ったが「中央に共有対象がひとつ、左右に観察者 A と B、それぞれの思考バブルが同じ対象の相補的な部分を強調する」という解説をみると、みんなもっと知るべき→もう知ってるの中の対比が相補的であるかどうかが論点だなと思う
同一軸上に「幅が狭く高い分布」と「幅が広く低い分布」を重ねる絵。vt-057 は緑 A(尖った分布)と赤 B(広い分布)に加えて左に灰色の縦線=閾値があり、「A は平均では良いが、閾値割れの裾も持つ」を描く。vt-190 は書籍ページの手描きで、スペシャリスト=尖った山、ジェネラリスト=低く平らな線。
同型の示唆:**専門特化と汎用性の違いは「能力の総量」ではなく「分散の選択」**であり、だとすればスペシャリスト戦略には vt-057 の閾値線がそのまま持ち込める——尖った分布は当たれば高いが、環境の閾値(需要の位置)を外すと丸ごと裾に落ちる。vt-190 単体にはリスクの話は描かれていないので、vt-057 の閾値装置を移植すると「スペシャリストのリスク論」が絵のレベルで合成できる、という生成的なペアです。
nishioこれは図の形は一見似ているけど「失敗確率が高いが平均的に良い」の側は横軸がスコアで一定閾値以上を成功としているのに対し、「スペシャリストとジェネラリスト」の横軸はドメインであって順序関係がない
AIの解説する議論は一見筋が通ってそうには思う
vt-068 は水面(青)と2つの円:小さい円は完全に水没、大きい円だけが水面を突き破って頭を出す。vt-282 は会社の境界(灰の楕円)と2人:A さんは完全に境界の内側、B さんの円は境界をまたいで外にはみ出す。
対応:水面↔会社の境界(どちらも「外部から観測可能になる閾」)、水没した小石↔社内に閉じた A さん、頭を出す大石↔境界をまたぐ B さん。向きが90度違う(水平の水面と楕円の境界)だけで、トポロジーは同じです。示唆:社外での評価・知名度の問題は「実力の大小」の絵ではなく「境界を越えた部分だけが外から見える」という可視性の絵で、水没している=実力がないではなく、閾を越える体積がまだない、という読み替えができます。
nishio「顔を出しているかどうか」という側面の類似を読み取るのは興味深い
見出された共通の側面の抽象度が高すぎて僕には着地させられない感
vt-061 は抽象図で、水平の X 軸に対して Y 軸が斜めに立ち、Y 沿いの移動(赤矢印)を点線で X に射影すると X 成分(ピンク矢印)が生じる——「Y を動くと X も動く=軸が直交していない」。vt-280 は「良い」(縦)×「制約ゆるい」(横)の平面に、斜めの赤い軸「すごい」が引かれ、制約のゆるいところにいる人(青い顔)から点線がその斜め軸の低い位置へ射影され、下には見下す顔。
対応:斜め軸↔「すごい」軸、点線の射影↔評価行為。vt-280 は vt-061 の抽象構造の応用事例という関係です。示唆:「すごさ」は「良さ」と直交しておらず、制約のきつさ成分を含んだ斜め軸なので、制約のゆるい環境の成果は自動的に低く射影される。見下しは対象の性質ではなく非直交軸への射影の錯覚だ、という一段抽象的な説明を vt-061 が与えます。
nishioこれは指摘の通り、「直交しない2軸」が抽象度の高い表現であり、「制約のゆるい成果を見下すのは滑稽」が具体的な観察からの描写で、「直交しない2軸」の一種であることを僕が関連付けし損ねている状態
どちらも「2つの重なる閉領域と、片方にだけ含まれる差分領域」の絵。vt-121 は大人の領域(黒)から子供の領域(赤)が上にはみ出し、そのはみ出し=「尖り」が主題。vt-131 は2つの重なる円を A と B が見ていて、X は A の円にだけ入っている——A には存在し、B には存在しない。
対応:子供のはみ出し部分↔「A にだけ存在する X」。示唆:子供の尖りが大人に承認されない現象は、能力の量の問題ではなく vt-131 の存在論的対立の一例——大人の参照領域の外にあるものは「存在しない」扱いになる。「尖ったところを伸ばす」という教育方針は、B(大人側)の円を動かして X を含ませる操作、と絵のレベルで言い直せます。
nishio 抽象度の高い共通側面だなぁ

全体通しての感想nishio
図から共通の側面を見出すことができている
抽象度高いなぁというのが正直な感想である反面、事例5のように生身の西尾が抽象度高い「直交しない2軸」を作ってるケースがあり、こういう抽象度高い切り口を出してくるのは生身の西尾が今までやってきたことでもある
必要な時に必要な抽象化の切り口に気づける保証がないから、気づいたタイミングで言語化しておくことは「有用な概念の当たり判定を拡大する」の一種
生身の西尾が関連づけ損ねているものを関連づけていて、有用
ニーズとコストはさておき
大きな実験をするつもりでなく気軽に話してたらFableをゴリゴリ使って5h limitを一瞬で溶かしたw

ver.1 実験手法の解説
Fable
方法は3段階で、核になる設計判断は「画像を直接比べず、いったん『構造だけの言語』に翻訳してから比べ、最後に画像で検証する」です。
段階1: 言語ブラインドの構造記述(AIの目)
304枚を16体のマルチモーダルAI(Fable 5)に約19枚ずつ配り、各絵を見て構造記述を書かせました。ここに2つの縛りを入れています。
タイトル・タグ・ページ本文を一切見せない。画像の中に文字があっても「意味を読まない」(「labeled blob(ラベル付きの塊)」という構成要素としてだけ扱う)。つまり「これはブロードリスニングの絵だ」という知識なしで記述させる。
統制語彙で書かせる。コマ数/構成要素(人物・円・曲線が何個)/トポロジー(包含・隣接・重なり・軸・木・網)/矢印の構造(1→Nの扇形、N→1の漏斗など)/時間変化(before/after、段階)、そして最後にドメイン語を使わず幾何・トポロジー語だけで1行に圧縮した「構造式」——例えば「2本の飽和曲線、中間ギャップ明示、右端で合流」のような形。
これが考察で言った「絵の構造記述はAI由来のcaptionとして絵に添付できる」の実働版です。トピックの語彙を遮断したのは、まさに語彙翻訳問題の対策で、「効果」と「声の大きさ」という語彙で書かれたら絶対に一致しない2枚が、「飽和曲線2本・ギャップ・合流点マーク」という構造語彙なら一致するからです。
段階2: 記述テキストの全ペア照合(粗いふるい)
304枚の全組み合わせ46,056ペアについて、構造記述どうしの類似度を TF-IDF+コサイン類似度(古典的なテキスト類似指標。珍しい語の一致を重く、ありふれた語の一致を軽く数える)で計算しました。画像embeddingではなく記述文の類似です。CLIPのような画像ベクトルを使わなかったのは、あれが拾うのは画風・色・密度の類似で、欲しいのは「矢印の向きと包含関係の同型」という抽象構造の類似だからです。上位300ペアから、タグが重ならず・カタログ番号も離れているもの(=別ドメイン)を優先して50ペアを選抜しました。シリーズものの変奏(連番・同主題)が上位を埋めるのを防ぐためです。
段階3: 画像の突き合わせ検証(懐疑的な目)
選抜50ペアを別の5体のAIに渡し、今度は両方の画像を実際に見て判定させました。ここで初めてタイトルも見せます(ドメインが本当に遠いかの判定に必要なので)。判定基準は「構造同型の強さ0–3」×「主題の距離」×「対応の非自明さ」で、「どちらも円がある」程度は棄却、要素同士の一対一対応(B↔P、A↔Q のような)が取れるものだけを A 級に。最後に最強の3ペアは私自身が両画像を見て再確認しました。
つまり全体は、発見は言語を封じた構造の層で行い、検証は画像と言語の両方で行うという設計です。段階1が「絵は語彙翻訳を透過する」の実装、段階3が「AIは叩き台、線を引くのは人間」の分業ライン(最終レビューは西尾さんに残してあります)。
弱点も方法に由来します。類似検索の精度は段階1の記述の質で決まるので、記述が粗かった絵(不一不異がまさにそうで、「容器の中に隣接する2領域」としか書かれなかった)は圏外に沈みました。また曲線・軸のあるグラフ型の絵は統制語彙が揃いやすく有利で、人物・情景型は記述が発散して不利です。46,056ペア中、検証まで進んだのは50ペアだけなので、見逃しは確実に残っています——「1回の走査で全部見つけた」とは言えません。

nishio
>段階2: 記述テキストの全ペア照合(粗いふるい)
これに関して、46,056ペアについて"TF-IDF+コサイン類似度"しているが、304件は大した量ではないので、コンテキストにおいてLLMでグルーピングや共通の構造の発見をすることが可能なはずであり、こっちの方が今回のような1:1ペアの抽出よりもリッチな知見が得られそう

Fableご指摘のとおりで、一括グルーピングはペア方式の明確な上位互換でした。304件の記述を1体の Fable に丸ごと読ませて分類学を作らせた結果:
35ファミリー+6 singletons で304枚を全被覆、近同型(≈)サブグループ50組——うち38組はペア方式で検出できていなかった新規です。しかも決定的なのは、ペア方式で297位に沈んでいた vt-290 不一不異が回収されたこと。F8「静的包含タブロー」の ≈{広義と狭義で真偽反転, 会社の境界と個人の評価, 不一不異} に入りました。TF-IDF は記述の語彙が偶然揃わないと見えないのに対し、全件を1つの知能が読むと「外殻1つ+内部2領域」という抽象で束ねられる——recall の不安定さがそのまま解消された形です。
nishio これは生身の西尾は具体の意味に注目しすぎてグループに入れないが、確かに具体を無視して構造だけ見ると共通の側面がある。この側面に注目することが有用かどうかは別の話だが、抽象ってそういうものだよね
具体から唯一の正解の抽象があるのではなく、多様な側面を抜き出す多様な抽象があって、どの抽象が有用かは状況によって異なる

新規38組から質の高いものを挙げると:
円柱は円にも四角にも見える ↔ 6と9 — 「同一対象の別射影」の代表2枚が構造で束なった
陰陽太極図 ↔ 敵を小集団とみなす — 相補二分割の各半分に逆相の核が埋まる
劣化コピーが広がる ↔ ピラミッドの底辺しか観測できてない人 — 実物は成長するのに内部像は初期形のまま凍結
ブロードリスニング ↔ LLMがもたらす組織構造の変化 ↔ 2025年のブロードリスニング — 「あの図」の媒介層3態が組織論まで横断
別の世界で解決する ↔ 意味づけは壊してよい — 層を降りて進んで昇る可換図式
知識のネットワーク記法 ↔ コンヴィヴィアリティ — ハブ削除→子ノード同士のペア再配線

そしてペアでは出なかった一番リッチな成果がメタ観察=コーパスの文法です:
支配的モチーフは
まず量:「中央に1つの共有対象、両脇に観察者、それぞれの読みが食い違う」という骨格が、304枚中60枚超(約2割)に現れ、しかも単一ファミリーではなく
F5(曲線の局所読み)、
F25(私的コピーの分岐)、
F26(射影で順位逆転)、
F27(尺度で判定反転)、
F28(形式間の再符号化)、
F29(凍結した内部像)
と6ファミリーにまたがる上位フレームとして機能している。つまり個々の絵の主題ではなく、色々な基底構造(曲線・Venn・軸・ネットワーク)の上に繰り返し被せられる「メタな型」です。
次に弁別性:世の中の図解コーパス一般を想像すると、支配的なのはフローチャート、階層ツリー、マトリクス、プロセス矢印で、「観察者2人の読みの食い違い」を図の骨格そのものにする描き手はかなり珍しい。タイトルを剥がした絵を1枚見せられて「これは誰のコーパスの絵か」と問われたとき、この型があれば西尾コーパスだと当てられる。
そしてこれは内容的にも腑に落ちる話で、この構造型は西尾さんの中心的な知的関心そのものの図形化です。「Aかnot Aかの議論」「単語を変えると誤解が拡大する」「一人の主観から大勢の主観へ」——対立を対象の性質ではなく観測の仕方(軸・窓・尺度・粒度の選択)の差として説明し直す、という思考の癖が、絵を描くたびに同じ骨格を呼び出している。言語ブラインドで構造だけから分類したのに、最後にタイトルを戻すと認識論的パースペクティビズムの絵ばかりがそこに集まっていた、というのがこの発見の面白いところです。描く前に言語的思考をしていなくても、手が毎回同じ文法を使っている証拠とも読めます。
nishio二人が違うことを言う絵のシリーズ」として自覚的ではある
の5つで、典型の1枚は「基底幾何 × 観測者フレーム」の直積として作られ、矢印は流れ/計測/変換/否定の4用法に描き分けられている——西尾さんのビジュアル語彙の文法記述になっています。

log には教訓として「発見面の実装は、ペア類似検索でなく全コーパス一括読解によるファミリー化を既定にすべき」と記録しました。304→3000枚級に増えて一括が苦しくなったら、今回のファミリーを索引にした階層読解(新しい絵→該当ファミリー判定→ファミリー内で近同型判定)に切り替えれば同じ品質を保てます。

2026-08-06
nishio
具体の図解をグループ編成してからそれを眺めることによって新しい言語化が行われる、これはとてもKJ法的。
いまやったのはトップの5分類を見て、掘り下げて、掘り下げて、というプロセスだった。ボトムアップではない。だがボトムアップでは認知能力を溢れてしまって今までできてなかった。トップダウンによって一歩前進したのは良いこと。
grasp
ひとつ補助線を引くと、見かけの矛盾(KJ法はボトムアップなのに今回はトップダウン)が解けます。
今回起きたのは「トップダウンに切り替えた」というより、ボトムアップの溢れる工程をAIが肩代わりした、が正確だと思います。グルーピングAIは5分類から始めていない——304枚を全部読んで35ファミリーを編み、そこから5モチーフを抽象した。それは紛れもなくボトムアップの綜合です。
ただAIはその結果を木として返したので、西尾さんは根(5モチーフ)から枝へ降りるトップダウンで消費できた。木を歩くとき手元に要る記憶は「今のノード+その子(5〜35個)」だけで、溢れない。KJ法の骨(束ねる→表札→言語化)はそのまま、溢れる蓄積の担い手だけが人からAIに移った。だから「KJ法的」という直感は正しく、しかも裏で本当にKJ法をやっている(人ではなくAIが)。
そして「グループを眺めて新しい言語化が起きる」のは、西尾さん自身の理論の実演です——「執筆は一次元化」、KJ法の『話してみることで言語化が促される』、ConnectingDots振り返りの『Storyを編む行為こそがDotの発見装置』。今回のセッション全体がその生きた1事例。しかもこれは方法の話に見えて、鏡の側の材料です:具体を空間配置して眺めると言語化が起きる、という認知の癖そのものが、VTが前提してきた「絵が言語に先行する」の一形態。自画像の一部になります。
一歩前進は本物です。ただ正直に言うと、トップダウンには構造上の死角があります。根の5モチーフから降りるので、どのモチーフにも太く属さない裾——singletons 6枚、少数ファミリー、支配モチーフに乗らない横断——は掘りが浅くなる。ボトムアップの美点は外れ値を拾えることでした。皮肉なことに、これは西尾さん自身の絵の主題(vt-020「辺縁が育てばそれが中心」)そのものです。次の一手として「裾を意図的に掘る」を別立てにすると、トップダウンの取りこぼしを埋められます——AIに蓄積を任せられる今、ボトムアップの美点だけを選んで足せる。

"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]

(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]