NISHIO Hirokazu[Translate]
集合的予測符号化=記号創発
>tanichu NEW 単著・和文・展望論文
> 『認知科学』「集合的予測符号化に基づく言語と認知のダイナミクス: 記号創発ロボティクスの新展開に向けて」 https://doi.org/10.11225/cs.2023.064…
>
> 現状の谷口の世界理解と展望を一人で思いっ切り書いた感じです。
>
>言語創発とは集合的な予測符号化ではないか?
> ②「言語」を主体として捉えれば人間は従属的な位置に来る(言語に従わされる世界観)。
> ③ 「言語」を主体として捉えれば言語創発とは外的表象の representation learning (表現学習)である。
> ④ それ故に言語創発は生成モデルとして表現可能。
>言語ゲーム分散化されたベイズ推論アルゴリズムの形態である。
> ⑥ それゆえにAI、ロボティクスの研究として社会レベルまで含めて素直に展開可能。(世界モデルの社会化
> ⑥ 言語創発はそれゆえに「社会における」自由エネルギー原理に基づくものと捉えられるだろう。
>大規模言語モデルは上記、集団による表現学習の結果の構造を内化しているので、世界の構造情報を内化している。だから人間の環世界を統合するような形で思いの外「世界を知っている」。その学習にはnext token predictionのような(予測)符号化で十分なようにも思う。
>
> 若干意訳もありますが、こういう風な世界認識をもとに書いています。ご笑覧ください。
>
> また英語では preprint ですが
> Taniguchi, T. (2023, August 15). Collective Predictive Coding Hypothesis: Symbol Emergence as Decentralized Bayesian Inference. https://doi.org/10.31234/osf.io/d2ty6…
> で集合的予測符号化に関して書いています(under review)。
>
> ちなみに、東大の上田さん
> @CsWeddy
> と書いてICLR2024に採択された"Lewis's Signaling Game as beta-VAE"はそういう表現学習としての言語(記号)創発を地に足つけて(その片鱗を)定式化して、さらにそれがもたらすimplicationについて議論したものです。
>
> また言語創発の俯瞰的なサーベイも同時に出版しているので、よろしくお願いします。
>

>tanichu まだまだ「展望」であって、数多くの研究でサポートしていったり応用に繋げていかないといけないと思いますが、展望論文ですので、いろんな人にinspiration を与えられて、さらに議論を広げ、深められたら嬉しいです。…
> >:


"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]

(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]