NISHIO Hirokazu[Translate]
RAGとOxygen Not Included型シミュレーション
o1 Pro
RAGとOxygen Not Included型シミュレーション
要旨:RAG (Retrieval-Augmented Generation)によって外部知識を取り込み最適回答を返すLLMの仕組みを、Oxygen Not Includedのような閉鎖生態系におけるガス・水・熱リソース循環と結びつける。

解説:

ONIでは限られた空間内で酸素や水などの資源を循環させ、全体バランスを取る必要がある。
一方RAGは、限定的な内部モデルから外部知識を一時的に取り込み(外部データベースとの相互作用)、より有益な回答を生成する。
これを「閉鎖系を再び開いて更新するプロセス」と捉えると、RAGはモデル内部の行き詰まり(酸素不足状態)を解決する「新鮮な酸素」の外部注入のように見える。
つまり、言語モデルの内部リソース(事前学習)を使い果たした状況で、RAGは外部資源を環境から補給する仕組みであり、ONI的な管理シミュレーションの文脈で捉えると、「自給自足+外部補給」を行う混合型サステナブルシステムと言える。

"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]

(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]