LLMの更新とニーズの境目
nishio LLMがどんどん進化するとき、かつての「互換性とかあんまり考えずに変更される言語処理系」と同じように「最新版にして一部の機能が壊れる」「壊れるのを恐れて古いバージョンを使い続ける」の意思決定が迫られるようになるが、歴史から学ぶと後者はコストの先送りに過ぎず、結局上げざるを得なくなる
これの続きを書こうとしたのだけどうまく言語化できない
リファクタリング前にテストケース 機械的検証可能KPI わかりやすいニーズ 境目
機械的に検証可能なKPIの設定が容易なタスクと困難なタスクがある、もしくは困難なタスクが分割される必要がある
わかりやすいニーズを実現しにいくと、このKPIの設定の困難さに出会う 変化する部品としての人間がシステムに織り込まれているケース そうでないケース 前者においてもそれは人間の学習能力に期待しているので学習しない人間には使えない 境界面の問題
うーん、違うな
下記の議論を見て、どういうことが言いたいのか推測し、彼らが言語化できてないことを言語化するためのヒントを出せ
この議論から以下のような要点が読み取れます。
- AIシステムの設計において、人間とAIのタスク分担の境界面を適切に設定することが重要。どのタスクをAIが担い、どのタスクを人間が担うかを明確にすることで、システムの効率性、効果性、ユーザーの受容性が高まる。
- もう一つの重要な境界面は、ユーザーのニーズ空間とシステムの提供機能の間にある。この境界面が不明確だと、システムの価値とユーザー期待のギャップが生じる可能性がある。
- 特にニーズ空間の境界面は言語化が難しく、無視されがちだが、UXの向上には不可欠。市場調査やフィードバックを通じて、ユーザーニーズの理解を深める努力が求められる。
- KPI設定が困難なタスクは、より小さく管理しやすい部分に分割することが有効。人間の関与が大きいプロセスでは、具体的な数値目標の設定が難しいことも多い。
- 人間の学習能力や適応性をシステム設計に組み込み、継続的なトレーニングとフィードバックのメカニズムを用意することが、人間が介在するプロセスの効率化に役立つ。
彼らの言葉の背後には、急速に進化するAIを活用するシステムにおいて、技術的な設計だけでなく、人間とAIの協働のあり方、ユーザーニーズとのマッチング、人的リソースの育成など、多角的な視点からシステムを最適化していく必要性への問題意識があるのではないでしょうか。
違うなあ〜〜
変化しない安定したものとしてのシステムと、変化するシステム ソフトウェアのピア生産/オンデマンド生産/ダイバーシティ生産
nishio 何かまだ言語化されるべきなのに言語化できてない大事なものがそこにある気がするんだけどな…
Scrapboxを活用した英語チャットボットの可能性 DSPy
nishio プロンプトは確かに新しいプログラミング言語だが、「LLMという新しい計算機」の機械語であり、機種依存性がある。自然言語で書いてどのLLMでもまあまあ動く、その水準でユーザが満足するならそれで良い。そこまでは容易到達可能なのでレッドオーシャンになる。そこから先が機種依存性による崖になる。
nishio このときに、より抽象度の高い言語で書いて、ターゲットのLLMに対して最適化したプロンプトを作ることが行われるようになる。これは多種多様な計算機に対してコンパイルできるC言語が生まれたのと同じこと。
nishio なるほど。つまり競争の存在しない「今までマーケットが小さ過ぎて誰も参入してくれなかった領域」が自然言語プログラミングによって供給され、今までソフトウェアがカバーしてた領域はプロンプト程度ではレッドオーシャンになることによってより抽象度の高い高級言語へとシフトすることになる
nishio プロンプトを自然言語で人間が記述するのは、機械語に相当する。一般人が機械語を使うなんてと思うかもしれないが、現時点の一般人は機械語のさらに前の「物理的なボタンを押したりして機械の挙動を制御すること」をGUIというバーチャルなリアリティで実現してる状態。
nishio だからプロンプトを書くようになる人は一部で、他の多くの人は既に書いてあるプロンプトが実行されるボタンを押す。プロンプトを書く種類の新しいプログラマが増えるだけ。LLが生まれてC言語はわからないけどLLならできますってプログラマが増えたのと同じ。
nishio これは「言語化しようと試みてたもの」ではないが、関連した話題なので思いついたことをとりあえず吐き出しておいた