NISHIO Hirokazu[Translate]
プロンプトでタスクを細かく指示しすぎるな
2026年9月ごろの話nishio
個人でもAIを活用してる友人が言った「会社で外部講師を呼んだAI勉強会がだけど2023年の論文を引いて『こういうプロンプトの書き方をするといい』と教えてた、ヤバくない?」
その時はゲラゲラ笑いながら「ヤバいな〜」と話していたのだけど、その後独立な経路で似たような話を聞いたり、書店に解説本がたくさん並んでいるという話を聞いて、これは整理しておかなきゃいけないなと感じた
2023年といえばまだAIが今よりも貧弱で、会話履歴を覚えておく力(コンテキスト長)も小さく、じっくり考える力(thinking effort)も小さかった時代だ
この時代のノウハウは簡単に言えば「貧弱なAIが自分の判断で迷走しないように、細かく明確に手順を指示する」というものだったし、実際この時代のAIに関してはその方が「タスクの成功率」は高かった。これは2026年現在、最先端のAIに対しては逆効果になる。
留保: 最先端でない小さいモデル、特にローカルLLMを使う場合やなんらかの理由でOpenAIやAnthropicの通常のサービスを利用できない場合には有用なケースもある。ただし「詳細な指示」を人間が書くよりAIに書かせた方が良い場合が多い。

grasp
当時のベンダー公式ガイドは実際に「分割して手順を指示せよ」と言っていた
> Split complex tasks into simpler subtasks
> Prompt the model to explain before answering
理由も書いてある
> if you give GPT-3 a task that's too complex to do in the time it takes to calculate its next token, it may confabulate an incorrect guess
次の1トークンを計算する時間で解けないほど複雑だと、でたらめを言う。だから人間がタスクを分割し、「Let's think step by step」と言わせた(正答率 18%→79%)
OpenAI 公式 Prompt engineering guide「Six strategies for getting better results」(2023-12)
出典は archive.today の 2024-02-18 保存版。現行ページは書き換え済みで、この節はもうない
> Tactic: Specify the steps required to complete a task
> Some tasks are best specified as a sequence of steps. Writing the steps out explicitly can make it easier for the model to follow them.
> Split complex tasks into simpler subtasks
> Complex tasks tend to have higher error rates than simpler tasks. Furthermore, complex tasks can often be re-defined as a workflow of simpler tasks in which the outputs of earlier tasks are used to construct the inputs to later tasks.
手順を明示せよ、複雑なタスクは単純なタスクのワークフローに分解せよ。冒頭の「細かく明確に手順を指示する」はこれ
同じガイドの中に、既に反対側の芽もある
> Providing general instructions that apply to all examples is generally more efficient than demonstrating all permutations of a task by example
全順列を例示するより、全部に当てはまる一般的な指示のほうが効率的(Provide examples の節)
Anthropic docs (2024-03 時点の Wayback で確認)
> Chain prompts: Divide complex tasks into smaller, manageable steps for better results
> Let Claude think: Encourage step-by-step thinking to improve the quality of Claude's output
反転の仕組み
「指示を増やすと従えなくなる」コストは当時からあった(下の根拠4)。変わったのは、モデル自身の判断が人間の手順書を上回ったこと
指示を盛るとエラーが増えることは、2023-12 の OpenAI ガイド自身が書いている(分類して必要な指示だけを入れる tactic の説明)
> each query will contain only those instructions that are required to perform the next stage of a task which can result in lower error rates compared to using a single query to perform the whole task
> Claude's reasoning frequently exceeds what a human would prescribe. (Prompting best practices)
モデルの推論は、人間が手順として書くものをしばしば上回る
同じ docs は、手動の chain-of-thought を「thinking が使えないときの fallback」に格下げした。2022年の主技法が内蔵機能に置き換わった
反転はモデルの種類で起きる
OpenAI の現行 Prompt engineering guide は、今もモデルの種類で助言を分けている
> GPT models like gpt-6-astra benefit from precise instructions that explicitly provide the logic and data required to complete the task in the prompt.
> Generally speaking, reasoning models will provide better results on tasks with only high-level guidance.
推論モデルは senior の同僚(目標を渡して任せる)、GPT系は junior の同僚(明示的な指示で最良)、という比喩
だから「2023年の知識は間違いになった」ではなく「小さい・非推論のモデルには今も当てはまる」。冒頭の「逆効果」はフロンティアの推論モデルに対しての話。

目的は明確に伝え、達成手段は細かく縛らない
以下、根拠は5つ。AnthropicとOpenAIの公式文書(根拠1〜3)、独立した研究(根拠4)、実務者(根拠5)
両側に失敗がある: 細かすぎても曖昧すぎても駄目。狙うのはその中間の「適切な高度」

著者: Prithvi Rajasekaran, Ethan Dixon, Carly Ryan, Jeremy Hadfield (Applied AI team)
システムプロンプトは「right altitude」(適切な高度)で書く
失敗1: 細かすぎる
> hardcoding complex, brittle logic in their prompts to elicit exact agentic behavior
複雑で壊れやすいロジックをプロンプトにハードコードして、正確な振る舞いを引き出そうとする
失敗2: 曖昧すぎる
> vague, high-level guidance that fails to give the LLM concrete signals for desired outputs or falsely assumes shared context
具体的な手がかりを与えない漠然とした指示、または共有されていない前提を共有されていると思い込む
その中間: 振る舞いを導くだけの具体性と、モデルが自分で判断できる柔軟性を両立させる
例示はエッジケースの長いリストでなく、典型例を厳選せよ
指導原理
> Find the smallest set of high-signal tokens that maximize the likelihood of your desired outcome.
望む結果の確率を最大化する、最小の高シグナルなトークン集合を見つけよ
文脈が長くなると性能が落ちる(Context Rot)。モデルの注意には予算がある
記事の残りの話題: ツールは最小限・機能の重なりなく / just-in-time retrieval / 長いタスクのための compaction・構造化ノート・サブエージェント

根拠2: Anthropic の 2026 年の文書。モデルが上がるたびに「前のモデル用の指示を外せ」と公式に書くようになった
Automated Alignment Researchers (research, 2026-04-14)
> giving the AARs too much structure hurt their progress badly. When we prescribed a specific workflow ("propose ideas, then generate a plan, then write the code…"), we found we'd ultimately constrained Claude's work.
> giving each AAR a different starting point helped a lot, even if that starting point was vague
方向は曖昧でも与える、手順は与えない。「適切な高度」を実験で測った例
Prompting Claude Fable 5 (docs、日付なし。Fable 5 公開 2026-06-09)
> Skills developed for prior models are often too prescriptive for Claude Fable 5 and can degrade output quality. Review and consider removing older instructions if default performance is better.
> Instruction-following is improved enough that you can steer most behaviors with a brief instruction rather than enumerating each behavior by name.
旧モデル向けに書いたスキルは細かすぎて出力品質を下げる。外して素の性能と比べよ。振る舞いを一つずつ列挙しなくても短い指示で足りる
Prompting Claude Opus 5 (docs、日付なし。Opus 5 公開 2026-07-24)
> If your prompt contains explicit verification instructions (...), remove them: instructions like these cause over-verification on Claude Opus 5, and removing them reduces wasted tokens with no loss in quality. The same applies to legacy harness scaffolding that adds separate verification steps.
検証しろという指示は消せ。消しても品質は落ちず、無駄なトークンが減る。検証工程を足す古いハーネスも同じ
Prompting best practices (docs、全現行モデル共通)
> Prefer general instructions over prescriptive steps. A prompt like "think thoroughly" often produces better reasoning than a hand-written step-by-step plan.
手書きの手順書より「よく考えて」の一言のほうが推論の質が高い
移行の節にも「Remove over-prompting.」: 以前のモデルに必要だった「もっと徹底的に」「もっとツールを使え」は弱めよ
2025-09 の記事は「適切な高度で書け」という設計論、2026 年は「前のモデル用の細かい指示を外せ」という移行手順。主張は同じで、助言が作業指示になった

> Describe the destination rather than prescribing every step.
行き先を書け、一歩ずつの手順を書くな
> GPT-5-class models follow prompt contracts closely, so conflicting rules can create more instability than missing detail.
細かく書くと規則同士が衝突し、足りないより不安定になる
> Removing repeated instructions and examples and simplifying tool descriptions can improve task performance and token efficiency.
社内のコーディングエージェントで system prompt を軽くしたら、評価スコア+10〜15%、総トークン-41〜66%

根拠4: 研究「指示の個数が増えるほど従えなくなる」
500 個のキーワード包含指示を守らせてレポートを書かせる。7社20モデルで、最良のフロンティアモデルでも 500 個では正答率 68%
減衰の型は3つ。閾値型(推論モデル)、線形(gpt-4.1、claude-sonnet-4)、指数(gpt-4o 等)。前のほうの指示ほど守られる
ManyIFEval / StyleMBPP: When Instructions Multiply (松尾研, 2025-09)
文章生成は10個まで、コード生成は6個までの指示で10モデルを測り、指示数が増えると一貫して性能低下
指示の個数だけを説明変数にしたロジスティック回帰で、未見の組み合わせでも誤差約10%で予測できる
What Prompts Don't Say (CMU, 2025-05)
逆側の失敗も測っている: 書かれていない要件をモデルが推測して満たす率は 41.1% で、しかも脆い(モデルやプロンプトを変えると 2 倍退行しやすい)
> simply specifying all requirements does not consistently help, as models have limited instruction-following ability and requirements can conflict.
全部書けば済むわけでもない: 従える指示数に限りがあり、要件同士が衝突する

根拠5: 実務者
HumanLayer Writing a good CLAUDE.md (Kyle, 2025-11-25)
> Frontier thinking LLMs can follow ~150-200 instructions with reasonable consistency.
> As instruction count increases, instruction-following quality decreases uniformly.
最先端の thinking モデルでも安定して従えるのは 150〜200 個程度。指示が増えると、重要な指示も含めて一様に守られなくなる
CLAUDE.md は300行未満が通説、自社の root CLAUDE.md は60行未満
根拠として引いているのは IFScale(根拠4と同じ)なので、独立した根拠ではなく実務への翻訳

根拠の性質の違い
ベンダーの 2026 年文書は反転の直接証拠: 前のモデルに必要だった指示が、今は品質を下げる
研究は量の話で時間不変: 指示の個数が増えると従えなくなる。2023 年にも成立していたはずで、「なぜ今逆効果か」の説明にはならない
細かい指示は個数も増やすので両方が効く。ただし研究が測ったのはキーワード包含のような制約の個数で、「手順の細かさ」そのものではない

「適切な高度」は固定ではない
モデルが賢くなるほど高度は上がる。Anthropic の 2025-11→2026-06 のハーネス系列と、OpenAI の「不要になった scaffolding を外す」証言は探索を加速する抽象度の設計勉強会に整理した

関連
探索を加速する抽象度の設計勉強会で「適切な明確さ」として引用した
自走力の高い人に細かい指示をするのはマイクロマネジメントで良くない、AIに対しても同じ
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]

(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]