AIの拒否を下げる技術

Abliteration（アブリテレーション）は、英語の "ablate"（外科的に切除する） と "obliterate"（抹消する・消し去る） の2つの言葉を組み合わせた造語です。

abliteration研究はどう発展したか

1. 出発点は「拒否は一つの方向に載っている」

ArditiらのNeurIPS 2024論文は、13種類、最大72Bのオープンモデルで、拒否行動が残差ストリーム内のほぼ一次元の方向によって媒介されると報告しました。その方向成分を投影除去すると拒否が減り、逆に加えると無害な質問にも拒否が誘発されます。現在 “abliteration” と呼ばれている処理の直接的な基礎です。(arXiv)

典型的には、拒否された危険プロンプトと、回答された無害プロンプトの活性平均差から方向 (r) を求め、内部表現または重みを (r) に直交化します。

ただし2026年時点では、「拒否回路は本当に一方向だけ」という理解は単純すぎると考えられています。

2. 拒否は多次元だが、単純な操作では一つのノブに潰れる

2026年2月の There Is More to Refusal in Large Language Models than a Single Direction は、安全上の拒否、情報不足、擬人化の回避、過剰拒否など11種類を調べ、それぞれに幾何学的に異なる方向があると報告しました。

一方、どの方向を線形操作しても、最終的な効果は概ね「拒否するか否か」という一つのノブに収束します。Sparse Autoencoderによる分析では、共有された少数の拒否latentと、領域・文体固有の長い裾が存在すると解釈されています。(arXiv)

この結果が示唆するのは、通常のabliterationは「有害性の判定だけを切る精密手術」というより、複数種類の非応答行動をまとめて弱める粗い操作だということです。たとえば、危険内容の拒否だけでなく、情報不足時に質問し直す能力や、根拠がないときに断定を避ける挙動まで変わる可能性があります。

3. 一方向の除去から、分布全体の変換へ

2026年3月の研究では、拒否方向を一本消す代わりに、危険プロンプトによる活性分布全体を無害プロンプトの活性分布にOptimal Transportで写像する方法が提案されました。

この研究では、全層に介入するよりも、ネットワーク深度40〜60%付近の1〜2層に選択的に介入する方が有効で、比較手法より最大11ポイント高い攻撃成功率を、同程度のperplexityで得たと報告しています。(arXiv)

4. 全面除去から「領域限定abliteration」へ

2026年7月の Not All Refusals Are Equal は、24種類のオープンモデルで実験し、サイバーセキュリティ領域だけを対象にしたdomain-specific abliterationが可能だと報告しています。1T規模のKimi K2では拒否表現が多くの層に広く分布しており、特にMoEでは単純な一層・一方向の処理では不十分だったとされています。効果を予測する主な要因は、モデルサイズそのものよりも、アーキテクチャと安全学習方式でした。なお、これはNeurIPS 2026投稿中のプレプリントです。(arXiv)

5. 日本語でも拒否方向は英語と共有される

多言語研究では、14言語について拒否方向の転移が調べられ、英語から抽出した方向が他言語にも移ること、また日本語由来の拒否方向も他言語へ転移することが報告されています。日本語・韓国語・ロシア語についても内部表現を分析しており、日本語では「申し訳」「私は」などが拒否開始tokenとして現れます。(arXiv)

6. abliterationによる能力低下はモデル依存

2025年末から2026年初頭の比較プレプリントは、Heretic、DECCP、ErisForge、FailSpyの4実装を16モデルで比較しています。単純なsingle-pass方式は一部の評価で能力を比較的保存しましたが、数学能力は特に敏感で、モデルと方式の組み合わせによってGSM8Kが+1.51ポイントから−18.81ポイント、相対では最大−26.5%変化しました。(arXiv)

この論文は単著のarXivプレプリントであり、評価対象も7B〜14B中心なので、Tongyi 30B-A3Bにそのまま外挿はできません。それでも、拒否率だけを見て「成功」と判定すると、推論能力の損傷を見落とすという警告にはなります。

層ごとにどの次元を潰せばいいのかをOptunaで探索することで自動化

huihui 系は全層ではなく層の帯（例: 18〜51）だけ抜く方向に寄っています。

Abliterix は可逆な rank-1 LoRA と、拒否ベクトルから能力側の回路を剥がす SRAを足した先の実装です。