NISHIO Hirokazu[Translate]
Project Logos
サイボウズの製品を横断して取り組んでいるプロジェクト
何に備えるのか
高度なAIが普及すると、これまで人手では見つけにくかったソフトウェアの脆弱性が、大量かつ短期間に発見されるようになる
高度なAIの公開は、防御側だけでなく攻撃者の能力も高める
例: プロジェクト開始時点では、Anthropicから脆弱性発見能力の高いAI「Mythos」が近く公開される可能性があった
ソースコード非公開の製品はOSSより少し防御側が有利だが、それで安心してはいけない
世界中の攻撃者より早く脆弱性を発見して修正する

Logosの中のプロジェクトの一つ
ねらい: インターネットに無い社内知識をAIに与えて、脆弱性対応を手伝わせる
社内での脆弱性の議論、製品知識、製品を実際にスキャンしてわかったことを溜めている
知識はKarpathyのLLM Wikiの形でメンテしている。この知識を持ったエージェントをカジュアルに「Ergonちゃん」と呼んでいる
なぜ社内知識が要るのか
XSSやSSRFのような一般的な知識なら、フラグシップAIは全部知っている
でも「その脆弱性候補が本当に脆弱性か」の判断には、ソースコードに書かれていない知識が要る
到達性(reachability): コード上は穴に見えても、手前のnginxやk8sのルールで塞がれている
PSIRTが脆弱性報告の仕分けに使っているドキュメント
Ergonちゃん自身に聞くと、一番役に立った知識はこれだった
仕組み: フィードバックループ
脆弱性スキャナに、ソースコードと「ソースコード以外に必要な知識」を入れる
スキャナは、脆弱性候補と、その候補を出すまでのログを出す
PSIRT(人間の専門家)が候補を見て、本当に脆弱性かを判断する
ErgonはPSIRTの判断とスキャナのログを見て、知識を更新する
出力先が「PSIRT」とはっきりしているので、フィードバックが返ってきて、それがErgonを育てる
外部サービスとの違い
「リポジトリを渡すとスキャンします」型のサービス(例: Claude Security)には、知識を入れる口も実行ログも無い
費用よりも、システムを改善するハンドルがこちら側に無いことが残念

Logosから出てきた一般的な話
AIに要るのは「答え」ではなく「判断材料」
目的、優先順位、どのリスクを許容するか
AIと判断が食い違ったら、理由を深掘りする。たいていは人間が知識を言語化して伝えていない
脆弱性の発見が速くなると、次は判断するPSIRTに負荷が集中する。それを予見して先回りする
指示の抽象度を高くする
目的ははっきり伝え、達成手段はAIエージェントに任せる
実際にエージェントを動かしてみて初めて、未知の制約(安全フィルタでブロックされる範囲など)が見えてくる

関連



表記揺れ

"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]

(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]