NISHIO Hirokazu[日本語][English]

広聴AI開発定例:チームみらいの活動から見えてきたこと

広聴AI開発定例:チームみらいの活動から見えてきたこと https://docs.google.com/document/d/1plggszRTxEEYUcZuCLiHkPrBsMtxr3RQpctKtZe5y4M/edit?tab=t.0

2025-07-30 チームみらいの運用体験から見えてきたものをまとめる

  • (一部はSlackに書いたが、このドキュメントにまとめた方がいいと思ったので転載しておいた/一部はIssueになってて一部はすでに実装していただいてる認識)
  • 思いついたことを書き連ねてたらすごい長文になったので先に検討する必要のあることがあればやってもらって、残り時間でやるのがいいかも
  • 西尾の役割を説明しておくと角野さんがインスタンスを立てた後で管理画面へのアクセスをもらってデータ分析担当のユーザとして使ってた感じ
  • 政策チーム向けのPRデータ解析と広報チーム向けのX分析はデータ取得から分析まで全部やっている
  • AIあんの質問分析はAIあんのチームからデータをもらってそれを分析
  • 選挙後に分析担当者がもう一人増えて、サポーターチームのKPT振り返りの分析をしている
    • これは多分サポーターの外には共有されない
    • 開発者でないユーザが使い始めたので観察しているという話
    • 自分の手元で動かしてngrokでレポート共有したがPCかngrokが死んでて共有できてない罠を踏んでいた、その後管理画面のURLとpassを渡したら問題なく使えていた
    • サポーターに管理画面へのアクセスを現状提供していないが次の選挙ではやってもいいかもなという気持ち
      • 現状「管理画面アクセスを渡す=すべての未公開レポートが見える」なのがそれをやる上でのハードルになるなと思う
      • 「自分が作ったもの以外見えない」的なことをやろうとするとユーザ管理が必要になるから大事だな〜

表示について

  • linkをonにするのと似た感じで「extraction前の元データ」を表示できるようにしたい(Xが再配布を禁止してるせいでナシになってるけど、そうでないデータを突っ込んで分析するならリンクがなくても元データ見たい時がある)
    • 「クリックするとモーダル表示」がいいかな
  • スマホビューについて、やはり実ユーザがSNS投稿をする場合にデフォルトの見た目が悪い問題が懸念される
    • 抜本的解決は難しいと思って今まで放置していたが「ズームした状態でシェア」という案が出た、これは実装可能で問題をまあまあ解決できそう
    • つまり「スマホビューでデフォルトを全体表示にするのは無理だから、スマホビューの時の初期画面としてどこを表示するか決めれるようにしたら良いのでは」というもの
    • (この議論から時間が経って今加筆) この解決がいいかどうかは疑問
      • 「広聴AIのユーザが、レポートURLをSNSでシェアした時にスマホから見た人が「ぎゃっ」となることを懸念して、SNS投稿を躊躇ってしまう」という事例があった、ということまではあってる
      • スマホの小さい画面でフル機能を提供するのが無茶なので簡素化した画面を返して「詳細はPC用画面で」とかやるのがいいのかも
      • レポートを作った組織はSNSでシェアしたいが、SNSはスマホで見てる人が多いので壊れた画面を見ることになる問題
        • →シェアはユーザがやるのでコントロール効かない、スマホビューは必要なのでは
        • スマホを最低限横持ちにするように促すとか
        • 要件がもっと具体化するとデザイナも考えようがあるが、全部をなんとかしようとすると難しすぎる
        • スマホユーザに対して3万件の散布図を出すのが適切か？
        • レポートを作った後で必要になる機能だから、レポートを作った後でスマホビューを作れるといいのかも
  • 朝日新聞ブロードリスニング事例を見て、なるほど他のサービスにembedしたいケースがあるなと思った
    • 僕も一旦新しいサービスに広聴AIで作ったレポートを埋め込む形で実験を進めていこうと思っている
    • 「濃い意見グループ」や「階層表示」に関して、データは使いつつ異なるviewを作ることを試してみようと思っている
    • レポートを作ってから「このコンポーネントにしよう」とかできるといいかも
      • 階層表示がアウトライナーとか
    • 追記: 3週間後の報告: 広聴AI開発定例:ビューの試行錯誤

管理の利便性

  • チームみらいの管理画面、61枚もレポートがあってスクロールが大変、新しく作ったものが上にあって欲しい(思いつきメモ)
    • 複数部署が使うようになると何らか整理したくなると思う(タグをつけてタグでの絞り込み画面をつけるとか)
    • 今のインスタンスをそのまま使いながら衆院選が始まったら、いまあるレポートは「参院選2025」とかつけて束ねたりフォルダに押し込めたりしたくなりそう
    • 参院選時点のデータを全部エクスポートして、新しい綺麗なインスタンスを立てると言う選択肢も考えたが、その場合は公開済みレポートをどうするのかと言う問題がある
      • 公開済みレポートだけ新しいインスタンスに移す、とか考えると面倒だな
      • データをエクスポートしてバックアップしてからサーバから削除するとかかな
      • 容量は問題にならないだろうからインデックスが埋まって作業しにくくなってる問題が解決するならデータを消したりしないのが一番楽そう
  • デフォルトのプロンプトで「意見」を抽出すると、質問文を対象にしているのに意見が抽出されてしまう問題がありました
    • 「状況によってプロンプトを変える必要があるよね」という抽象的な話のもっと具体的な例ができたので言語化しておく
      • Xの投稿から「批判」だけ抽出して観察したい
      • 政策プルリクから「課題感」(何を問題だと提案者が感じているか)だけ抽出したい
      • AIあんのに対する質問から「質問」だけ抽出したい(「すごい！」とかは除去)
    • 今のところ僕はプロンプトをいじってるけどfewshot exampleも整合して変える必要があり結構面倒なので支援ツールがあるとベターな気がする。
      • その支援ツール自体をユーザが直接使うというよりは、僕が試行錯誤した上でいくつかの典型的ユースケースをプリセットとして選べるようにした方がユーザのハードル低そう。
      • 4つのプロンプトをまとめて変えるのは難しすぎるのでプリセットから選んでまとめて変えられるといいのかも、という趣旨
    • この件に関して別の実験として前処理で問題意識を抽出する実験をした

      • nishio チームみらいのマニフェストに寄せられた提案(プルリクエスト)を元に、提案者が持っている問題意識を抽出・分析しました。

      • これは未来への第一歩で、今後このデータを活用するためにシステムの側を改善していく予定です。

      • image

      • 9688件のPRから18967件の問題意識を抽出
      • gpt-4oで、総API使用料: $32.094862
      • この結果をそのまま広聴AIに入れたところ19867件のデータからさらに21348件のextractionが行われた
        • extractionをスキップした方が良いかもしれない(その機能は今はない)
        • extraction済みデータを与えて後の処理だけする実装があると、以前からの懸案の「レポートを再利用したい」も実現できる気がする(コスト的にも時間的にも一番重たいのはextractionなので、そこを再利用したいケースが多いと思う)
        • extraction前に前処理の抽出によってサイズが減少していることで広聴AIでレポートを作り直したりする場合のコストが減ってるのは良いところ(バッドノウハウすぎるのでこのやり方をお勧めするのではなくシステムが改善された方がいい)
  • レポート作成のAPIでの自動化
    • 管理画面で設定するのは非エンジニアにはやさしいけど、正直エンジニアの僕がたくさん作業するときにはAPIにJSONを送りつけて処理開始するとかしたくなる
    • これは実現可能なのを確認できたので、あとあとコードを整理してサンプルコードとして提供する感じ
  • 後からの編集
    • タイトルや説明だけでなくslugを編集したい
    • URLを綺麗にしたいのは公開するタイミングで、内部プレビューするタイミングではない
    • 内部プレビュー段階ではレビューを受けてパラメータを変える可能性があるので公開用の綺麗なURLにすることは躊躇われる

思いついたことをざっと書いたけども「体験したけど言語化できてないこと」が結構あると思う

広聴AI

(C)NISHIO Hirokazu / Converted from Markdown (ja)
Source: [GitHub] / [Scrapbox]