NISHIO Hirokazu[日本語][English]

pKeicho

聞き出しチャットシステム(Keicho)に関するプロジェクトメモ #pProjectIndex

Scrapboxでカンバン

pKeicho202103-202104done

Memo

  • Regroupへワンクリックでインポート

  • 対象として不適切なものを分析対象から除外するignoreファイル

    • (まともに使われてないログなど)

  • フィードバックボタン:いいね

  • 注目すべき対象を表現するためにスコアをいじってはいけない

    • これが原因で「ユーザの発言の中に実際に繰り返し出てきたこと」と「システムが注目すべきと判断していること」の混同が起きている
    • スコア=発展度, not注目度

  • 聞き出しチャットシステムのタスク整理版を作るとしたら

  • 「つ、つよい」という入力に対して

    • 「つよい」が形容詞なのでキーワードとして選ばれない
      • "その「つよい」はどんな種類の「つよい」ですか？"はアリな質問だから抽出した方が良いのでは
    • 「つ」が名詞にもなりうるためキーワードに含まれてしまう
    • 結果「つ」に掘り下げ質問をしてしまう

  • よくないキーワードを弾く

    • CUI版にはあった
    • Mattermost版にする時にオフにしてそのまま
    • NGKWフィードバックを使って学習しよう
    • →いいキーワードなのにユーザが気づかずにNGKWしてるケースが結構多い、ユーザから学ぶとバカになる
      • 明らかにダメなものだけリストに入れる形にした

  • フィードバックしたいこと

    • キーワードの抽出がそもそもNG

      • 微妙に買えてきたなw

      • そのwは、どこにありますか？

      • NGKWコマンドで。
    • 入力に対して選んだキーワードがNG
      • 例:
      • キーワードの抽出は問題ないが、ユーザが掘り下げてほしい方向性と違う
        • これは事前の学習でどうこうならないかもなので、「いや、そっちじゃなくて」って言えるといいね
        • NGKWコマンドとUPKWコマンドって形で実現された
    • 選んだキーワードと質問の組み合わせが良くない
      • NGフィードバックを学習データにする

  • シンボルの関係が同一

    • 2つのシンボルの関係が同一だと回答されたらシンボル間の関係の質問をするのはイマイチ

    • 「同じ」というボタンが出現して、それを押したらコマンドとして二つのキーワードのマージが行われたら良いのでは
      • キーワードの片方が消えることで何かバグが起こりそうだからちゃんとテストする

  • 状態遷移の仕組み

  • 基本5質問の出現順番

  • 累積スコア計算に減衰を入れる？

    • 減衰を入れた方が良いのでは？と思ったこともある
    • 一方で、最初の「この対話で何が起きると良いのか」にしっかり回答してる場合、そこのキーワードを時々思い出させた方が良いかもという気もする
      • これに関しては最初の回答が雑なケースもしばしば観測される
      • 話してるうちにだんだん整理されて、自分が何を求めてたのか明らかになる、ってのはよくあることだから、最初の発言を重視しすぎるのもな…

  • write_learning_pair

    • ユーザの長い入力を引き起こす質問が良い質問という仮説

  • キーワードを取らない質問はenvから特徴量を取るべき

  • キーワードが分割されてしまった場合のリカバリ手段がない

  • 気づきの判定

  • 序盤のデザイン

    • 初手でキーワードの含まれない発話をしてる人がいる。今はエラーにならないようにキーワードのない質問をとりあえずしてるけど、そもそも使い方を理解してなさそうなのでヘルプに誘導した方が良いかも
    • キーワードが発展する前にNGKWで削りすぎると、「泉が枯れた」ような状態になる
      • たぶんNGKWを使いすぎてキーワードが枯渇し、プログラムが直近の発言から出たキーワードに飛びついて質問し、それが本題からずれてるからまたNGKWされ、という悪循環にハマっている。
      • うまくキーワードがいっぱいでて賑わってる状態に誘導していくにはどうすればいいのか
      • 各フェーズで達成すべき値がどこまで達成されてるかをパーセント表示する？
      • キーワードが少なすぎることやNGKWのペースが早すぎることを指摘する？
        • キーワードが少ない時には少し待たないとボタンが押せないようにすれば良いのでは
        • いいよどみ

  • 質問が回答の一部を指定できるといい

    • 「同じですか？違いますか？」は「同じ」ボタンを表示する
      • 選ぶとキーワードのマージコマンドとして機能する
    • 「ここは終わるのに良いところですか？」は「はい」「いいえ」の二択にする
      • その選択が直接学習データに使える

  • ppoi

    • 読み返してアップデート

  • キーワード抽出にRAKE的要素をつける

    • 自分の過去発言/過去ログ/Scrapboxに出現する並びを長めに抽出

  • pKeicho-done-2021-02-05

Keichobot History

これは「既にあなたの中にあるけども言語化できていないもの」を言語化して取り出すことを支援するソフトウェアであり、あなたの相談に対して答えを与えるソフトウェアではありません。

キーワード: チャットボット nisbot.icon

キーユースケース

pKeicho単語頻度 / ソースコードの単語頻度

書き出しツールから呼び出す？ ローカル環境に移動？

Keicho-Mattermostの状態遷移 Keicho-CUI: kw type (2019/6)Keicho学習

  • 相槌に関してだけキーワードを取る個数が不定(0 or 1)
    • 2つの質問に分割すべきかも

pKeicho-done 入力行とキーワード抽出結果のペアが必要では？→done

(C)NISHIO Hirokazu / Converted from Markdown (ja)
Source: [GitHub] / [Scrapbox]