会話ログ2021-01-28
- 機械学習による質問の自然さ判定を戻した
- 質問によってベースラインがズレてる問題を解決しないとイマイチ
- キーワードスコアの分布を観察
あなたはこの会話で何が起きて欲しいですか？
一時的にオフにしてた機械学習による質問の自然さ判定を戻したのでそのテストをしたい
その判定は、どんな種類の判定ですか？
文脈は無視して、直前の文書とそれに対する質問のペアに対して自然か自然でないか二値分類する
その文脈は、どんな種類の文脈ですか？
複数の質問の連なりの間の関係とかは見ていない。だからこれを入れて全体としては不自然な流れになる可能性もあり、それは手元ではテストしにくいので実際に使ってみようって感じ
その質問は、どんな種類の質問ですか？
🙁
複数の質問の連なりの間の関係とかは見ていない。だからこれを入れて全体としては不自然な流れになる可能性もあり、それは手元ではテストしにくいので実際に使ってみようって感じ
- この質問について、他に何かありますか？
先にこれを聞いておかないと、いきなりこれを聞くのは不自然だろ、みたいな
複数の質問の連なりの間の関係とかは見ていない。だからこれを入れて全体としては不自然な流れになる可能性もあり、それは手元ではテストしにくいので実際に使ってみようって感じ
- この質問は、どのあたりにありますか？
🙁
複数の質問の連なりの間の関係とかは見ていない。だからこれを入れて全体としては不自然な流れになる可能性もあり、それは手元ではテストしにくいので実際に使ってみようって感じ
- この質問は、何のようですか？
🙁
複数の質問の連なりの間の関係とかは見ていない。だからこれを入れて全体としては不自然な流れになる可能性もあり、それは手元ではテストしにくいので実際に使ってみようって感じ
- この質問は、どこにありますか？
🙁
複数の質問の連なりの間の関係とかは見ていない。だからこれを入れて全体としては不自然な流れになる可能性もあり、それは手元ではテストしにくいので実際に使ってみようって感じ
- この連なりは、どんな種類の連なりですか？
例えば「他に何かありますか」はいきなり出てきたらおかしいよね
一時的にオフにしてた機械学習による質問の自然さ判定を戻したのでそのテストをしたい
- この判定について、他に何かありますか？
特にない
文脈は無視して、直前の文書とそれに対する質問のペアに対して自然か自然でないか二値分類する
- この文脈について、他に何かありますか？
今回流れの挙動に関してはテストケースがたくさんあったので、一旦流れが壊れたのに気づけたし、修正して元に戻ったのも確認できた。
その挙動は、どんな種類の挙動ですか？
「他に何かありますか」が先に質問されるようになった
その先は、どんな種類の先ですか？
「そのXはどんな種類のXか？」を聞くより先に。
その先について、他に何かありますか？
質問だけ切り出して自然かどうか問うと「どんな種類のXか？」って質問が「他に何かあるか？」よりも不自然なんだな
その種類は、どんな種類の種類ですか？
NGKW 種類
あなたはその質問をどう知るのですか？
🙁
質問だけ切り出して自然かどうか問うと「どんな種類のXか？」って質問が「他に何かあるか？」よりも不自然なんだな
- このXかは、どんな種類のXかですか？
NGKW Xか
「そのXはどんな種類のXか？」を聞くより先に。
- この先は、どこにありますか？
NGKW 先
「そのXはどんな種類のXか？」を聞くより先に。
- このXは、どんな種類のXですか？
NGKW X
文脈は無視して、直前の文書とそれに対する質問のペアに対して自然か自然でないか二値分類する
- この文脈は、どこにありますか？
質問が繰り返される流れ
今回流れの挙動に関してはテストケースがたくさんあったので、一旦流れが壊れたのに気づけたし、修正して元に戻ったのも確認できた。
- この挙動について、他に何かありますか？
結局、基本二質問に関して心地よい順番があることと、個別の質問としての自然さがその順序にマッチしないのとは調停できないので、基本二質問に関しては自然さ判定をしないようにした
あなたはその判定をどう知るのですか？
ユーザは内部でどう判定されてるかは知らない
そのユーザは、どんな種類のユーザですか？
このチャットのユーザ
そのユーザについて、他に何かありますか？
いい感じで質問されたい
あなたが価値を感じているのは何ですか？
質問の自然度判定によって、明らかに不自然な質問がユーザに投げかけられて、ユーザの心地よさを損ねるケースが減らせると良い
そのユーザは、どのあたりにありますか？
🙁
質問の自然度判定によって、明らかに不自然な質問がユーザに投げかけられて、ユーザの心地よさを損ねるケースが減らせると良い
- この質問とユーザの関係は何ですか？
質問されることでユーザの中から情報が引き出される
そのユーザと、質問とは同じですか？違いますか？
違います。
質問の自然度判定によって、明らかに不自然な質問がユーザに投げかけられて、ユーザの心地よさを損ねるケースが減らせると良い
- この質問の時、ユーザに何が起こりますか？
良い質問をすると適度なサイズの課題が次々与えられることでユーザはフロー状態に導かれる。悪い質問をするとユーザは戸惑い、フローが途切れてしまう
そのユーザの時、質問に何が起こりますか？
🙁
質問の自然度判定によって、明らかに不自然な質問がユーザに投げかけられて、ユーザの心地よさを損ねるケースが減らせると良い
- この質問とユーザの間には何がありますか？
🙁
結局、基本二質問に関して心地よい順番があることと、個別の質問としての自然さがその順序にマッチしないのとは調停できないので、基本二質問に関しては自然さ判定をしないようにした
- この判定と質問の関係は何ですか？
判定がうまくできていれば質問の質も良くなる。うまくできてないとかえって悪化する
その判定と、質問とは同じですか？違いますか？
違います。
判定がうまくできていれば質問の質も良くなる。うまくできてないとかえって悪化する
- この判定の時、質問に何が起こりますか？
判定のベースラインがズレてると、ベースとして自然になりやすい質問ばかりが選択されて質問の多様性が失われるな
その質問の時、判定に何が起こりますか？
🙁
判定のベースラインがズレてると、ベースとして自然になりやすい質問ばかりが選択されて質問の多様性が失われるな
- この判定とユーザの関係は何ですか？
(とりあえず、反応速度が遅くなることを懸念してたけどそれは実害ない。質問によってベースラインがズレてる問題は解決しないとイマイチだな)🙁