Polis設問増えすぎ問題

Polis設問増えすぎ問題

from pPolis Polis設問増えすぎ問題

@makotokirihata: https://t.co/RlUI47s3BO 面白い ただ、選択する回数がちょっと多すぎて怠惰な自分には厳しいものがある ベイズ最適化みたいに既に答えたところから遠いところを優先的に表示して回答を集めて欲しい気持ち 近い遠いをそもそも集めている段階だとは思うけど

@hrjn: Polis やたら設問増えるので、GPT様にきゅっと縮めてもらえないのだろうか

kuboon 79問も答えるのつらくて完走出来ない

• nishio だんだん投票対象が増えて答えきるまでのコストが上がるから定期的に仕切り直した方がいいように思う。仕切り直すタイミングの決定とか、新しいシード意見セットを作るところとかをシステムに支援させたいね

• nishio でもまあ「100人で対等な合意形成をするためには、各人は自分が話す量の100倍を聞かなければならない」だから、80件読んで賛否ボタンを押すコストを払わない人に対して自分の意見を提出することを認めないのは妥当な落とし所だと思う。

@mike_neck: ・80問あって、全部回答するのに1時間程度かかる… ・素人が刹那的に質問を作っているからか、同じ内容で重複する質問がある ・ここでのテロは安倍元首相や岸田首相を狙った単独犯の事件を指しているが、それは殺人事件では？ ・主語が省略されていて意味の不明な質問がいくつか見受けられる

@hal_sk: ...結構途中で諦めた人も多かったのか。質問数がめちゃくちゃ多く、UI上も「残り100問以上」って出てて全部で何問あるのかわからず、答えるの大変でした。

2023/4/27

• 現時点の感想としては
  • 100問以上は多過ぎだろう
  • 増えていくことを防ぐには意見の投稿を受け付けなければいいだけ
    • だが、意見が投稿できることは「参加している感覚」を生み出すので、可能なら受け付けたい
    • 意見を投稿した人が、投稿できたかどうかよくわからないらしい、これはシステムのフィードバック不足
      • 同じ内容はシステムが受け付けないようになっているが、ほぼ同じ内容の投稿が来ていることが2回あった
  • 今はモデレーションをしていない
    • モデレーターが承認するまで表示されない設定にもできる
  • 100件投票が集まった後にさらに受け付けて比率がどの程度変わるか
    • あんまり変わらないと思うので打ち止めにしたり、出現確率を減らしたりしても良いかも知れない

ringo 何度か参加しようと挑戦してみてはいるんだけど、 質問の数が何十個とか多くて、数個目で降参してしまう。 数十個の質問に答えて参加できる人はかなり特殊なんじゃないかなぁと

• nishio 観測事実としては「答えて参加できる人は何百人もいる」ですね

• ringo どの質問でどれぐらい脱落したか。とかわかるのでしょうか?

• nishio そこまで詳細にはめんどくさいので取ってないですけど、たとえばこれなら一票以上投票した人が541人いて、クラスタリングに十分な量投票した人が475人ですね

• ringo 26.41 votes per voter on average、は、26.41問に平均して答えた。ということでしょうか?

• nishio そうです。質問ごとの個別の回答数はレポートの下の方で見れますが、表示される順番は状況によってカスタマイズされるので「どこで離脱したか」は議論しにくいです

• ringo なるほど！

• みなさんの回答量が多くてびっくりしました

@nishio: Polisの質問数が多いと言う意見があったので思い切って4件しかないPolisを作ってみた、ちゃんと可視化されてる @nishio: Polis、Twitterから意見を集めてGPT-4で整理させて…とか色々試してたけど、そんなに頑張らなくても「対立している2人を見つける」「両者の側の意見を2個ずつくらい作る」で十分なんじゃないかと言う気がしてきた