Polis体験レポート 2023-04-28 同性婚を合法化すべきかどうかについての議論が日本語のTwitter上で盛り上がった

• この論点に関して筆者はPolisを作成した
• 日本語でシード意見を用意し、日本語でTwitterを通じて拡散させた
• 最終的に541人が投票に参加し、全部で14290票が投じられた
• Polisの可視化アルゴリズムにより、投票者は二つのグループに分けられた

  • 

  • 詳細レポート: https://pol.is/report/r7suad4c8dxcprhxbfdfh

• この実験ではPolisのシード意見はGPT-4が作成した
• 実験の過程で「主題に関連付けすべきでない設問が多い」という主張があった
  • その主張自体を細分化してPolisの意見として投票対象にした
  • 興味深い結果になった

共通して支持されている意見

• 
  • 投票結果から、同性婚の合法化や同性カップルの権利に関して、多くの人が賛成していることがわかります。
    • 同性婚を合法化すべき: 合意73%、不合意13%、棄権13%
    • 同性カップルには養子縁組の権利がある: 合意73%、不合意9%、棄権16%
  • また、同性愛や同性婚が宗教的信念に反すると考える人は少数派であることが示されています。
    • 同性婚の合法化は、宗教的信念に反する: 合意5%、不合意72%、棄権21%
• - 高い支持を集めていて、かつネクストアクションを示唆しているものとしてはこれがある - 旧来の婚姻に限らず、社会的パートナーや共同生活体としての家族を包括する新しい枠組みが必要だ: 合意78%、不合意9%、棄権11% - 社会的証明としての婚姻と、税制・社会保障としての婚姻は別のレイヤーでそれぞれ検討されるべき課題がある。: 合意74%、不合意11%、棄権13% - この点を詳細化して、もっと支持率の高い意見を探すのがよいのではないかと思う

意見グループ間の意見の食い違い

• 
  • グループAは、同性婚や同性カップルに関する問題に対して、グループBに比べて概して保守的な意見を持っている傾向があることがわかります。
    • 社会的証明と税制・社会保障の分離:
      • Aの合意率は86%で、Bの69%よりも高い。これは、Aがこの問題に対してより積極的に検討の必要性を感じていることを示しています。
    • 同性婚に反対する立場は差別的だという意見:
      • Aの不合意率は81%で、Bは賛成多数(65%)だ。これは、Aが同性婚に反対する立場を差別的とは考えにくい傾向にあることを示しています。
    • 同性カップルへの異性カップルと同等の法的権利の付与:
      • Aの不合意率は61%で、Bは賛成多数(80%)だ。これは、Aが同性カップルに異性カップルと同様の法的権利を与えるべきではないと考える傾向が強いことを示しています。
    • 同性婚の承認と国際協調:
      • Aの不合意率は67%で、Bは賛成多数(69%)だ。これは、Aが同性婚の承認が国際協調に重要だという意見に賛成しない傾向があることを示しています。
    • 同性婚は社会の進歩を象徴する:
      • Aの不合意率は73%で、Bは賛成多数(56%)だ。これは、Aが同性婚を社会の進歩の象徴とは考えていない傾向があることを示しています。
• 
• 
  • グループBは、同性婚や同性カップルに関する問題に対して、グループAに比べて概して進歩的な意見を持っている傾向があることがわかります。
    • 同性カップルへの異性カップルと同等の法的権利の付与: 上に述べた通り賛成多数である
    • 同性婚の合法化:
      • Bの合意率は92%で、Aは49%が反対。これは、Bが同性婚の合法化に強く賛成していることを示しています。
    • 同性婚に反対する立場は差別的だという意見: 上に述べた通り賛成多数である
    • 同性婚の承認と国際協調: 上に述べた通り賛成多数である
    • 同性婚によって同性カップルの社会的平等が向上する:
      • Bの合意率は89%だった。Aは賛成が22%、反対が44%、棄権が33%で、この論点に弱く反対している。これは、Bが同性婚によって同性カップルの社会的平等が向上すると考えていることを示しています。
• 

このPolisを開始したきっかけ

• 友人がPolisのネタになりそうな盛り上がっているTweetがあると教えてくれた
  • 生ログ: 「Polis:同性婚」のきっかけ
• そのツイートに対するリプライを読んでみたが、前回の実験と比べてやりにくさを感じた
  • Polis体験レポート:テロの原因究明をするか
  • 何が違いか？
    • 前回は、2人の人が互いの意見を聞きながら冷静に議論をしているログを起点にした
      • これは何が賛成反対の分かれる意見なのかを読み取ることが容易だった
      • 
    • 今回は一人の呼びかけに対して、大勢の人が自分の考えを書いたものだった
      • 大部分の人は他の人の意見を読まずに自分の思いつきを書いていたと思う
      • 
      • 今思うと呼びかけに対する直接のリプライではなく、それに対する2段目以降のリプライに注目するのがよかったのかも知れない
• この経験を踏まえると、SNS上のバズを直接データソースとして使うのではなく、まずは少人数で議論をしてからシード意見を抽出した方がよいかも知れない
• 今回の実験ではGPT-4にシード意見を作らせた
  • これは予想以上に良かった

GPT-4によるシード意見の作成

• Prompt: 同性婚に関して投票の対象となるシンプルでYes/Noで回答可能な意見のリストを作ってください。
• - 1: 同性婚を合法化すべきですか？(Yes/No) - 2: 同性カップルが結婚しても、伝統的な家族の価値観に悪影響を与えると思いますか？(Yes/No) - 3: 同性婚によって社会的平等が向上すると思いますか？(Yes/No) - ...
• Polisでの表示に合わせて表現を修正した
• 一部の文章は意味を明確にするために分割した。例:
  • INPUT:
    • GPT4: 同性カップルが養子縁組や代理母出産を利用する権利があると思いますか？
  • OUTPUT:
    • 同性カップルには養子縁組の権利がある
    • 同性カップルには代理母出産を利用する権利がある
  • RESULT:
    • 
    • 投票の結果、養子縁組と代理母出産では回答に大きな差が出ることがわかった
      • 複数の単語を並列で書くことは著者の「その単語は似たものである」という思い込みを反映していることが多い
      • それぞれを個別の議題にした方が予期しない発見の確率が上がると思う
• GPT-4によるシード意見の作成やってみての感想: 予想以上に良い
  • テーマに対する「異なる軸」をリストアップすることができている
  • GPT-4には、似た内容を繰り返さないようにするペナルティのパラメータがある
    • Frequency and presence penalties: OpenAI API
  • これがうまく働いて意見の多様性を出すことができているのだろう
• 関連
  • 三人会議メソッド
    • これもうまく使えそう

関係ない設問が多すぎるという議論

今回、下記のようなユーザ投稿の意見があった

• 曖昧な設問、関連付けすべきでない設問が多い

Polisでは、曖昧な意見だと思ったらには「わからない/どちらでもない」を選択すれば良い

「関連付けすべきでない設問」という概念は興味深い 「関連付けすべきでない設問」は存在するのだろうか

• テーマに全く関係のない意見、例えば「猫は犬より可愛い」が投稿されたとする
• この意見に対する賛否の比率は、どの意見グループでも変わらないので「グループを特徴づける意見」に表示されることはない
• 多数派意見に入る可能性はある
• ある人が意見を投稿し、他のN人の参加者がそれに対して投票した場合、その意見に対してNの社会的コストが発生していると考えることができる
  • 意見の投稿者は自分の意見をN人に見せて反応が得られるため、それに個人的な利益を感じる可能性がある
  • 個人的な利益によって質の低い意見の投稿が行われると、社会的な利益をコストが上回ってしまう
    • 共有地の悲劇
  • これはインセンティブ設計で解決できる可能性がある
    • 例えば、N人に意見を投げかけるためには、まず自分がN件の投票をしてクレジットを貯めて、それを対価として支払うメカニズム
    • 手持ちが足りない場合には借金になり、その後の投票活動で借金がなくなるまで次の借金はできない、というメカニズムにすることもできる
    • 後者では誰でも1回は意見を投稿できる
    • Polis設問増えすぎ問題は複数人から指摘があるため、このようなメカニズムを入れた方がいいかも知れない

ある人が「関連付けすべきでない設問」と考える意見は、実はその人にとって都合が悪いものである可能性がある

• この件に関しては下記の可能性をGPT-4が示唆した
  • その意見が彼らの立場や信念に反する
  • 関連付けられると、彼らが主張している意見や立場が弱まる
  • 関連付けられた設問が議論の焦点をそらし、自分の主張が十分に伝わらなくなることを恐れる
  • 都合の悪い設問を関連付けすべきでないと主張することで、自分の立場や意見を守ろうとする

この件に関してTwitter上で下記のリプライがあった

ft28 同性婚の議論と法制化は分けるべきと感じた 他にも養子縁組や代理母の利用は同性婚とは関連付けする必要がない 総じて設問自体に無意味無関係な関連付けが多く、意義のある分布になっていない。 事実婚の地位向上と受益者負担に絞って議論すべき 戸籍と家系存続に報酬がある現行体系は悪くない

• nishio これをそれぞれ意見として投票すればいいと思いますよ

意見として投票した結果

• 29:「代理母の利用は同性婚と関連付けする必要がない」は76%の賛成を集めた
• 28:「養子縁組は同性婚とは関連付けする必要がない」に関しても過半数の58%が賛成している
• 一方で27:「同性婚の議論と法制化は分けるべき」 30:「事実婚の地位向上と受益者負担に絞って議論すべき」は反対多数である
  • しかも意見グループによって賛否の比率が反転している
  • 31:「戸籍と家系存続に報酬がある現行体系は悪くない」は賛否棄権の3つがほぼ拮抗している
    • これも他の二つと同じように意見グループによって賛否が反転している
  • つまり27と30の「トピックを分けたり絞ったりすること」の提案は、グループAの人にとっては「関連付けられると、彼らが主張している意見や立場が弱まる」ので好ましいことであり、反対にグループBの人にとっては好ましくない意見だったということだ

これらの結果から分かるように、一部の人が関係ない話題だと主張しても、それはしばしばコンセンサスに至らない

• 多様な視点から観察することが物事のより良い理解につながる
• 早まって意見を削除してはいけない

この「一部の人が関係ないと思っても、本当に関係ないのかどうかはわからない」という考えは、運営者にも適用できる

• モデレーターが関係ないと思っても、本当に関係がないかどうかはわからない
• 私はこれらの実験では意見のモデレーションをオフにしている
  • 一方でそれは質の低い意見、重複した意見の増加にもつながる
    • Polis設問増えすぎ問題
• 良い方法は模索の段階だが、GPT-4などのLLMが役に立つ可能性も高いと思う