新しい切り口を発見するためのブロードリスニング
prev テキスト形式データからのブロードリスニング
- 可視化して散布図を見せることが目的でない場合の顧客価値は「新しい切り口」の発見であるという仮説
実装
- UMAPで2次元にしてからSpectralClusteringするのではなく、高次元のままHDBSCANする
- この時、クラスタ数多め(30~100)でスパース領域捨てまくりで濃いクラスタだけ取り出す
- 「AIにKJ法を教える」をやったときは人間に教えるのと同様にペアの抽出をさせたが、今度のやり方は高次元空間でのdense領域を取り出すことでKJ法の「グループ編成」を直接的にやる
- その取り出したクラスタの説明をLLMに作らせる(ここで意外性判定もする)
- これはKJ法でいうところの「表札作り」だ
- グループをまず説明し、それからその説明を圧縮した表札をつける
- それから、そのクラスタの説明をもとに除外されたデータに関して「関連があるか」をチェックし、ピックアップ
新しい視点を発見するということが目的の場合「こういう意見が多かった」は重要ではないので「濃い意見を抽出する」「意外な切り口を発見する」「それに関連した情報を広く取る」という方向性というわけ
追記
- 上記のプロセスでは散布図の作成をいったん捨ててたけどKJ法においてもグループ編成をしてから空間配置するのだから、この後で空間配置をすればいいと気づいた