新しい切り口を発見するためのブロードリスニング
可視化して散布図を見せることが目的でない場合の顧客価値は「新しい切り口」の発見であるという仮説
実装
UMAPで2次元にしてからSpectralClusteringするのではなく、高次元のままHDBSCANする この時、クラスタ数多め(30~100)でスパース領域捨てまくりで濃いクラスタだけ取り出す
「AIにKJ法を教える」をやったときは人間に教えるのと同様にペアの抽出をさせたが、今度のやり方は高次元空間でのdense領域を取り出すことでKJ法の「グループ編成」を直接的にやる その取り出したクラスタの説明をLLMに作らせる(ここで意外性判定もする) グループをまず説明し、それからその説明を圧縮した表札をつける
それから、そのクラスタの説明をもとに除外されたデータに関して「関連があるか」をチェックし、ピックアップ
新しい視点を発見するということが目的の場合「こういう意見が多かった」は重要ではないので「濃い意見を抽出する」「意外な切り口を発見する」「それに関連した情報を広く取る」という方向性というわけ 追記
上記のプロセスでは散布図の作成をいったん捨ててたけどKJ法においてもグループ編成をしてから空間配置するのだから、この後で空間配置をすればいいと気づいた