ユーザー検索プロジェクト
プロジェクト名
めんたいこ
プロジェクトのモチベーション
開始当初
Slackのメッセージを分析して、任意の技術ドメインに詳しいユーザーをレコメンドしたい
実践的なデータを用いた分析を通して、実用的な知見を得たい
自然言語処理に関する分析だけでなく、クラウドインフラやデータパイプラインについても学びたい
二次的に発生したもの
Slackでのメンバの発言を可視化できないか?→メンバ単位のWordcloud
可視化結果をダッシュボードに出力できないか?→週次Wordcloud
具体的にどんなアウトプットを出そうとしているのか
上記で発案したシステムをGCP上に実装
その基盤を元にコミュニティをグロースさせたり、基盤自体をコミュニティの成果として対外的に発信するなど
その他アイデアなど
チーム構成
APIサーバー構築チーム:リーダー masso
パイプライン構築チーム:リーダー ジョージさん
マート構築チーム:リーダー 佐藤光さん
メンバー
現状の成果
ローカルPC上で下記の機能を実行するツール
Slackからメッセージを取得
取得したメッセージを分かち書きする
メッセージを前処理する(クリーニング、正規化など)
分かち書きしたメッセージにTf-Idfを実行する
Tf-Idfのスコアに基づいてWordcloudをローカルストレージに出力する
https://gyazo.com/8780838bdefdd9d68e7e30ba6f5812d9
これから何をするのか
現在の進捗状況を共有する(何を作ったのか、ソースコードの説明、イメージする構想など)
既存の機能をGCP上に載せる
その際、Slack分析コンペで作ったシステムと統合できるようにユーザーレコメンドの為のパイプラインを構築する
下記のようなアーキテクチャを構築する
https://gyazo.com/a38c7b77c286b970af6c27741eb9d6d8
イメージ
ユーザー発言から求めた文書ベクトル
質問の内容に基いた文書ベクトル
関連
[めんたいこユーザ検索プロジェクト:パイプライン構築]