ユーザー検索プロジェクト

#slack分析

プロジェクト名

めんたいこ

プロジェクトのモチベーション

開始当初

Slackのメッセージを分析して、任意の技術ドメインに詳しいユーザーをレコメンドしたい

実践的なデータを用いた分析を通して、実用的な知見を得たい

自然言語処理に関する分析だけでなく、クラウドインフラやデータパイプラインについても学びたい

二次的に発生したもの

Slackでのメンバの発言を可視化できないか？→メンバ単位のWordcloud

可視化結果をダッシュボードに出力できないか？→週次Wordcloud

具体的にどんなアウトプットを出そうとしているのか

上記で発案したシステムをGCP上に実装

その基盤を元にコミュニティをグロースさせたり、基盤自体をコミュニティの成果として対外的に発信するなど

その他アイデアなど

こういうとこにソースを売却するとか→https://www.persol-pt.co.jp/miteras/work-visible/

チーム構成

APIサーバー構築チーム：リーダー masso

パイプライン構築チーム：リーダージョージさん

マート構築チーム：リーダー佐藤光さん

メンバー

村上さん：サポートやアドバイス > https://app.slack.com/team/UJRAL005U

増田さん：パイプラインやマート設計のアドバイス > https://app.slack.com/team/UL2TY2ERL

Komiyaさん > https://app.slack.com/team/UN1V4ELKV

しみずこうじさん > https://app.slack.com/team/US69FTTH6

Mahoさん > https://app.slack.com/team/UMBPQ87PB

ジョージさん > https://app.slack.com/team/U01247C09MH

Kさん > https://app.slack.com/team/UT5FYCM6D

sho.kumadaさん > https://app.slack.com/team/UMQ7CDJUR

asmrtさん > https://app.slack.com/team/U012X82L8ET

佐藤光さん > https://app.slack.com/team/U0141NJ0PJ4

Takuma Yoshiokaさん > https://app.slack.com/team/U010Y77JA2W

Yanさん > https://app.slack.com/team/UMC518ER0

masso > https://app.slack.com/team/URDDX224S

現状の成果

ローカルPC上で下記の機能を実行するツール

Slackからメッセージを取得

取得したメッセージを分かち書きする

メッセージを前処理する（クリーニング、正規化など）

分かち書きしたメッセージにTf-Idfを実行する

Tf-Idfのスコアに基づいてWordcloudをローカルストレージに出力する

https://gyazo.com/8780838bdefdd9d68e7e30ba6f5812d9

ソース：https://github.com/sota0121/nlpslack

旧ソース（参考サイトなどが記載されてる）：https://github.com/sota0121/slack-msg-analysis

参考記事：https://qiita.com/masso/items/41630aa02f1fd6cfa0a4

これから何をするのか

現在の進捗状況を共有する（何を作ったのか、ソースコードの説明、イメージする構想など）

既存の機能をGCP上に載せる

その際、Slack分析コンペで作ったシステムと統合できるようにユーザーレコメンドの為のパイプラインを構築する

下記のようなアーキテクチャを構築する

https://gyazo.com/a38c7b77c286b970af6c27741eb9d6d8

イメージ

ユーザー発言から求めた文書ベクトル

1, 3, 2, 2, 3, 5

質問の内容に基いた文書ベクトル

3, 4, 5 , 2, 4, 5