pKeicho-done-2021-02-05

過去ログに対する統計スクリプトを作る

過去ログをダウンロードするスクリプト、ローカルにないものだけ

質問自然度判定、全単語質問ペアについて行ってるので明らかに重い

ベストになりえない場合には質問自然度判定を呼び出す前に枝刈りすることにした

Firebaseからデータをダウンロードしたい。

→ダウンロードしなくてもデータに対する統計ができた、ダウンロードはキャッシュにすぎない、必要になるまでやるべきではない

必要になったのでやった

過去ログを使った統計、テストを可能に

過去ログから人間の入力を取って、新しいアルゴリズムで振る舞いの変化を調べる

ローカルキャッシュの更新スクリプトを叩くとまだダウンロードされてないデータがすべてローカルにダウンロードされる

ローカルだけで全体に対する統計などができる

動き(動詞を含むキーフレーズ)の抽出

二値分類、能動学習で学習データを作って多層パーセプトロン

ルールベースで都合の悪いものを弾く

サーバが500の時に気づかない

キーワードの抽出数が一定に達することを条件にしてるところが早く発動する

キーワードを取らない質問が環境を引数にしてスコアを計算できるように設計変更

掘り下げてないキーワードに対して関係の質問をしないように修正

Scrapboxエクスポート画面にコピーボタンを設置

NGキーワード判定

学習するほどデータがないので目についたダメな単語をリストで弾く