会話ログ2021-01-28
機械学習による質問の自然さ判定を戻した
質問によってベースラインがズレてる問題を解決しないとイマイチ
nisbot.iconあなたはこの会話で何が起きて欲しいですか？
nishio.icon一時的にオフにしてた機械学習による質問の自然さ判定を戻したのでそのテストをしたい nisbot.iconその判定は、どんな種類の判定ですか？
nishio.icon文脈は無視して、直前の文書とそれに対する質問のペアに対して自然か自然でないか二値分類する
nisbot.iconその文脈は、どんな種類の文脈ですか？
nishio.icon複数の質問の連なりの間の関係とかは見ていない。だからこれを入れて全体としては不自然な流れになる可能性もあり、それは手元ではテストしにくいので実際に使ってみようって感じ
nisbot.iconその質問は、どんな種類の質問ですか？
nishio.icon🙁
nisbot.icon
複数の質問の連なりの間の関係とかは見ていない。だからこれを入れて全体としては不自然な流れになる可能性もあり、それは手元ではテストしにくいので実際に使ってみようって感じ
この質問について、他に何かありますか？
nishio.icon先にこれを聞いておかないと、いきなりこれを聞くのは不自然だろ、みたいな
nisbot.icon
複数の質問の連なりの間の関係とかは見ていない。だからこれを入れて全体としては不自然な流れになる可能性もあり、それは手元ではテストしにくいので実際に使ってみようって感じ
この質問は、どのあたりにありますか？
nishio.icon🙁
nisbot.icon
複数の質問の連なりの間の関係とかは見ていない。だからこれを入れて全体としては不自然な流れになる可能性もあり、それは手元ではテストしにくいので実際に使ってみようって感じ
この質問は、何のようですか？
nishio.icon🙁
nisbot.icon
複数の質問の連なりの間の関係とかは見ていない。だからこれを入れて全体としては不自然な流れになる可能性もあり、それは手元ではテストしにくいので実際に使ってみようって感じ
この質問は、どこにありますか？
nishio.icon🙁
nisbot.icon
複数の質問の連なりの間の関係とかは見ていない。だからこれを入れて全体としては不自然な流れになる可能性もあり、それは手元ではテストしにくいので実際に使ってみようって感じ
この連なりは、どんな種類の連なりですか？
nishio.icon例えば「他に何かありますか」はいきなり出てきたらおかしいよね
nisbot.icon
一時的にオフにしてた機械学習による質問の自然さ判定を戻したのでそのテストをしたい
この判定について、他に何かありますか？
nishio.icon特にない
nisbot.icon
文脈は無視して、直前の文書とそれに対する質問のペアに対して自然か自然でないか二値分類する
この文脈について、他に何かありますか？
nishio.icon今回流れの挙動に関してはテストケースがたくさんあったので、一旦流れが壊れたのに気づけたし、修正して元に戻ったのも確認できた。
nisbot.iconその挙動は、どんな種類の挙動ですか？
nishio.icon「他に何かありますか」が先に質問されるようになった
nisbot.iconその先は、どんな種類の先ですか？
nishio.icon「そのXはどんな種類のXか？」を聞くより先に。
nisbot.iconその先について、他に何かありますか？
nishio.icon質問だけ切り出して自然かどうか問うと「どんな種類のXか？」って質問が「他に何かあるか？」よりも不自然なんだな
nisbot.iconその種類は、どんな種類の種類ですか？
nishio.iconNGKW 種類
nisbot.iconあなたはその質問をどう知るのですか？
nishio.icon🙁
nisbot.icon
質問だけ切り出して自然かどうか問うと「どんな種類のXか？」って質問が「他に何かあるか？」よりも不自然なんだな
このXかは、どんな種類のXかですか？
nishio.iconNGKW Xか
nisbot.icon
「そのXはどんな種類のXか？」を聞くより先に。
この先は、どこにありますか？
nishio.iconNGKW 先
nisbot.icon
「そのXはどんな種類のXか？」を聞くより先に。
このXは、どんな種類のXですか？
nishio.iconNGKW X
nisbot.icon
文脈は無視して、直前の文書とそれに対する質問のペアに対して自然か自然でないか二値分類する
この文脈は、どこにありますか？
nishio.icon質問が繰り返される流れ
nisbot.icon
今回流れの挙動に関してはテストケースがたくさんあったので、一旦流れが壊れたのに気づけたし、修正して元に戻ったのも確認できた。
この挙動について、他に何かありますか？
nishio.icon結局、基本二質問に関して心地よい順番があることと、個別の質問としての自然さがその順序にマッチしないのとは調停できないので、基本二質問に関しては自然さ判定をしないようにした
nisbot.iconあなたはその判定をどう知るのですか？
nishio.iconユーザは内部でどう判定されてるかは知らない
nisbot.iconそのユーザは、どんな種類のユーザですか？
nishio.iconこのチャットのユーザ
nisbot.iconそのユーザについて、他に何かありますか？
nishio.iconいい感じで質問されたい
nisbot.iconあなたが価値を感じているのは何ですか？
nishio.icon質問の自然度判定によって、明らかに不自然な質問がユーザに投げかけられて、ユーザの心地よさを損ねるケースが減らせると良い
nisbot.iconそのユーザは、どのあたりにありますか？
nishio.icon🙁
nisbot.icon
質問の自然度判定によって、明らかに不自然な質問がユーザに投げかけられて、ユーザの心地よさを損ねるケースが減らせると良い
この質問とユーザの関係は何ですか？
nishio.icon質問されることでユーザの中から情報が引き出される
nisbot.iconそのユーザと、質問とは同じですか？違いますか？
nishio.icon違います。
nisbot.icon
質問の自然度判定によって、明らかに不自然な質問がユーザに投げかけられて、ユーザの心地よさを損ねるケースが減らせると良い
この質問の時、ユーザに何が起こりますか？
nishio.icon良い質問をすると適度なサイズの課題が次々与えられることでユーザはフロー状態に導かれる。悪い質問をするとユーザは戸惑い、フローが途切れてしまう
nisbot.iconそのユーザの時、質問に何が起こりますか？
nishio.icon🙁
nisbot.icon
質問の自然度判定によって、明らかに不自然な質問がユーザに投げかけられて、ユーザの心地よさを損ねるケースが減らせると良い
この質問とユーザの間には何がありますか？
nishio.icon🙁
nisbot.icon
結局、基本二質問に関して心地よい順番があることと、個別の質問としての自然さがその順序にマッチしないのとは調停できないので、基本二質問に関しては自然さ判定をしないようにした
この判定と質問の関係は何ですか？
nishio.icon判定がうまくできていれば質問の質も良くなる。うまくできてないとかえって悪化する
nisbot.iconその判定と、質問とは同じですか？違いますか？
nishio.icon違います。
nisbot.icon
判定がうまくできていれば質問の質も良くなる。うまくできてないとかえって悪化する
この判定の時、質問に何が起こりますか？
nishio.icon判定のベースラインがズレてると、ベースとして自然になりやすい質問ばかりが選択されて質問の多様性が失われるな
nisbot.iconその質問の時、判定に何が起こりますか？
nishio.icon🙁
nisbot.icon
判定のベースラインがズレてると、ベースとして自然になりやすい質問ばかりが選択されて質問の多様性が失われるな
この判定とユーザの関係は何ですか？
nishio.icon(とりあえず、反応速度が遅くなることを懸念してたけどそれは実害ない。質問によってベースラインがズレてる問題は解決しないとイマイチだな)🙁