情報検索概論 第6回
情報検索システムの評価
客観的に見て適合文書が検索できたか
ユーザが求める文書が検索できたか
ユーザにとって真に役立つ文章が検索できたか
一般的には適合性を利用した評価を考える
適合性を評価する尺度
検索質問に適合している文書をもれなく検索しているか
検索質問に適合する文書のみを検索しているか
適合率と再現率は、この2つの性質を評価するための一般的な尺度
適合性情報が付与された、テスト用の文書集合
学習データ
再現率の向上と適合率の向上はトレードオフ
再現率・適合率ともに情報検索システムの性能を総合的に比較する指標
ランク付けされた検索結果において、上位$ i件まで検索した場合の再現率・適合率を計算する
その後、それらの平均を取る
平均適合率の概念を一般化したもの
あらかじめ決められた$ n個の再現率レベルにおける適合率の平均を取る
適切な再現率の値が存在しない場合に利用
テストコレクションを準備するのがとても難しい
テストコレクションの作成・公開や利用に関するコミュニティ
大規模な文書集合については適合性の判定が難しい
一部の文書についてのみ判定する
複数のシステムで検索を行い、上位の文書についてのみ判定を行う