情報検索評価

トップ 差分 一覧 Farm ソース プレゼンテーション 検索 ヘルプ PDF RSS ログイン

 評価の基準

情報検索システムから出力面に関する基準

  1. レレバンス(適合性)
    • 検索された情報がどのくらい利用者の要求に適合しているか
  1. 新奇性
    • どのくらい利用者の知らない情報が検索されたか
  1. 有用性
    • 検索された情報がどのくらい役に立ったか(あるいは、役に立ちそうか)

情報検索システムに投入する入力面に関する基準

  1. コスト
    • 情報検索を行うのにどのぐらい労力・時間・料金がかかったか

 レレバンス

■n.
【1】(当面する問題との)関連性;適切さ,妥当性《to》
have relevance to …に関連している.
【2】今日の重大な社会問題との関連.
【3】[コンピュータ]検索で得られたものの質問に対する適合度が高いこと.
(また relevancy)
  • かんれん‐せい‐りろん【関連性理論】クワン‥(「広辞苑第五版」より)
〔言〕(relevance theory) 語用論の理論で、人の関心は、その文脈に関連のある情報
だけに向けられ、関連のある情報だけを言語で表現するという考え方。イギリスの言
語学者スペルバー(D.Sperber)とウィルソン(D.Wilson)が提唱した。

情報検索において、ある情報要求あるいは検索質問に応じて検索を行ったとき、検索
された情報が、どの程度、検索者の情報への欲求を解消したり、質問(疑問)に解答
を与えることができているかの度合い。情報検索の主要概念にもかかわらず、その捉
え方についてはさまざまな解釈がある。大きく分けると、検索質問と情報との関係と、
情報要求と情報との関係の二つの立場から捉えることができる。前者は、質問として
の言語表現と情報との関係に着目し、曖昧さをある程度排除することで検索評価にお
いて一般的に使われてきた。後者は、情報要求を持つ利用者の観点から適合性を見る
もので、情報検索が利用者の要求する情報を提供するものであるならば、こちらの方
が適合性のより本質的な解釈といえる。

情報要求を持つ利用者と第三者による判定

  • Barhydt, G.C. "The Effective of Non-user Relevance Assesment". Journal of Documentation. Vol.23, No.2, p.146-149, 251(1967)
    • この研究でBarhydtは、文献抄録に対するレレバンスについて、主題専門家とシステム専門家の判断を利用者自身の判断と比較している。
  • Lesk, M.E.;Salton, G. "Relevance Assessments and Retrieval System Evaluation". Information Strage and Retrieval. Vol.4, No.4, p.343-359(1968)
    • LeskとSaltonは、実験の結果として、再現率と精度の平均値は検索質問の作者と作者以外の判定において統計的に意義のある差異は見られていないと結論付けている。

レレバンスの二つの対象

  • 情報要求
  • 検索質問

 精度と再現率

上のベン図において各集合の部分は以下のことを表現していると仮定する

データベース全体
B+C
検索された集合
C+D
適合している集合
検索された適合していない集合⇒ノイズ
検索された適合している集合⇒見つかった適合文献群
検索されなかった適合している集合⇒検索漏れ

精度

  • ノイズに関する尺度
  • どれだけ正確な検索ができたか
  • 検索された文献群中に含まれる検索されたレレバントな文献の割合

\LARGE Precision=\frac{Retrieved Relevant Documents}{Retrieved Documents}

  • 上図の場合、

\LARGE Precision=\frac{C}{B+C}

  • 情報処理などの領域では適合率(rerelvance ratio)と呼ばれることもあるが、適合性(relevance)との混同を避けるため、図書館情報学領域では精度と呼ぶ。

再現率

  • 検索漏れに関する尺度
  • どれだけ網羅的な検索ができたか
  • 全集合中のレレバントな文献における検索されたレレバントな文献の割合

\LARGE Recall=\frac{Retrieved Relevant Documents}{Relevant Documents}

  • 上図の場合、

\LARGE Precision=\frac{C}{C+D}

再現率と精度の関係

  • 基本的に反比例の関係にある
  • 単純に片方をあげようとすると、もう一方の値は下がる
    • →再現率と精度は総合的に評価する必要がある

  • たとえば、検索件数をデータベース中の全文献とすれば、再現率は100%となるが、精度は限りなく0に近づく。一方で、検索件数を1件に精度100%することができるかもしれないが、再現率は0に近づく。

精度と再現率に関連する尺度

  • ノイズnoise
    • 検索されてしまった不要な情報

\LARGE Recall=\frac{Retrieved Non-Relevant Documents}{Retrieved Documents}

  • 検索漏れdrop-out
    • 検索されなかった必要な情報

\LARGE Recall=\frac{Non-Retrieved Relevant Documents}{Relevant Documents}

再現率の問題

  • 現実のデータベースではすべてのレレバンス情報を知ることは不可能に近い
    • 再現率を正確に算出することができない
    • 統計的な操作によって、近似値を算出

 再現率・精度以外の評価尺度

  • 新規性率
    • 新規性に基づく尺度
    • ある検索結果中に知らない情報がどのくらい含まれているかの割合

\LARGE Novelty ratio=\frac{Novel Documents}{Retrieved Documents}

再現率・精度.png 二つのレレバンス.png

最終更新時間:2004年12月09日 18時12分49秒