티스토리 뷰
랭킹과 관련된 논문들을 보면 자주 나오는 평가척도들이 있습니다.
MRR과 PMRR인데요. 볼 때마다 내용을 헷갈리는거 같아서 한번 정리해보려고 합니다.
MRR, Mean Reciprocal Rank
MRR은 Reciprocal Rank의 평균값입니다. 그렇다면 Reciprocal Rank가 뭔지 알아야 합니다.
사실 MRR은 위키에 예시와 함께 설명이 잘 나와 있습니다.
https://en.wikipedia.org/wiki/Mean_reciprocal_rank
Mean reciprocal rank - Wikipedia
The mean reciprocal rank is a statistic measure for evaluating any process that produces a list of possible responses to a sample of queries, ordered by probability of correctness. The reciprocal rank of a query response is the multiplicative inverse of th
en.wikipedia.org
링크의 수식을 보시면 알겠지만 간단히 말해서 MRR은 "주어지는 쿼리에 대해서 그 쿼리와 정확히 일치하는게 몇번째에 있는가"를 봅니다.
모든 쿼리들에 대해서 일치하는 순서의 역수의 평균을 낸것이 MRR입니다.
PMRR, Partial Matching MRR
그렇다면 PMRR은 무엇일까요? 이름에서 보이는 partial Matching이 힌트입니다.
MRR에서는 단어 전체가 일치하는 것의 순서를 구했다면, PMRR에서는 "첫번쨰로 등장하는 정확히 일치하는 것 혹은 주어진 쿼리로 시작(extend)하는 단어들"입니다. 코드로 간단히 살펴보면
candidate==query or query.startswith(candidate+‘ ’)로 표현 할 수 있을것 같습니다.