はじめに

こんにちは。Research Engineerの髙瀬です。

最近のAI開発では、モデルが生成したテキストの品質を人間が手動でチェックする代わりに、別のLLM（大規模言語モデル）に採点させる「LLM-as-a-Judge」という手法が広く使われるようになっています。

以前の記事でも、LLM-as-a-JudgeをGPT-4とChatGPTで実際のタスクに適用し、「実務採用前に精度検証をすること」の重要性を紹介しました。 tech.revcomm.co.jp

今回はその一歩先の問いを扱います。

「評価者のLLMが、自分自身の回答を不当に高く評価してしまうのではないか？」

従来の人手評価と比べて、LLM-as-a-Judgeには以下のメリットがあります。

圧倒的なスピード：数千件のサンプルをすぐに採点できる
コスト効率：専門家による人手評価より大幅に安価

しかし「LLMが別のLLMを採点する」という設定には、この根本的な問いが付きまといます。この問題を「セルフバイアス（自己優遇バイアス）」と呼びます。

本記事で紹介する論文は、このセルフバイアスを統計的に厳密に測定するフレームワークを提案したものです（昨年8月発表）。

元論文: Play Favorites: A Statistical Method to Measure Self-Bias in LLM-as-a-Judge

著者: Evangelia Spiliopoulou, Riccardo Fogliato ほか（Amazon Web Services）

公開日: 2025年8月12日

LLM-as-a-Judge とは何か

まず前提知識として「LLM-as-a-Judge」を整理しましょう。LLM評価のシナリオを具体的にイメージすると、こうなります。

あるプロンプト（質問や指示）に対して、複数のLLM（例：GPT-4oとClaude）がそれぞれ回答を生成する
その回答の品質を、別の評価者LLMが「5段階で何点か」「役に立つか否か」などの軸で採点する
採点結果をもとに、どのモデルが優れているかを判定する

この仕組みが研究・開発現場で広まっているのは、数千件・数万件のテキストを迅速に評価できるためです。しかし、採点者自身が「被採点者でもある」状況が生まれると、採点の公正性が問われます。

「えこひいき」問題：2種類のバイアス

この論文が注目するのは、以下の2種類のバイアスです。

① セルフバイアス（自己優遇バイアス）

自分が生成した回答に、不当に高いスコアをつける傾向です。

たとえばGPT-4oが評価を担当するとき、GPT-4oが生成した回答とClaude 3.5 Sonnetが生成した回答が同じ品質であっても、GPT-4oは自分の回答をより高く採点してしまうかもしれません。これがセルフバイアスです。

② ファミリーバイアス（同族優遇バイアス）

自分と同じ「ファミリー（開発元・系統）」のモデルが生成した回答に高いスコアをつける傾向です。

たとえばClaude 3.5 Sonnetが評価者のとき、同じAnthropicが開発したClaude v2やClaude 3 Sonnetの回答を、他社モデルより高く評価してしまう現象です。これらのバイアスは、モデルの比較評価や性能ランキングを歪め、正しい開発判断を妨げるリスクがあります。

既存手法の問題点

「セルフバイアスがある」と言いたいなら、シンプルに「自分の回答への点数が高ければバイアスあり」と判断できそうに思えます。しかし、これには2つの落とし穴があります。

落とし穴①：品質の差を見落とす

もしGPT-4oが本当に高品質な回答を生成しているなら、評価者のGPT-4oが自分の回答に高い点をつけるのは正当な評価であり、バイアスではありません。「自分に高い点＝バイアス」とは言い切れないのです。

落とし穴②：採点スタイルの違いを無視する

もう一つの比較方法は「人間の採点とLLMの採点を比べて、自分の回答だけ点数が高ければバイアスあり」というものです。しかしこれも単純ではありません。ある評価者LLMが全体的に人間より高めに採点するクセ（採点スタイルの違い）があった場合、その差分をバイアスと誤認してしまいます。既存の多くの研究は、これらの問題を適切に切り分けられていませんでした。

提案手法：回帰モデルで「本当のバイアス」を測る

本論文における提案手法は、「評価者LLMのスコアを線形回帰でモデル化し、その係数（重み）を最小二乗法で推定することでバイアスを定量化する」というアイデアです。これを数式で表すと以下のようになります。

$\displaystyle \tilde{S}_{idmj} = \alpha + \underbrace{\delta_j + \beta_j S_{idm}}_{\text{Human alignment}} + \underbrace{\gamma_j \mathbf{1}_j(m)}_{\text{Self-bias}} + \underbrace{\lambda_{F(j)} \mathbf{1}_{F(j)}(F(m))}_{\text{Family-bias}} + \eta_d + \epsilon_{idmj}$

Equation(1): Modeling approach

左辺の $\tilde{S}_{idmj}$ は「評価者LLM $j$ が、プロンプト $i$ 、評価軸 $d$ 、モデル $m$ の回答につけたスコア」です。右辺はアンダーブレースの通り3つのグループに分かれています。 Human alignment $\delta_j + \beta_j S_{idm}$ は、評価モデル固有の採点スタイルを補正する項です。これには、採点基準が全体的に「甘いか辛いか」を示す項 $\delta_j$ と、人間が判定した品質の差をどの程度スコアに反映させるかという感度 $\beta_j$ が含まれます。

Self-bias $\gamma_j \mathbf{1}_j(m)$ は、評価者が自分自身の生成した回答を採点する際にのみ適用されるバイアス項であり、本解析において最も重要な指標となります。

Family-bias $\lambda_{F(j)} \mathbf{1}_{F(j)}(F(m))$ は、採点者と同一の開発元（ファミリー）に属するモデルによる回答に対して加算される偏りを示します。このモデルにおいて鍵となるのが、セルフバイアス係数である $\gamma_j$ の値です。この係数の正負によって、以下の3通りの解釈が可能になります。

$\gamma_j \gt 0$ ：本当の品質が同じでも、自分の回答を高く評価する
$\gamma_j = 0$ ：セルフバイアスなし
$\gamma_j \lt 0$ ：逆に自分の回答に厳しい（ネガティブセルフバイアス）

なぜ人間の参照スコアが必要なのか

モデルに登場する「Human alignment」（第三者による品質評価）が重要な役割を果たします。例えば次の3つのシナリオを考えましょう。

シナリオ	評価者LLMの回答品質	他モデルの回答品質	参照スコアなしで見た差
A	低品質	高品質	差が小さい → バイアスが過小評価される
B	同程度	同程度	差が明確 → バイアスが正確に見える
C	高品質	低品質	差が大きい → バイアスが過大評価される

シナリオAの補足として、評価者LLMの回答は低品質でも、セルフバイアスによってスコアが底上げされます。一方、他モデルの高品質な回答には底上げがないため、この2つの力が打ち消し合い、スコアの差が実際のバイアスより小さく見えます。シナリオCはこの逆です

また、論文の Figure 1 はこの3つのシナリオを可視化したものです。青い点が評価者LLM自身の回答、オレンジが他モデルの回答で、縦軸のズレ $\gamma_j$ がセルフバイアスを表します。

人間の参照スコアを「品質の基準」として組み込むことで、品質差の影響を取り除き、純粋なバイアスだけを測定できるようになります。

統計的有意性の確認

推定した $\gamma_j$ が「本当にゼロではない（バイアスが実在する）」かどうかは、90%信頼区間（有意水準10%）を使って検証しています。信頼区間がゼロを含まない場合に「統計的に有意なバイアスあり」と結論づけます。通常は95%信頼区間が使われることも多いですが、本論文では計量経済学の実証研究で慣例的に用いられる10%水準を採用しています。また、不均一分散に対して頑健標準誤差（White標準誤差）を使用しており、モデルの仮定が一部崩れても推論が有効になるよう工夫されています。

実験設定

データセットの規模

596件のプロンプト（質問応答・要約タスク）
9つのLLMが各プロンプトに回答を生成（同一モデルが生成者にも評価者にもなる） → 計 5,364件の回答
各回答を9つの評価者LLMすべてが採点

使用したモデル

ファミリー	モデル
Claude（Anthropic）	Claude v2, Claude 3 Sonnet, Claude 3.5 Sonnet
GPT（OpenAI）	GPT-3.5 Turbo, GPT-4o
Llama（Meta）	Llama 3 8B, Llama 3 70B
Mistral	Mistral 7B, Mistral Large

評価軸（6次元）

各回答は以下の6つの観点でスコアリングされます。

評価軸	内容
完全性	必要な情報がすべて含まれているか
簡潔性	無関係な内容を含まず焦点が絞れているか
論理的堅牢性	論旨の流れが明確か
論理的正確性	事実的に正確か
有用性	ユーザーにとって役立つか
忠実性	入力内容を正確に反映しているか（主に要約タスク）

人間によるアノテーション

本実験では、LLM-as-a-Judgeのスコアからセルフバイアスを切り分けるために「回答の本当の品質」を示す参照スコアが必要です。その参照スコアとして人間アノテーターの採点結果を使用しています。

各回答は、インハウスの一般アノテーター3名が全評価軸についてLikertスケール（5段階・3段階・7段階）に基づいて採点しました。さらにアノテーターの品質検証として、別の専門家チームが210件のサンプルに対して正解スコアの範囲（gold range）を設定し、一般アノテーターのスコアがその範囲内に収まるかを確認しました。バイナリの正誤ではなく専門家のスコアレンジへの収まり具合で品質を評価しており、結果は評価軸ごとに84〜95%、平均91%が範囲内に収まり、アノテーターの品質は高水準であることが確認されました。

実験結果

Figure 3: セルフバイアスとファミリーバイアスの推定値（論文 Figure 3 より）

セルフバイアスの測定結果

Figure 3（左）はモデルごとのセルフバイアス推定値（90%信頼区間つき）を示しています。GPT系とClaude 3.5 Sonnet（青紫）の推定値が正方向に、Llama 3 8B（黄）が負方向に偏っており、本論文ではこれらのモデルでセルフバイアスの存在が明確に論じられています。 GPT-4oとClaude 3.5 Sonnetは、より高性能なモデルであるにもかかわらず、顕著なセルフバイアスを示しました。逆にLlama 3 8Bは「ネガティブセルフバイアス」、つまり自分の回答に厳しすぎる傾向が確認されました。評価軸「忠実性」において特に顕著で、人間評価では他モデルとの差が小さいにもかかわらず、Llama 3 8Bは自分の回答の忠実性を著しく低く評価していると解釈されています。

ファミリーバイアスの測定結果

Figure 3（右）はファミリーごとのバイアス推定値（90%信頼区間つき）を示しています。 ClaudeファミリーとGPTファミリーには明確なファミリーバイアスが確認されました。Claude 3.5 Sonnetは、Claude v2やClaude 3 Sonnetの回答を、他社モデルより高く評価します。GPTモデルも同様に、GPT系モデルの回答を優遇する傾向があります。本論文では、LlamaとMistralにはファミリーバイアスが見られないと解釈されてます。

小さな差でも大きな影響がある

実験では各モデルのスコアが0.90〜1.00の狭いレンジに集中していました。そのような状況では、セルフバイアスの大きさ（約0.02ポイント）がモデルランキングの順位を変えてしまうほど影響力を持ちます。たとえば「Claude 3.5 SonnetとGPT-4oのどちらが優れているか」を比較するとき、スコア差がわずか0.02程度であれば、えこひいきによる底上げだけで結論が逆転するリスクがあります。

実践的な示唆

この研究から、LLM-as-a-Judgeを実務で使う際の重要な指針が得られます。

① 独立した参照スコアを確保する

人間アノテーションや信頼できる第三者モデルのスコアが入手可能な場合は、論文の手法を使ってセルフバイアスとファミリーバイアスを推定し、スコアから差し引くことができます。これにより、補正された公正な評価スコアが得られます。

② 複数ファミリーの評価者LLMを使う

人間によるアノテーションが一切利用できない場合は、異なるファミリーの評価者LLM（例：GPT、Claude、Llamaを組み合わせる）を使うことで、バイアスを相互に打ち消し合う効果が期待できます。人間によるアノテーションはコストがかかるため、現実的な選択肢として、コストパフォーマンスに優れています。

③ 評価軸・タスクごとにバイアスが異なることを意識する

セルフバイアスは質問応答タスクで大きく、要約タスクでは小さい傾向がある「論理的正確性」や「忠実性」などの評価軸では、モデルによってバイアスの大きさが変わる単一の評価軸に依存せず、複数軸での分析を行うことが望ましい

Figure 4 は評価軸別（左）・タスク種別（右）のセルフバイアスの分布を示しています。Llama 3 8B の忠実性（×）が特に左に外れていることや、質問応答タスク（●）の方が要約タスク（▲）より全体的にバイアスが大きい傾向が読み取れます。

Figure 4: 評価軸・タスク別のセルフバイアス（論文 Figure 4 より）

まとめ

本論文のポイントを振り返ります。

LLM-as-a-Judgeには「セルフバイアス」と「ファミリーバイアス」が存在する
既存手法は品質差や採点スタイルの違いを適切に制御できていなかった
線形回帰モデルによる統計的フレームワークを使えば、バイアスを正確に分離・定量化できる
GPT-4oとClaude 3.5 Sonnetには顕著なセルフバイアスとファミリーバイアスがある一方、Llama 3 8Bは逆に自分に厳しすぎる「ネガティブセルフバイアス」を示す
バイアスの大きさは小さく見えても、スコアが密集しているモデル比較では大きな影響を持つ

LLMを使った自動評価は今後さらに広まっていくと考えられます。LLM-as-a-Judgeを利用する際には、単純に「LLMに採点させればOK」と思うのではなく、どのモデルがどんなえこひいきをするのかを理解し、適切に補正しながら使うことが重要になります。

参考資料

[1] E. Spiliopoulou et al., "Play favorites: A statistical method to measure self-bias in LLM-as-a-judge," arXiv preprint arXiv:2508.06709, 2025.

RevComm Tech Blog

コミュニケーションを再発明し人が人を想う社会を創る

LLM-as-a-Judgeで「えこひいき」が起きる？―― セルフバイアスを統計的に測る手法の紹介