2316 lines
No EOL
77 KiB
JSON
2316 lines
No EOL
77 KiB
JSON
{
|
||
"contrast": "main",
|
||
"n": 9,
|
||
"skipped": [],
|
||
"truncated_dropped": [],
|
||
"results": [
|
||
{
|
||
"trap": "a1",
|
||
"type": "T-inv",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал в клане Гуюэ каждый без исключения",
|
||
"ev_arm": "Не было ... человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал в клане Гуюэ каждый без исключения",
|
||
"ev_arm": "Не было в роду Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал в клане Гуюэ каждый без исключения",
|
||
"ev_arm": "Не было ... человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал ... каждый без исключения",
|
||
"ev_arm": "Не было ... человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал в клане Гуюэ каждый без исключения",
|
||
"ev_arm": "Не было ... человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал в клане Гуюэ каждый без исключения",
|
||
"ev_arm": "Не было в роду Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал в клане Гуюэ каждый без исключения",
|
||
"ev_arm": "Не было ... человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал ... каждый без исключения",
|
||
"ev_arm": "Не было ... человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал в клане Гуюэ каждый без исключения",
|
||
"ev_arm": "Не было в роду Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал ... каждый без исключения",
|
||
"ev_arm": "Не было ... человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал в клане Гуюэ каждый без исключения",
|
||
"ev_arm": "Не было в роду Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал в клане Гуюэ каждый без исключения",
|
||
"ev_arm": "Не было в роду Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал в клане Гуюэ каждый без исключения",
|
||
"ev_arm": "Не было в роду Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал в клане Гуюэ каждый без исключения",
|
||
"ev_arm": "Не было в роду Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал в клане Гуюэ каждый без исключения",
|
||
"ev_arm": "Не было в роду Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал в клане Гуюэ каждый без исключения",
|
||
"ev_arm": "Не было в роду Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал в клане Гуюэ каждый без исключения",
|
||
"ev_arm": "Не было в роду Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал в клане Гуюэ каждый без исключения",
|
||
"ev_arm": "Не было в роду Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал в клане Гуюэ каждый без исключения",
|
||
"ev_arm": "Не было в роду Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал в клане Гуюэ каждый без исключения",
|
||
"ev_arm": "Не было в роду Гуюэ человека, который не знал бы"
|
||
}
|
||
],
|
||
"contrast": "main",
|
||
"id": "a1",
|
||
"cat_class": true,
|
||
"a0_seed": 2,
|
||
"arm_seed": 2,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "a2",
|
||
"type": "T-inv",
|
||
"n_votes": 12,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.958,
|
||
"arm_accuracy": 0.0,
|
||
"paired_diff_arm_minus_a0": -0.958,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 12,
|
||
"tie": 0
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 10
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": -1.0,
|
||
"without_mistral-large-latest": -0.917
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 6,
|
||
"tie": 0
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 6,
|
||
"tie": 0
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0,
|
||
"a0_acc": 0.917,
|
||
"n": 6
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0,
|
||
"a0_acc": 1.0,
|
||
"n": 6
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Взгляды были полны восхищения, зависти",
|
||
"ev_arm": "(фрагмент отсутствует)"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляды были полны восхищения, зависти",
|
||
"ev_arm": "(фрагмент отсутствует)"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Взгляды были полны восхищения, зависти",
|
||
"ev_arm": "(фрагмент отсутствует)"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляды были полны восхищения, зависти и ревности.",
|
||
"ev_arm": "(фрагмент отсутствует)"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Взгляды были полны восхищения, зависти",
|
||
"ev_arm": "(фрагмент отсутствует)"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Взгляды были полны восхищения, зависти и ревности",
|
||
"ev_arm": "один юноша поднял руку"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Взгляды были полны восхищения, зависти и ревности",
|
||
"ev_arm": "всё, о чём говорил старейшина, глубоко захватывало их"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Взгляды были полны восхищения, зависти и ревности",
|
||
"ev_arm": "все слушали с предельным вниманием"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Взгляды были полны восхищения, зависти и ревности",
|
||
"ev_arm": "всё, о чём говорил старейшина, глубоко захватывало их"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Взгляды были полны восхищения, зависти и ревности",
|
||
"ev_arm": "все слушали с предельным вниманием"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Взгляды были полны восхищения, зависти и ревности",
|
||
"ev_arm": "всё, о чём говорил старейшина, глубоко захватывало их"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Взгляды были полны восхищения, зависти и ревности",
|
||
"ev_arm": "все слушали с предельным вниманием"
|
||
}
|
||
],
|
||
"contrast": "main",
|
||
"id": "a2",
|
||
"cat_class": true,
|
||
"a0_seed": 1,
|
||
"arm_seed": 1,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "b1",
|
||
"type": "T-num",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.75,
|
||
"arm_accuracy": 0.75,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 5,
|
||
"a0_wins": 5,
|
||
"tie": 10
|
||
},
|
||
"catastrophe": {
|
||
"a0": 5,
|
||
"arm": 5
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 5,
|
||
"a0": 0,
|
||
"tie": 5
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 5,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.5,
|
||
"a0_acc": 0.5,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "очищен лишь на одну двенадцатую... три десятых",
|
||
"ev_arm": "очистил лишь двенадцатую часть... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую ... три десятых",
|
||
"ev_arm": "двенадцатую часть ... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "очищен лишь на одну двенадцатую... три десятых",
|
||
"ev_arm": "очистил лишь двенадцатую часть... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую ... три десятых",
|
||
"ev_arm": "двенадцатую часть ... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "очищен лишь на одну двенадцатую... три десятых",
|
||
"ev_arm": "очистил лишь двенадцатую часть... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую... три десятых",
|
||
"ev_arm": "двенадцатую часть... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "очищен лишь на одну двенадцатую... три десятых",
|
||
"ev_arm": "очистил лишь двенадцатую часть... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую... три десятых",
|
||
"ev_arm": "двенадцатую часть... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "очищен лишь на одну двенадцатую... три десятых",
|
||
"ev_arm": "очистил лишь двенадцатую часть... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую... три десятых",
|
||
"ev_arm": "двенадцатую часть... три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую, три десятых",
|
||
"ev_arm": "двенадцатую часть, три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Гу-червь очищен лишь на одну двенадцатую, а моя истинная ци потрачена уже на целых три десятых",
|
||
"ev_arm": "двенадцатую часть гу-червя, а моей истинной ци ушло целых три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую, три десятых",
|
||
"ev_arm": "двенадцатую часть, три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Гу-червь очищен лишь на одну двенадцатую, а моя истинная ци потрачена уже на целых три десятых",
|
||
"ev_arm": "двенадцатую часть гу-червя, а моей истинной ци ушло целых три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую, три десятых",
|
||
"ev_arm": "двенадцатую часть, три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Гу-червь очищен лишь на одну двенадцатую, а моя истинная ци потрачена уже на целых три десятых",
|
||
"ev_arm": "двенадцатую часть гу-червя, а моей истинной ци ушло целых три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую, три десятых",
|
||
"ev_arm": "двенадцатую часть, три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Гу-червь очищен лишь на одну двенадцатую, а моя истинная ци потрачена уже на целых три десятых",
|
||
"ev_arm": "двенадцатую часть гу-червя, а моей истинной ци ушло целых три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую, три десятых",
|
||
"ev_arm": "двенадцатую часть, три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Гу-червь очищен лишь на одну двенадцатую, а моя истинная ци потрачена уже на целых три десятых",
|
||
"ev_arm": "двенадцатую часть гу-червя, а моей истинной ци ушло целых три десятых"
|
||
}
|
||
],
|
||
"contrast": "main",
|
||
"id": "b1",
|
||
"cat_class": false,
|
||
"a0_seed": 0,
|
||
"arm_seed": 0,
|
||
"det_a0": "fix",
|
||
"det_arm": "?"
|
||
},
|
||
{
|
||
"trap": "b2",
|
||
"type": "T-num",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "всего сорок четыре процента",
|
||
"ev_arm": "только сорок четыре процента"
|
||
}
|
||
],
|
||
"contrast": "main",
|
||
"id": "b2",
|
||
"cat_class": false,
|
||
"a0_seed": 1,
|
||
"arm_seed": 1,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "c1",
|
||
"type": "T-inv",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 1,
|
||
"tie": 19
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 1,
|
||
"tie": 9
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
}
|
||
],
|
||
"contrast": "main",
|
||
"id": "c1",
|
||
"cat_class": true,
|
||
"a0_seed": 0,
|
||
"arm_seed": 0,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "c2",
|
||
"type": "T-inv",
|
||
"n_votes": 12,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 1.0,
|
||
"pairwise": {
|
||
"arm_wins": 12,
|
||
"a0_wins": 0,
|
||
"tie": 0
|
||
},
|
||
"catastrophe": {
|
||
"a0": 11,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 1.0,
|
||
"without_mistral-large-latest": 1.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 6,
|
||
"a0": 0,
|
||
"tie": 0
|
||
},
|
||
"BA": {
|
||
"arm": 6,
|
||
"a0": 0,
|
||
"tie": 0
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0,
|
||
"n": 6
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0,
|
||
"n": 6
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C, а вот Фан",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "класса C, а вот Фан Чжэнь имел талант класса A",
|
||
"ev_arm": "разряда В, а Фан Чжэн обладал талантом разряда А"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C, а вот Фан Чжэнь имел талант класса A",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C, а вот Фан Чжэнь имел талант класса A",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C, а вот Фан Чжэнь имел талант класса A",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А"
|
||
}
|
||
],
|
||
"contrast": "main",
|
||
"id": "c2",
|
||
"cat_class": false,
|
||
"a0_seed": 0,
|
||
"arm_seed": 0,
|
||
"det_a0": "?",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "c3",
|
||
"type": "T-inv",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.8,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.2,
|
||
"pairwise": {
|
||
"arm_wins": 4,
|
||
"a0_wins": 0,
|
||
"tie": 16
|
||
},
|
||
"catastrophe": {
|
||
"a0": 4,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.4,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 4,
|
||
"a0": 0,
|
||
"tie": 6
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.6,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть Монаха Цветочного Вина",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться с Монахом Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть Монаха Цветочного Вина",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться с Монахом Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть Монаха Цветочного Вина",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться с Монахом Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть Монаха Цветочного Вина",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться с Монахом Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть Монаха Цветочного Вина",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться с Монахом Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться"
|
||
}
|
||
],
|
||
"contrast": "main",
|
||
"id": "c3",
|
||
"cat_class": false,
|
||
"a0_seed": 0,
|
||
"arm_seed": 0,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "d1",
|
||
"type": "T-inv",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, ... иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью... иначе у него были бы",
|
||
"ev_arm": "к счастью... иначе его ждали бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе у него были бы",
|
||
"ev_arm": "к счастью, ... иначе его ждали бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе у него были бы серьёзные неприятности",
|
||
"ev_arm": "к счастью, ... иначе его ждали бы огромные неприятности"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе у него были бы",
|
||
"ev_arm": "к счастью, ... иначе его ждали бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе у него были бы серьёзные неприятности",
|
||
"ev_arm": "к счастью, ... иначе его ждали бы огромные неприятности"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе у него были бы серьёзные неприятности",
|
||
"ev_arm": "к счастью, ... иначе его ждали бы огромные неприятности"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе у него были бы",
|
||
"ev_arm": "к счастью, ... иначе его ждали бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе у него были бы",
|
||
"ev_arm": "к счастью, ... иначе его ждали бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе у него были бы серьёзные неприятности",
|
||
"ev_arm": "к счастью, ... иначе его ждали бы огромные неприятности"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!"
|
||
}
|
||
],
|
||
"contrast": "main",
|
||
"id": "d1",
|
||
"cat_class": false,
|
||
"a0_seed": 0,
|
||
"arm_seed": 0,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "d2",
|
||
"type": "T-inv",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 0.75,
|
||
"paired_diff_arm_minus_a0": -0.25,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 5,
|
||
"tie": 15
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 5
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": -0.5,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 5,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.5,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе, увидев этого злодея,",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем,"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе, увидев этого злодея",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе, увидев этого злодея,",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем,"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе, увидев этого злодея",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе, увидев этого злодея,",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем,"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе, увидев этого злодея",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе, увидев этого злодея",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе, увидев этого злодея",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе, увидев этого злодея,",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем,"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе, увидев этого злодея",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе, увидев этого злодея, непременно сразился бы",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем, не пожалел бы жизни"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "иначе, увидев этого злодея",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе, увидев этого злодея, непременно сразился бы",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем, не пожалел бы жизни"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "иначе, увидев этого злодея",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе, увидев этого злодея, непременно сразился бы",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем, не пожалел бы жизни"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "иначе, увидев этого злодея",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе, увидев этого злодея, непременно сразился бы",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем, не пожалел бы жизни"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "иначе, увидев этого злодея",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе, увидев этого злодея, непременно сразился бы",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем, не пожалел бы жизни"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "иначе, увидев этого злодея",
|
||
"ev_arm": "а не то, столкнувшись с тем злодеем"
|
||
}
|
||
],
|
||
"contrast": "main",
|
||
"id": "d2",
|
||
"cat_class": false,
|
||
"a0_seed": 1,
|
||
"arm_seed": 1,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
}
|
||
]
|
||
} |