2404 lines
No EOL
81 KiB
JSON
2404 lines
No EOL
81 KiB
JSON
{
|
||
"contrast": "editor",
|
||
"n": 9,
|
||
"skipped": [],
|
||
"truncated_dropped": [],
|
||
"results": [
|
||
{
|
||
"trap": "a1",
|
||
"type": "T-inv",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было ... человека, который не знал бы",
|
||
"ev_arm": "Не было ... человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было ... человека, который не знал бы",
|
||
"ev_arm": "Не было ... человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было в роду Гуюэ человека, который не знал бы",
|
||
"ev_arm": "Не было в клане Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было ... человека, который не знал бы",
|
||
"ev_arm": "Не было ... человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было ... человека, который не знал бы",
|
||
"ev_arm": "Не было ... человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было ... человека, который не знал бы",
|
||
"ev_arm": "Не было ... человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было в роду Гуюэ человека, который не знал бы",
|
||
"ev_arm": "Не было в клане Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было в роду Гуюэ человека, который не знал бы",
|
||
"ev_arm": "Не было в клане Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было ... человека, который не знал бы",
|
||
"ev_arm": "Не было ... человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было ... человека, который не знал бы",
|
||
"ev_arm": "Не было ... человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было в роду Гуюэ человека, который не знал бы",
|
||
"ev_arm": "Не было в клане Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было в роду Гуюэ человека, который не знал бы",
|
||
"ev_arm": "Не было в клане Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было в роду Гуюэ человека, который не знал бы",
|
||
"ev_arm": "Не было в клане Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было в роду Гуюэ человека, который не знал бы",
|
||
"ev_arm": "Не было в клане Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было в роду Гуюэ человека, который не знал бы",
|
||
"ev_arm": "Не было в клане Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было в роду Гуюэ человека, который не знал бы",
|
||
"ev_arm": "Не было в клане Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было в роду Гуюэ человека, который не знал бы",
|
||
"ev_arm": "Не было в клане Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было в роду Гуюэ человека, который не знал бы",
|
||
"ev_arm": "Не было в клане Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было в роду Гуюэ человека, который не знал бы",
|
||
"ev_arm": "Не было в клане Гуюэ человека, который не знал бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не было в роду Гуюэ человека, который не знал бы",
|
||
"ev_arm": "Не было в клане Гуюэ человека, который не знал бы"
|
||
}
|
||
],
|
||
"contrast": "editor",
|
||
"id": "a1",
|
||
"cat_class": true,
|
||
"a0_seed": 2,
|
||
"arm_seed": 2,
|
||
"det_a0": "fix",
|
||
"det_arm": "?"
|
||
},
|
||
{
|
||
"trap": "a2",
|
||
"type": "T-inv",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.25,
|
||
"arm_accuracy": 0.2,
|
||
"paired_diff_arm_minus_a0": -0.05,
|
||
"pairwise": {
|
||
"arm_wins": 4,
|
||
"a0_wins": 5,
|
||
"tie": 11
|
||
},
|
||
"catastrophe": {
|
||
"a0": 11,
|
||
"arm": 12
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": -0.1,
|
||
"without_mistral-large-latest": 0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 4,
|
||
"a0": 0,
|
||
"tie": 6
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 5,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0,
|
||
"a0_acc": 0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.4,
|
||
"a0_acc": 0.5,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "(sentence omitted)",
|
||
"ev_arm": "(sentence omitted)"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "глубоко захватывало их",
|
||
"ev_arm": "глубоко захватывало их"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "(фрагмент отсутствует)",
|
||
"ev_arm": "(фрагмент отсутствует)"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "поэтому всё, о чём говорил старейшина",
|
||
"ev_arm": "поэтому всё, о чём говорил старейшина"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "В этот миг один юноша поднял руку",
|
||
"ev_arm": "В этот миг один юноша поднял руку и"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "Чудеса и могущество гу-мастеров давно пленяли сердца подростков",
|
||
"ev_arm": "Чудеса и могущество гу-мастеров давно пленяли сердца подростков"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "sentence with gazes omitted",
|
||
"ev_arm": "sentence with gazes omitted"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "старейшины",
|
||
"ev_arm": "встал:"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "один юноша поднял руку, дождался позволения",
|
||
"ev_arm": "один юноша поднял руку и, получив разрешение"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "Чудеса и могущество гу-мастеров давно пленяли сердца",
|
||
"ev_arm": "Чудеса и могущество гу-мастеров давно пленяли сердца"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "все слушали с предельным вниманием",
|
||
"ev_arm": "все слушали с предельным вниманием"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "все слушали с предельным вниманием",
|
||
"ev_arm": "все слушали с предельным вниманием"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "все слушали с предельным вниманием",
|
||
"ev_arm": "все слушали с предельным вниманием"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "все слушали с предельным вниманием",
|
||
"ev_arm": "все слушали с предельным вниманием"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "все слушали с предельным вниманием",
|
||
"ev_arm": "все слушали с предельным вниманием"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "все слушали с предельным вниманием",
|
||
"ev_arm": "все слушали с предельным вниманием"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "все слушали с предельным вниманием",
|
||
"ev_arm": "все слушали с предельным вниманием"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "все слушали с предельным вниманием",
|
||
"ev_arm": "все слушали с предельным вниманием"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "все слушали с предельным вниманием",
|
||
"ev_arm": "все слушали с предельным вниманием"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "все слушали с предельным вниманием",
|
||
"ev_arm": "все слушали с предельным вниманием"
|
||
}
|
||
],
|
||
"contrast": "editor",
|
||
"id": "a2",
|
||
"cat_class": true,
|
||
"a0_seed": 1,
|
||
"arm_seed": 1,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "b1",
|
||
"type": "T-num",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.75,
|
||
"arm_accuracy": 0.75,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 5,
|
||
"a0_wins": 5,
|
||
"tie": 10
|
||
},
|
||
"catastrophe": {
|
||
"a0": 5,
|
||
"arm": 5
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 5,
|
||
"a0": 0,
|
||
"tie": 5
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 5,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.5,
|
||
"a0_acc": 0.5,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "двенадцатую часть ... три десятых",
|
||
"ev_arm": "двенадцатую часть ... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "двенадцатую часть ... три десятых",
|
||
"ev_arm": "двенадцатую часть ... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "двенадцатую часть ... три десятых",
|
||
"ev_arm": "двенадцатую часть ... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "двенадцатую часть ... три десятых",
|
||
"ev_arm": "двенадцатую часть ... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "двенадцатую часть ... три десятых",
|
||
"ev_arm": "двенадцатую часть ... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "двенадцатую часть ... три десятых",
|
||
"ev_arm": "двенадцатую часть ... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "двенадцатую часть ... три десятых",
|
||
"ev_arm": "двенадцатую часть ... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "двенадцатую часть ... три десятых",
|
||
"ev_arm": "двенадцатую часть ... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "двенадцатую часть ... три десятых",
|
||
"ev_arm": "двенадцатую часть ... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "двенадцатую часть ... три десятых",
|
||
"ev_arm": "двенадцатую часть ... три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "двенадцатую часть... три десятых",
|
||
"ev_arm": "двенадцатую часть... три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "двенадцатую часть гу-червя, а моей истинной ци ушло целых три десятых",
|
||
"ev_arm": "двенадцатую часть гу-червя, а истинной ци потратил целых три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "двенадцатую часть гу-червя, а моей истинной ци ушло целых три десятых",
|
||
"ev_arm": "двенадцатую часть гу-червя, а истинной ци потратил целых три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "двенадцатую часть гу-червя, а моей истинной ци ушло целых три десятых",
|
||
"ev_arm": "двенадцатую часть гу-червя, а истинной ци потратил целых три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "двенадцатую часть... три десятых",
|
||
"ev_arm": "двенадцатую часть... три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "двенадцатую часть гу-червя, а моей истинной ци ушло целых три десятых",
|
||
"ev_arm": "двенадцатую часть гу-червя, а истинной ци потратил целых три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "двенадцатую часть гу-червя, а моей истинной ци ушло целых три десятых",
|
||
"ev_arm": "двенадцатую часть гу-червя, а истинной ци потратил целых три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "двенадцатую часть гу-червя, а моей истинной ци ушло целых три десятых",
|
||
"ev_arm": "двенадцатую часть гу-червя, а истинной ци потратил целых три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "двенадцатую часть... три десятых",
|
||
"ev_arm": "двенадцатую часть... три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "двенадцатую часть... три десятых",
|
||
"ev_arm": "двенадцатую часть... три десятых"
|
||
}
|
||
],
|
||
"contrast": "editor",
|
||
"id": "b1",
|
||
"cat_class": false,
|
||
"a0_seed": 0,
|
||
"arm_seed": 0,
|
||
"det_a0": "?",
|
||
"det_arm": "?"
|
||
},
|
||
{
|
||
"trap": "b2",
|
||
"type": "T-num",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "лишь сорок четыре процента"
|
||
}
|
||
],
|
||
"contrast": "editor",
|
||
"id": "b2",
|
||
"cat_class": false,
|
||
"a0_seed": 1,
|
||
"arm_seed": 1,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "c1",
|
||
"type": "T-inv",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "может возвыситься над людьми",
|
||
"ev_arm": "может возвыситься над людьми"
|
||
}
|
||
],
|
||
"contrast": "editor",
|
||
"id": "c1",
|
||
"cat_class": true,
|
||
"a0_seed": 0,
|
||
"arm_seed": 0,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "c2",
|
||
"type": "T-inv",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В, а Фан Чжэн",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А.",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А."
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А",
|
||
"ev_arm": "Фан Юань был всего лишь разряда В, а Фан Чжэн обладал талантом разряда А"
|
||
}
|
||
],
|
||
"contrast": "editor",
|
||
"id": "c2",
|
||
"cat_class": false,
|
||
"a0_seed": 0,
|
||
"arm_seed": 0,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "c3",
|
||
"type": "T-inv",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел",
|
||
"ev_arm": "Четвёртый глава рода не сумел"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел расправиться",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел расправиться",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел расправиться",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел расправиться",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел расправиться",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел расправиться",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел расправиться",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел расправиться",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел расправиться",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не сумел расправиться",
|
||
"ev_arm": "Четвёртый глава рода не сумел расправиться"
|
||
}
|
||
],
|
||
"contrast": "editor",
|
||
"id": "c3",
|
||
"cat_class": false,
|
||
"a0_seed": 0,
|
||
"arm_seed": 0,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "d1",
|
||
"type": "T-inv",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.95,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.05,
|
||
"pairwise": {
|
||
"arm_wins": 1,
|
||
"a0_wins": 0,
|
||
"tie": 19
|
||
},
|
||
"catastrophe": {
|
||
"a0": 1,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.1,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 1,
|
||
"a0": 0,
|
||
"tie": 9
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.9,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе его ждали бы",
|
||
"ev_arm": "к счастью, ... иначе его ждали бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе его ждали бы",
|
||
"ev_arm": "к счастью, ... — иначе его ждали бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью... иначе его ждали бы",
|
||
"ev_arm": "к счастью... иначе его ждали бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе его ждали бы",
|
||
"ev_arm": "к счастью, ... — иначе его ждали бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе его ждали бы",
|
||
"ev_arm": "к счастью, ... иначе его ждали бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе его ждали бы",
|
||
"ev_arm": "к счастью, ... иначе его ждали бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе его ждали бы огромные неприятности",
|
||
"ev_arm": "к счастью, ... иначе его ждали бы огромные неприятности"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью... иначе его ждали бы огромные неприятности",
|
||
"ev_arm": "к счастью... иначе его ждали бы огромные неприятности"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе его ждали бы",
|
||
"ev_arm": "к счастью, ... иначе его ждали бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью... иначе его ждали бы огромные неприятности",
|
||
"ev_arm": "к счастью... иначе его ждали бы огромные неприятности"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени — иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени — иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени — иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени — иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени — иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени — иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени — иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени — иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени — иначе его ждали бы огромные неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада ослабла до такой степени, иначе его ждали бы огромные неприятности!",
|
||
"ev_arm": "к счастью, Весенне-осенняя цикада ослабла до такой степени — иначе его ждали бы огромные неприятности!"
|
||
}
|
||
],
|
||
"contrast": "editor",
|
||
"id": "d1",
|
||
"cat_class": false,
|
||
"a0_seed": 0,
|
||
"arm_seed": 0,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "d2",
|
||
"type": "T-inv",
|
||
"n_votes": 12,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 0.083,
|
||
"paired_diff_arm_minus_a0": -0.917,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 12,
|
||
"tie": 0
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 8
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": -1.0,
|
||
"without_mistral-large-latest": -0.833
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 6,
|
||
"tie": 0
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 6,
|
||
"tie": 0
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0.167,
|
||
"a0_acc": 1.0,
|
||
"n": 6
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0,
|
||
"a0_acc": 1.0,
|
||
"n": 6
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "а не то, столкнувшись с тем злодеем",
|
||
"ev_arm": "тогда бы, встретив того злодея"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "а не то, столкнувшись с тем злодеем",
|
||
"ev_arm": "тогда бы, встретив того злодея"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "а не то, столкнувшись с тем злодеем",
|
||
"ev_arm": "тогда бы, встретив того злодея"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "а не то, столкнувшись с тем злодеем",
|
||
"ev_arm": "тогда бы, встретив того злодея"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "а не то, столкнувшись с тем злодеем",
|
||
"ev_arm": "тогда бы, встретив того злодея"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "а не то, столкнувшись с тем злодеем",
|
||
"ev_arm": "тогда бы, встретив того злодея"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "а не то, столкнувшись с тем злодеем",
|
||
"ev_arm": "— тогда бы, встретив того злодея"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "а не то, столкнувшись с тем злодеем",
|
||
"ev_arm": "Жаль лишь, что я не родился на несколько сотен лет раньше"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "а не то, столкнувшись с тем злодеем",
|
||
"ev_arm": "тогда бы, встретив того злодея"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "— Жаль лишь, что я не родился на несколько сотен лет раньше, а не то,",
|
||
"ev_arm": "— Жаль лишь, что я не родился на несколько сотен лет раньше —"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "а не то, столкнувшись с тем злодеем",
|
||
"ev_arm": "тогда бы, встретив того злодея"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "— Жаль лишь, что я не родился на несколько сотен лет раньше, а не то,",
|
||
"ev_arm": "— Жаль лишь, что я не родился на несколько сотен лет раньше —"
|
||
}
|
||
],
|
||
"contrast": "editor",
|
||
"id": "d2",
|
||
"cat_class": false,
|
||
"a0_seed": 1,
|
||
"arm_seed": 1,
|
||
"det_a0": "fix",
|
||
"det_arm": "fail"
|
||
}
|
||
]
|
||
} |