2272 lines
No EOL
75 KiB
JSON
2272 lines
No EOL
75 KiB
JSON
{
|
||
"contrast": "floor",
|
||
"n": 9,
|
||
"skipped": [],
|
||
"truncated_dropped": [],
|
||
"results": [
|
||
{
|
||
"trap": "a1",
|
||
"type": "T-inv",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.8,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.2,
|
||
"pairwise": {
|
||
"arm_wins": 4,
|
||
"a0_wins": 0,
|
||
"tie": 16
|
||
},
|
||
"catastrophe": {
|
||
"a0": 4,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.4,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 4,
|
||
"a0": 0,
|
||
"tie": 6
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.6,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ.",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения."
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "знал каждый член клана Гуюэ",
|
||
"ev_arm": "знал каждый в клане Гуюэ без исключения"
|
||
}
|
||
],
|
||
"contrast": "floor",
|
||
"id": "a1",
|
||
"cat_class": true,
|
||
"a0_seed": 0,
|
||
"arm_seed": 1,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "a2",
|
||
"type": "T-inv",
|
||
"n_votes": 12,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.417,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.583,
|
||
"pairwise": {
|
||
"arm_wins": 12,
|
||
"a0_wins": 0,
|
||
"tie": 0
|
||
},
|
||
"catastrophe": {
|
||
"a0": 4,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.75,
|
||
"without_mistral-large-latest": 0.417
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 6,
|
||
"a0": 0,
|
||
"tie": 0
|
||
},
|
||
"BA": {
|
||
"arm": 6,
|
||
"a0": 0,
|
||
"tie": 0
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.583,
|
||
"n": 6
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.25,
|
||
"n": 6
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В их взглядах читалась смесь зависти",
|
||
"ev_arm": "Взгляды были полны восхищения, зависти"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В их взглядах читалась смесь зависти",
|
||
"ev_arm": "Взгляды были полны восхищения, зависти"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "В их взглядах читалась смесь зависти и восхищения",
|
||
"ev_arm": "Взгляды были полны восхищения, зависти и ревности"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В их взглядах читалась смесь зависти",
|
||
"ev_arm": "Взгляды были полны восхищения, зависти"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В их взглядах читалась смесь зависти",
|
||
"ev_arm": "Взгляды были полны восхищения, зависти"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В их взглядах читалась смесь зависти и восхищения.",
|
||
"ev_arm": "Взгляды были полны восхищения, зависти и ревности."
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "В их взглядах читалась смесь зависти и восхищения",
|
||
"ev_arm": "Взгляды были полны восхищения, зависти и ревности"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В их взглядах читалась смесь зависти и восхищения",
|
||
"ev_arm": "Взгляды были полны восхищения, зависти и ревности"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "В их взглядах читалась смесь зависти и восхищения",
|
||
"ev_arm": "Взгляды были полны восхищения, зависти и ревности"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В их взглядах читалась смесь зависти и восхищения",
|
||
"ev_arm": "Взгляды были полны восхищения, зависти и ревности"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "В их взглядах читалась смесь зависти и восхищения",
|
||
"ev_arm": "Взгляды были полны восхищения, зависти и ревности"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В их взглядах читалась смесь зависти и восхищения",
|
||
"ev_arm": "Взгляды были полны восхищения, зависти и ревности"
|
||
}
|
||
],
|
||
"contrast": "floor",
|
||
"id": "a2",
|
||
"cat_class": true,
|
||
"a0_seed": 0,
|
||
"arm_seed": 1,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "b1",
|
||
"type": "T-num",
|
||
"n_votes": 16,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.625,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.375,
|
||
"pairwise": {
|
||
"arm_wins": 6,
|
||
"a0_wins": 0,
|
||
"tie": 10
|
||
},
|
||
"catastrophe": {
|
||
"a0": 6,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 1.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 3,
|
||
"a0": 0,
|
||
"tie": 5
|
||
},
|
||
"BA": {
|
||
"arm": 3,
|
||
"a0": 0,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0,
|
||
"n": 6
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "очищен лишь на одну двенадцатую... три десятых",
|
||
"ev_arm": "прошёл очистку лишь на одну двенадцатую... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на одну двенадцатую... три десятых",
|
||
"ev_arm": "на одну двенадцатую... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на одну двенадцатую... на целых три десятых",
|
||
"ev_arm": "на одну двенадцатую... на целых три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на одну двенадцатую... три десятых",
|
||
"ev_arm": "на одну двенадцатую... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую... три десятых",
|
||
"ev_arm": "одну двенадцатую... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на одну двенадцатую... три десятых",
|
||
"ev_arm": "на одну двенадцатую... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую... три десятых",
|
||
"ev_arm": "одну двенадцатую... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на одну двенадцатую... три десятых",
|
||
"ev_arm": "на одну двенадцатую... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "очищен лишь на одну двенадцатую... три десятых",
|
||
"ev_arm": "прошёл очистку лишь на одну двенадцатую... три десятых"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую... три десятых",
|
||
"ev_arm": "одну двенадцатую... три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую, три десятых",
|
||
"ev_arm": "одну двенадцатую, три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую, а моя истинная ци потрачена уже на целых три десятых",
|
||
"ev_arm": "одну двенадцатую, а моя истинная ци израсходовалась на целых три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую, три десятых",
|
||
"ev_arm": "одну двенадцатую, три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую, а моя истинная ци потрачена уже на целых три десятых",
|
||
"ev_arm": "одну двенадцатую, а моя истинная ци израсходовалась на целых три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую, три десятых",
|
||
"ev_arm": "одну двенадцатую, три десятых"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "одну двенадцатую, а моя истинная ци потрачена уже на целых три десятых",
|
||
"ev_arm": "одну двенадцатую, а моя истинная ци израсходовалась на целых три десятых"
|
||
}
|
||
],
|
||
"contrast": "floor",
|
||
"id": "b1",
|
||
"cat_class": false,
|
||
"a0_seed": 0,
|
||
"arm_seed": 1,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "b2",
|
||
"type": "T-num",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "только сорок четыре процента",
|
||
"ev_arm": "всего сорок четыре процента"
|
||
}
|
||
],
|
||
"contrast": "floor",
|
||
"id": "b2",
|
||
"cat_class": false,
|
||
"a0_seed": 0,
|
||
"arm_seed": 1,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "c1",
|
||
"type": "T-inv",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.8,
|
||
"arm_accuracy": 0.875,
|
||
"paired_diff_arm_minus_a0": 0.075,
|
||
"pairwise": {
|
||
"arm_wins": 5,
|
||
"a0_wins": 6,
|
||
"tie": 9
|
||
},
|
||
"catastrophe": {
|
||
"a0": 3,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.15,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 6,
|
||
"tie": 4
|
||
},
|
||
"BA": {
|
||
"arm": 5,
|
||
"a0": 0,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.75,
|
||
"a0_acc": 0.6,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "становится человеком над людьми",
|
||
"ev_arm": "становясь людьми над людьми"
|
||
}
|
||
],
|
||
"contrast": "floor",
|
||
"id": "c1",
|
||
"cat_class": true,
|
||
"a0_seed": 0,
|
||
"arm_seed": 1,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "c2",
|
||
"type": "T-inv",
|
||
"n_votes": 12,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.125,
|
||
"arm_accuracy": 0.917,
|
||
"paired_diff_arm_minus_a0": 0.792,
|
||
"pairwise": {
|
||
"arm_wins": 11,
|
||
"a0_wins": 1,
|
||
"tie": 0
|
||
},
|
||
"catastrophe": {
|
||
"a0": 7,
|
||
"arm": 1
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.583,
|
||
"without_mistral-large-latest": 1.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 6,
|
||
"a0": 0,
|
||
"tie": 0
|
||
},
|
||
"BA": {
|
||
"arm": 5,
|
||
"a0": 1,
|
||
"tie": 0
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0,
|
||
"n": 6
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.833,
|
||
"a0_acc": 0.25,
|
||
"n": 6
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C",
|
||
"ev_arm": "Фан Юань — всего лишь разряд В"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C, а вот Фан Чжэнь имел талант класса A",
|
||
"ev_arm": "Фан Юань — всего лишь разряд В, а Фан Чжэнь — талант разряда А"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C",
|
||
"ev_arm": "Фан Юань — всего лишь разряд В"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C, а вот Фан Чжэнь имел талант класса A",
|
||
"ev_arm": "Фан Юань — всего лишь разряд В, а Фан Чжэнь — талант разряда А"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C",
|
||
"ev_arm": "Фан Юань — всего лишь разряд В"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C, а вот Фан Чжэнь имел талант класса A",
|
||
"ev_arm": "Фан Юань — всего лишь разряд В, а Фан Чжэнь — талант разряда А"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C",
|
||
"ev_arm": "Фан Юань — всего лишь разряд В"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C, а вот Фан Чжэнь имел талант класса A",
|
||
"ev_arm": "Фан Юань — всего лишь разряд В, а Фан Чжэнь — талант разряда А"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C",
|
||
"ev_arm": "Фан Юань — всего лишь разряд В"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C, а вот Фан Чжэнь имел талант класса A",
|
||
"ev_arm": "Фан Юань — всего лишь разряд В, а Фан Чжэнь — талант разряда А"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань был всего лишь класса C, а вот Фан Чжэнь имел талант класса A",
|
||
"ev_arm": "Фан Юань — всего лишь разряд В, а Фан Чжэнь — талант разряда А"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Фан Юань был всего лишь класса C, а вот Фан Чжэнь имел талант класса A",
|
||
"ev_arm": "Фан Юань — всего лишь разряд В, а Фан Чжэнь — талант разряда А"
|
||
}
|
||
],
|
||
"contrast": "floor",
|
||
"id": "c2",
|
||
"cat_class": false,
|
||
"a0_seed": 0,
|
||
"arm_seed": 1,
|
||
"det_a0": "?",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "c3",
|
||
"type": "T-inv",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 0.75,
|
||
"paired_diff_arm_minus_a0": -0.25,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 5,
|
||
"tie": 15
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 5
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": -0.5,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 5,
|
||
"tie": 5
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.5,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не смог"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не смог"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не смог"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не смог"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода",
|
||
"ev_arm": "Четвёртый глава рода"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не смог"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не смог"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не смог"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не смог"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог",
|
||
"ev_arm": "Четвёртый глава рода не смог"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть",
|
||
"ev_arm": "Четвёртый глава рода не смог подло напасть"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть",
|
||
"ev_arm": "Четвёртый глава рода не смог подло напасть"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть",
|
||
"ev_arm": "Четвёртый глава рода не смог подло напасть"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть",
|
||
"ev_arm": "Четвёртый глава рода не смог подло напасть"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть",
|
||
"ev_arm": "Четвёртый глава рода не смог подло напасть"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть",
|
||
"ev_arm": "Четвёртый глава рода не смог подло напасть"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть",
|
||
"ev_arm": "Четвёртый глава рода не смог подло напасть"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть",
|
||
"ev_arm": "Четвёртый глава рода не смог подло напасть"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть",
|
||
"ev_arm": "Четвёртый глава рода не смог подло напасть"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Четвёртый глава рода не смог подло одолеть",
|
||
"ev_arm": "Четвёртый глава рода не смог подло напасть"
|
||
}
|
||
],
|
||
"contrast": "floor",
|
||
"id": "c3",
|
||
"cat_class": false,
|
||
"a0_seed": 0,
|
||
"arm_seed": 1,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "d1",
|
||
"type": "T-inv",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 0.925,
|
||
"paired_diff_arm_minus_a0": -0.075,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 3,
|
||
"tie": 17
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": -0.15,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 3,
|
||
"tie": 7
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.85,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе у него были бы",
|
||
"ev_arm": "к счастью, ... иначе у него были бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью... иначе у него были бы серьёзные неприятности",
|
||
"ev_arm": "к счастью... иначе у него были бы большие неприятности"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе у него были бы",
|
||
"ev_arm": "к счастью, ... иначе у него были бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью... иначе у него были бы серьёзные",
|
||
"ev_arm": "к счастью... иначе у него были бы большие"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе у него были бы серьёзные неприятности",
|
||
"ev_arm": "к счастью, ... иначе у него были бы большие неприятности"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе",
|
||
"ev_arm": "к счастью, она была слаба до такой степени; иначе"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе у него были бы",
|
||
"ev_arm": "к счастью, ... иначе у него были бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе",
|
||
"ev_arm": "к счастью, она была слаба до такой степени; иначе"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, ... иначе у него были бы",
|
||
"ev_arm": "к счастью, ... иначе у него были бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью... иначе у него были бы серьёзные неприятности",
|
||
"ev_arm": "к счастью... иначе у него были бы большие неприятности"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, она была слаба до такой степени; иначе у него были бы большие неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, она была слаба до такой степени; иначе у него были бы большие неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, она была слаба до такой степени; иначе у него были бы большие неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, она была слаба до такой степени; иначе у него были бы большие неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, она была слаба до такой степени; иначе у него были бы большие неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, она была слаба до такой степени; иначе у него были бы большие неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, она была слаба до такой степени; иначе у него были бы большие неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, она была слаба до такой степени; иначе у него были бы большие неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, она была слаба до такой степени; иначе у него были бы большие неприятности!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "к счастью, Весенне-осенняя цикада была так слаба, иначе у него были бы серьёзные неприятности!",
|
||
"ev_arm": "к счастью, она была слаба до такой степени; иначе у него были бы большие неприятности!"
|
||
}
|
||
],
|
||
"contrast": "floor",
|
||
"id": "d1",
|
||
"cat_class": false,
|
||
"a0_seed": 0,
|
||
"arm_seed": 1,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
},
|
||
{
|
||
"trap": "d2",
|
||
"type": "T-inv",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем",
|
||
"ev_arm": "иначе, увидев этого злодея, непременно"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем непременно насмерть",
|
||
"ev_arm": "иначе, увидев этого злодея, непременно сразился бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем",
|
||
"ev_arm": "иначе, увидев этого злодея,"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем",
|
||
"ev_arm": "иначе, увидев этого злодея,"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем",
|
||
"ev_arm": "иначе, увидев этого злодея"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем непременно насмерть",
|
||
"ev_arm": "иначе, увидев этого злодея, непременно сразился бы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем",
|
||
"ev_arm": "иначе, увидев этого злодея, непременно"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем непременно",
|
||
"ev_arm": "иначе, увидев этого злодея, непременно"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем",
|
||
"ev_arm": "иначе, увидев этого злодея, непременно"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем",
|
||
"ev_arm": "иначе, увидев этого злодея,"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем непременно насмерть разоблачил бы",
|
||
"ev_arm": "иначе, увидев этого злодея, непременно сразился бы насмерть и разоблачил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем непременно насмерть разоблачил бы",
|
||
"ev_arm": "иначе, увидев этого злодея, непременно сразился бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем непременно насмерть разоблачил бы",
|
||
"ev_arm": "иначе, увидев этого злодея, непременно сразился бы насмерть и разоблачил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем непременно насмерть разоблачил бы",
|
||
"ev_arm": "иначе, увидев этого злодея, непременно сразился бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем непременно насмерть разоблачил бы",
|
||
"ev_arm": "иначе, увидев этого злодея, непременно сразился бы насмерть и разоблачил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем непременно насмерть разоблачил бы",
|
||
"ev_arm": "иначе, увидев этого злодея, непременно сразился бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем",
|
||
"ev_arm": "иначе, увидев этого злодея"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем непременно насмерть разоблачил бы",
|
||
"ev_arm": "иначе, увидев этого злодея, непременно сразился бы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем непременно насмерть разоблачил бы",
|
||
"ev_arm": "иначе, увидев этого злодея, непременно сразился бы насмерть и разоблачил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "иначе при встрече с этим злодеем непременно насмерть разоблачил бы",
|
||
"ev_arm": "иначе, увидев этого злодея, непременно сразился бы"
|
||
}
|
||
],
|
||
"contrast": "floor",
|
||
"id": "d2",
|
||
"cat_class": false,
|
||
"a0_seed": 0,
|
||
"arm_seed": 1,
|
||
"det_a0": "fix",
|
||
"det_arm": "fix"
|
||
}
|
||
]
|
||
} |