5586 lines
No EOL
183 KiB
JSON
5586 lines
No EOL
183 KiB
JSON
{
|
||
"n": 21,
|
||
"win_chars": null,
|
||
"full_chunk": true,
|
||
"skipped": [],
|
||
"results": [
|
||
{
|
||
"trap": "T-ana-2",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.6,
|
||
"arm_accuracy": 0.6,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 5,
|
||
"a0_wins": 5,
|
||
"tie": 10
|
||
},
|
||
"catastrophe": {
|
||
"a0": 7,
|
||
"arm": 7
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 5,
|
||
"tie": 5
|
||
},
|
||
"BA": {
|
||
"arm": 5,
|
||
"a0": 0,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0.7,
|
||
"a0_acc": 0.7,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.5,
|
||
"a0_acc": 0.5,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Чжэн всё ниже опускал голову"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "с каждым годом Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "в последние годы Фан Чжэн всё ниже опускал голову"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Чжэн всё ниже опускал голову"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "в последние годы Фан Чжэн"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Эти мысли копились годами... Фан Чжэн",
|
||
"ev_arm": "Эти мысли копились годами... Фан Чжэн"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Чжэн всё ниже опускал голову"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Чжэн всё ниже опускал голову"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Чжэн всё ниже опускал голову"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Чжэн всё ниже опускал голову"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "с каждым годом Фан Чжэн",
|
||
"ev_arm": "в последние годы Фан Чжэн"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Фан Юань беззвучно усмехнулся про себя",
|
||
"ev_arm": "Фан Юань невольно усмехнулся"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Юань беззвучно усмехнулся про себя"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Фан Юань беззвучно усмехнулся про себя",
|
||
"ev_arm": "Фан Юань невольно усмехнулся"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Юань беззвучно усмехнулся про себя"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Фан Юань беззвучно усмехнулся про себя",
|
||
"ev_arm": "Фан Юань невольно усмехнулся"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Чжэн всё ниже опускал голову"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Чжэн всё ниже опускал голову"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Чжэн всё ниже опускал голову"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Чжэн всё ниже опускал голову"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Юань беззвучно усмехнулся про себя"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 3,
|
||
"flat_frac": 0.0,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-5",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Его взгляд был прикован",
|
||
"ev_arm": "Его взгляд был прикован"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Его взгляд был прикован",
|
||
"ev_arm": "Его взгляд был прикован"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Его взгляд был прикован",
|
||
"ev_arm": "Его взгляд был прикован"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Его взгляд был прикован",
|
||
"ev_arm": "Его взгляд был прикован"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Его взгляд был прикован к собственным ногам",
|
||
"ev_arm": "Его взгляд был прикован к собственным ногам"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Его взгляд был прикован к собственным ногам",
|
||
"ev_arm": "Его взгляд был прикован к собственным ногам"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Его взгляд был прикован",
|
||
"ev_arm": "Его взгляд был прикован"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Его взгляд был прикован",
|
||
"ev_arm": "Его взгляд был прикован"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Его взгляд был прикован",
|
||
"ev_arm": "Его взгляд был прикован"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Его взгляд был прикован к собственным ногам",
|
||
"ev_arm": "Его взгляд был прикован к собственным ногам"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "ступал прямо по тени старшего брата Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "шаг за шагом наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "шаг за шагом он ступал прямо по тени старшего брата Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "ступал прямо по тени старшего брата Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "шаг за шагом наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "шаг за шагом он ступал прямо по тени старшего брата Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "ступал прямо по тени старшего брата Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "шаг за шагом наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "шаг за шагом он ступал прямо по тени старшего брата Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "ступал прямо по тени старшего брата Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "ступал прямо по тени старшего брата Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "ступал прямо по тени старшего брата Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "шаг за шагом наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "шаг за шагом он ступал прямо по тени старшего брата Фан Юаня"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 13,
|
||
"flat_frac": 0.0,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-9",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что грозил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что грозил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что грозил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что грозил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что грозил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что грозил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что грозил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что грозил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что грозил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова,",
|
||
"ev_arm": "Он только что грозил,"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что грозил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова, а Фан Юань тут же потребовал этот кувшин вина",
|
||
"ev_arm": "Он только что грозил, а Фан Юань тут же потребовал этот кувшин вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что грозил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова, а Фан Юань тут же потребовал этот кувшин вина",
|
||
"ev_arm": "Он только что грозил, а Фан Юань тут же потребовал этот кувшин вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что грозил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова, а Фан Юань тут же потребовал этот кувшин вина",
|
||
"ev_arm": "Он только что грозил, а Фан Юань тут же потребовал этот кувшин вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что грозил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова, а Фан Юань тут же потребовал этот кувшин вина",
|
||
"ev_arm": "Он только что грозил, а Фан Юань тут же потребовал этот кувшин вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что грозил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова, а Фан Юань тут же потребовал этот кувшин вина",
|
||
"ev_arm": "Он только что грозил, а Фан Юань тут же потребовал этот кувшин вина"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 20,
|
||
"flat_frac": 0.0,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-16",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.85,
|
||
"arm_accuracy": 0.85,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 1,
|
||
"arm": 1
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0.7,
|
||
"a0_acc": 0.7,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "Он продолжил:"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "Он продолжил:"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "Он продолжил:"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "Он продолжил:"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "Он продолжил:"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "Он продолжил:"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "Он продолжил:"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "Он продолжил:"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "Он продолжил:"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "Он продолжил:"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил: — Культивация гу-мастера",
|
||
"ev_arm": "Он продолжил: — Культивация гу-мастера"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил: — Культивация гу-мастера",
|
||
"ev_arm": "Он продолжил: — Культивация гу-мастера"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил: — Культивация гу-мастера",
|
||
"ev_arm": "Он продолжил: — Культивация гу-мастера"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил: — Культивация гу-мастера",
|
||
"ev_arm": "Он продолжил: — Культивация гу-мастера"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил: — Культивация гу-мастера",
|
||
"ev_arm": "Он продолжил: — Культивация гу-мастера"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил: — Культивация гу-мастера",
|
||
"ev_arm": "Он продолжил: — Культивация гу-мастера"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил: — Культивация гу-мастера",
|
||
"ev_arm": "Он продолжил: — Культивация гу-мастера"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил: — Культивация гу-мастера идёт быстро",
|
||
"ev_arm": "Он продолжил: — Культивация гу-мастера"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил: — Культивация гу-мастера",
|
||
"ev_arm": "Он продолжил: — Культивация гу-мастера"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил: — Культивация гу-мастера",
|
||
"ev_arm": "Он продолжил: — Культивация гу-мастера"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 30,
|
||
"flat_frac": 0.0,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-17",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.3,
|
||
"arm_accuracy": 0.35,
|
||
"paired_diff_arm_minus_a0": 0.05,
|
||
"pairwise": {
|
||
"arm_wins": 5,
|
||
"a0_wins": 4,
|
||
"tie": 11
|
||
},
|
||
"catastrophe": {
|
||
"a0": 12,
|
||
"arm": 11
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.1,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 5,
|
||
"a0": 0,
|
||
"tie": 5
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 4,
|
||
"tie": 6
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0.1,
|
||
"a0_acc": 0.1,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.6,
|
||
"a0_acc": 0.5,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "Голова и брюшко его были",
|
||
"ev_arm": "Голова и брюшко его были"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были",
|
||
"ev_arm": "Голова и брюшко его были"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "Голова и брюшко его были",
|
||
"ev_arm": "Голова и брюшко его были"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были",
|
||
"ev_arm": "Голова и брюшко его были"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были",
|
||
"ev_arm": "Голова и брюшко его были"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "Голова и брюшко его были",
|
||
"ev_arm": "Голова и брюшко его были"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "Голова и брюшко его были",
|
||
"ev_arm": "Голова и брюшко его были"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "Голова и брюшко его были",
|
||
"ev_arm": "Голова и брюшко его были"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "Голова и брюшко его были",
|
||
"ev_arm": "Голова и брюшко его были"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "Голова и брюшко его были",
|
||
"ev_arm": "Голова и брюшко его были"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми",
|
||
"ev_arm": "Голова и брюшко его были коричнево-жёлтыми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми",
|
||
"ev_arm": "Голова и брюшко его были коричнево-жёлтыми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми",
|
||
"ev_arm": "Голова и брюшко его были коричнево-жёлтыми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми",
|
||
"ev_arm": "Голова и брюшко его были коричнево-жёлтыми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми",
|
||
"ev_arm": "Голова и брюшко его были коричнево-жёлтыми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми",
|
||
"ev_arm": "Голова и брюшко его были коричнево-жёлтыми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми",
|
||
"ev_arm": "Голова и брюшко его были коричнево-жёлтыми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми",
|
||
"ev_arm": "Голова и брюшко его были коричнево-жёлтыми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми",
|
||
"ev_arm": "Голова и брюшко его были коричнево-жёлтыми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми",
|
||
"ev_arm": "Голова и брюшко его были коричнево-жёлтыми"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 31,
|
||
"flat_frac": 0.0,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-22",
|
||
"type": "T-ana",
|
||
"n_votes": 16,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.938,
|
||
"arm_accuracy": 0.469,
|
||
"paired_diff_arm_minus_a0": -0.469,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 9,
|
||
"tie": 7
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 6
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": -1.0,
|
||
"without_mistral-large-latest": -0.15
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 3,
|
||
"tie": 5
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 6,
|
||
"tie": 2
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0.75,
|
||
"a0_acc": 0.9,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0,
|
||
"a0_acc": 1.0,
|
||
"n": 6
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "у него за плечами",
|
||
"ev_arm": "Ему не нужно было"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "у него за плечами пятьсот лет",
|
||
"ev_arm": "Ему не нужно было тренироваться"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "у него за плечами… Фан Юань вздохнул",
|
||
"ev_arm": "Ему не нужно было… подумал Фан Юань"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "у него за плечами ... — Фан Юань с облегчением вздохнул",
|
||
"ev_arm": "Ему не нужно было тренироваться"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "у него за плечами пятьсот лет",
|
||
"ev_arm": "Ему не нужно было тренироваться"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "у него за плечами пятьсот лет",
|
||
"ev_arm": "И всё это — имея за плечами"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "partial",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "у него за плечами",
|
||
"ev_arm": "Ему не нужно было"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "у него за плечами",
|
||
"ev_arm": "Ему не нужно было"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "partial",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "у него за плечами пятьсот лет",
|
||
"ev_arm": "Ему не нужно было тренироваться"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "у него... — ему не нужно",
|
||
"ev_arm": "Ему не нужно было"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Фан Юань с облегчением вздохнул",
|
||
"ev_arm": "с облегчением подумал Фан Юань"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "И всё это благодаря тому, что у него за плечами пятьсот лет прошлой жизни",
|
||
"ev_arm": "И всё это — имея за плечами пятьсот лет прошлой жизни"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Фан Юань с облегчением вздохнул",
|
||
"ev_arm": "с облегчением подумал Фан Юань"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Фан Юань с облегчением вздохнул",
|
||
"ev_arm": "И всё это — имея за плечами пятьсот лет прошлой жизни"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Фан Юань с облегчением вздохнул",
|
||
"ev_arm": "с облегчением подумал Фан Юань"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "И всё это благодаря тому, что у него за плечами пятьсот лет прошлой жизни",
|
||
"ev_arm": "И всё это — имея за плечами пятьсот лет прошлой жизни"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 39,
|
||
"flat_frac": 0.0,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-23",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.75,
|
||
"arm_accuracy": 0.75,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 5,
|
||
"a0_wins": 5,
|
||
"tie": 10
|
||
},
|
||
"catastrophe": {
|
||
"a0": 5,
|
||
"arm": 5
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 5,
|
||
"a0": 0,
|
||
"tie": 5
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 5,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.5,
|
||
"a0_acc": 0.5,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "Два удара пришлись в грудь куклы, третий"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "Два удара пришлись в грудь куклы, третий"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "Два удара пришлись в грудь куклы, третий"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "Два удара пришлись в грудь куклы, третий"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "Два удара пришлись в грудь куклы, третий"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "Два удара пришлись в грудь куклы, третий"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "Два удара пришлись в грудь куклы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "Два удара пришлись в грудь куклы, третий"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "Два удара пришлись в грудь куклы, третий"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "Два удара пришлись в грудь куклы, третий"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "Два удара пришлись в грудь куклы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "Два удара пришлись в грудь куклы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "Два удара пришлись в грудь куклы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "Два удара пришлись в грудь куклы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "Два удара пришлись в грудь куклы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "Два удара пришлись в грудь куклы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "Два удара пришлись в грудь куклы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "Два удара пришлись в грудь куклы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "Два удара пришлись в грудь куклы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "Два удара пришлись в грудь куклы"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 41,
|
||
"flat_frac": 0.0,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-31",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "он наконец остановился, не в силах",
|
||
"ev_arm": "Он ... наконец остановился, не в силах"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Лишь на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "Он дошёл до тридцать шестого шага"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Лишь на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "Он дошёл до тридцать шестого шага и наконец остановился"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Лишь на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "Он дошёл до тридцать шестого шага"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Лишь на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "Он дошёл до тридцать шестого шага и наконец остановился"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Лишь на тридцать шестом шаге он наконец",
|
||
"ev_arm": "Он дошёл до тридцать шестого шага"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "он наконец остановился",
|
||
"ev_arm": "Он ... наконец остановился"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Лишь на тридцать шестом шаге он наконец",
|
||
"ev_arm": "Он дошёл до тридцать шестого шага"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "он наконец остановился",
|
||
"ev_arm": "Он ... наконец остановился"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Лишь на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "Он дошёл до тридцать шестого шага"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "он наконец остановился, не в силах сделать больше ни одного",
|
||
"ev_arm": "он остановился, не в силах идти дальше"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Лишь на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "Он дошёл до тридцать шестого шага и наконец остановился"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "он наконец остановился, не в силах сделать больше ни одного",
|
||
"ev_arm": "он остановился, не в силах идти дальше"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Лишь на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "Он дошёл до тридцать шестого шага и наконец остановился"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "он наконец остановился, не в силах сделать больше ни одного",
|
||
"ev_arm": "он остановился, не в силах идти дальше"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Лишь на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "Он дошёл до тридцать шестого шага и наконец остановился"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "он наконец остановился, не в силах сделать больше ни одного",
|
||
"ev_arm": "он остановился, не в силах идти дальше"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Лишь на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "Он дошёл до тридцать шестого шага и наконец остановился"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "он наконец остановился, не в силах сделать больше ни одного",
|
||
"ev_arm": "он остановился, не в силах идти дальше"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Лишь на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "Он дошёл до тридцать шестого шага и наконец остановился"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 6,
|
||
"flat_frac": 0.021,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-32",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.375,
|
||
"arm_accuracy": 0.5,
|
||
"paired_diff_arm_minus_a0": 0.125,
|
||
"pairwise": {
|
||
"arm_wins": 10,
|
||
"a0_wins": 5,
|
||
"tie": 5
|
||
},
|
||
"catastrophe": {
|
||
"a0": 1,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.25
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 9,
|
||
"a0": 0,
|
||
"tie": 1
|
||
},
|
||
"BA": {
|
||
"arm": 1,
|
||
"a0": 5,
|
||
"tie": 4
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0.25,
|
||
"a0_acc": 0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.75,
|
||
"a0_acc": 0.75,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "partial",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно сознание опустело, тело сделалось",
|
||
"ev_arm": "Внезапно сознание опустело, ... словно он провалился"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "сознание опустело, тело сделалось",
|
||
"ev_arm": "сознание опустело, тело стало"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "partial",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "словно падал в облака",
|
||
"ev_arm": "словно он провалился"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "partial",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "словно падал в облака",
|
||
"ev_arm": "словно он провалился в облачную высь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "partial",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "сознание опустело, тело сделалось мягким",
|
||
"ev_arm": "словно он провалился в облачную высь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "сознание опустело, тело сделалось мягким",
|
||
"ev_arm": "сознание опустело, тело стало мягким"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "partial",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "сознание опустело, тело сделалось мягким",
|
||
"ev_arm": "сознание опустело ... словно он провалился"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно сознание опустело, тело сделалось",
|
||
"ev_arm": "Внезапно сознание опустело, тело стало"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно сознание опустело, тело",
|
||
"ev_arm": "Внезапно сознание опустело, тело"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно сознание опустело, тело сделалось мягким",
|
||
"ev_arm": "Внезапно сознание опустело, тело стало мягким"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно сознание опустело, тело сделалось мягким",
|
||
"ev_arm": "Внезапно его сознание опустело, его тело стало мягким и ватным"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно его сознание опустело, его тело сделалось мягким",
|
||
"ev_arm": "Внезапно сознание опустело, тело стало мягким"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно сознание опустело, тело сделалось мягким",
|
||
"ev_arm": "Внезапно сознание опустело, тело стало мягким и ватным, словно он провалился"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно его сознание опустело, его тело сделалось мягким",
|
||
"ev_arm": "Внезапно сознание опустело, тело стало мягким"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно сознание опустело, тело сделалось мягким",
|
||
"ev_arm": "Внезапно сознание опустело, тело стало мягким и ватным, словно он провалился"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно его сознание опустело, его тело сделалось мягким",
|
||
"ev_arm": "Внезапно сознание опустело, тело стало мягким"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно сознание опустело, тело сделалось мягким",
|
||
"ev_arm": "Внезапно его сознание опустело, его тело стало мягким и ватным"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно его сознание опустело, его тело сделалось мягким",
|
||
"ev_arm": "Внезапно сознание опустело, тело стало мягким"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно сознание опустело, тело сделалось мягким",
|
||
"ev_arm": "Внезапно его сознание опустело, его тело стало мягким и ватным"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно его сознание опустело, его тело сделалось мягким",
|
||
"ev_arm": "Внезапно сознание опустело, тело стало мягким"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 8,
|
||
"flat_frac": 0.0,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-33",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.3,
|
||
"arm_accuracy": 0.55,
|
||
"paired_diff_arm_minus_a0": 0.25,
|
||
"pairwise": {
|
||
"arm_wins": 5,
|
||
"a0_wins": 0,
|
||
"tie": 15
|
||
},
|
||
"catastrophe": {
|
||
"a0": 5,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.5,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 5,
|
||
"a0": 0,
|
||
"tie": 5
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0.1,
|
||
"a0_acc": 0.1,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.5,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "partial",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "Уже неделю спит, до сих пор не отошёл?"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "Уже неделю спит, до сих пор не отошёл?"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "partial",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "Уже неделю спит, до сих пор не отошёл?"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "— Уже неделю спит, до сих пор не отошёл?"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "— Уже неделю спит, до сих пор не отошёл?"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "Уже неделю спит, до сих пор не отошёл?"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "Уже неделю спит, до сих пор не отошёл?"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "— Уже неделю спит, до сих пор не отошёл?"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "— Уже неделю спит, до сих пор не отошёл?"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Уже неделю спит",
|
||
"ev_arm": "Уже неделю спит"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "— Уже неделю спит, до сих пор не отошёл?"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "Уже неделю спит, до сих пор не отошёл?"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "— Уже неделю спит, до сих пор не отошёл?"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "Уже неделю спит, до сих пор не отошёл?"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "Уже неделю спит, до сих пор не отошёл?"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "Уже неделю спит, до сих пор не отошёл?"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "Уже неделю спит, до сих пор не отошёл?"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "Уже неделю спит, до сих пор не отошёл?"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "Уже неделю спит, до сих пор не отошёл?"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Уже неделю спит, всё ещё не отошёл?",
|
||
"ev_arm": "Уже неделю спит, до сих пор не отошёл?"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 10,
|
||
"flat_frac": 0.0,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-34",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Ранее он маскировался под разочарованного пьяницу"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 15,
|
||
"flat_frac": 0.02,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-35",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.75,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.25,
|
||
"pairwise": {
|
||
"arm_wins": 5,
|
||
"a0_wins": 0,
|
||
"tie": 15
|
||
},
|
||
"catastrophe": {
|
||
"a0": 5,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.5,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 5,
|
||
"a0": 0,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.5,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу",
|
||
"ev_arm": "В конце концов ему пришлось хлопнуть ладонью по столу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть",
|
||
"ev_arm": "В конце концов ему пришлось хлопнуть"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "ему пришлось хлопнуть по столу",
|
||
"ev_arm": "ему пришлось хлопнуть ладонью по столу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "ему пришлось хлопнуть по столу",
|
||
"ev_arm": "ему пришлось хлопнуть ладонью по столу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу",
|
||
"ev_arm": "В конце концов ему пришлось хлопнуть ладонью по столу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть",
|
||
"ev_arm": "В конце концов ему пришлось хлопнуть"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу",
|
||
"ev_arm": "В конце концов ему пришлось хлопнуть ладонью по столу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "ему пришлось хлопнуть по столу",
|
||
"ev_arm": "ему пришлось хлопнуть ладонью по столу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "ему пришлось хлопнуть по столу",
|
||
"ev_arm": "ему пришлось хлопнуть ладонью по столу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "ему пришлось хлопнуть по столу",
|
||
"ev_arm": "ему пришлось хлопнуть ладонью по столу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу",
|
||
"ev_arm": "В конце концов ему пришлось хлопнуть ладонью по столу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу и выдавить улыбку",
|
||
"ev_arm": "В конце концов ему пришлось хлопнуть ладонью по столу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу",
|
||
"ev_arm": "В конце концов ему пришлось хлопнуть ладонью по столу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу и выдавить улыбку",
|
||
"ev_arm": "В конце концов ему пришлось хлопнуть ладонью по столу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу",
|
||
"ev_arm": "В конце концов ему пришлось хлопнуть ладонью по столу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу и выдавить улыбку",
|
||
"ev_arm": "В конце концов ему пришлось хлопнуть ладонью по столу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу",
|
||
"ev_arm": "В конце концов ему пришлось хлопнуть ладонью по столу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу и выдавить улыбку",
|
||
"ev_arm": "В конце концов ему пришлось хлопнуть ладонью по столу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу",
|
||
"ev_arm": "В конце концов ему пришлось хлопнуть ладонью по столу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу",
|
||
"ev_arm": "В конце концов ему пришлось хлопнуть ладонью по столу"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 19,
|
||
"flat_frac": 0.0,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-36",
|
||
"type": "T-ana",
|
||
"n_votes": 16,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.125,
|
||
"arm_accuracy": 0.469,
|
||
"paired_diff_arm_minus_a0": 0.344,
|
||
"pairwise": {
|
||
"arm_wins": 9,
|
||
"a0_wins": 0,
|
||
"tie": 7
|
||
},
|
||
"catastrophe": {
|
||
"a0": 4,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.75,
|
||
"without_mistral-large-latest": 0.1
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 4,
|
||
"a0": 0,
|
||
"tie": 4
|
||
},
|
||
"BA": {
|
||
"arm": 5,
|
||
"a0": 0,
|
||
"tie": 3
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0.15,
|
||
"a0_acc": 0.05,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.25,
|
||
"n": 6
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным",
|
||
"ev_arm": "Фан Юань смотрел спокойно"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Неподалёку запела птица... Взгляд Фан Юаня оставался",
|
||
"ev_arm": "Неподалёку пела птица... Фан Юань смотрел"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Неподалёку запела птица",
|
||
"ev_arm": "Неподалёку пела птица"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным, без удивления",
|
||
"ev_arm": "Фан Юань смотрел спокойно, без тени удивления"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным",
|
||
"ev_arm": "Фан Юань смотрел спокойно, ... он развернулся"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "partial",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным",
|
||
"ev_arm": "Фан Юань смотрел спокойно"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным",
|
||
"ev_arm": "Фан Юань смотрел спокойно"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным... он двинулся",
|
||
"ev_arm": "Фан Юань смотрел спокойно... он развернулся"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным",
|
||
"ev_arm": "Фан Юань смотрел спокойно… он развернулся"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Неподалёку запела птица... Взгляд Фан Юаня оставался",
|
||
"ev_arm": "Неподалёку пела птица... Фан Юань смотрел"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Неподалёку запела птица, похожая на соловья",
|
||
"ev_arm": "Неподалёку пела птица, похожая на соловья. Фан Юань смотрел спокойно"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным, без удивления; он двинулся дальше",
|
||
"ev_arm": "Фан Юань смотрел спокойно, без тени удивления; переступив, он развернулся"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Неподалёку запела птица, похожая на соловья",
|
||
"ev_arm": "Неподалёку пела птица, похожая на соловья — её голос звенел, как серебряный колокольчик. Фан Юань смотрел спокойно"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным, без удивления; он двинулся дальше",
|
||
"ev_arm": "Фан Юань смотрел спокойно, без тени удивления; переступив, он развернулся"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Неподалёку запела птица, похожая на соловья",
|
||
"ev_arm": "Неподалёку пела птица, похожая на соловья. Фан Юань смотрел спокойно"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным, без удивления; он двинулся дальше",
|
||
"ev_arm": "Фан Юань смотрел спокойно, без тени удивления; переступив, он развернулся"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 21,
|
||
"flat_frac": 0.0,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-37",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.975,
|
||
"arm_accuracy": 0.975,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 1,
|
||
"a0_wins": 1,
|
||
"tie": 18
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": -0.05,
|
||
"without_mistral-large-latest": 0.05
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 1,
|
||
"a0": 1,
|
||
"tie": 8
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.95,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.95,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Сильный аромат вина манил его, притягивал",
|
||
"ev_arm": "Сильный аромат вина манил его, притягивал"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал",
|
||
"ev_arm": "манил его, притягивал"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Сильный аромат вина манил его, притягивал",
|
||
"ev_arm": "Сильный аромат вина манил его, притягивал"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал, заставлял",
|
||
"ev_arm": "манил его, притягивал, заставляя"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал, заставлял грезить",
|
||
"ev_arm": "манил его, притягивал, заставляя ... томиться"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал",
|
||
"ev_arm": "манил его, притягивал"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал",
|
||
"ev_arm": "манил его, притягивал"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Сильный аромат вина манил его",
|
||
"ev_arm": "Сильный аромат вина манил его"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал, заставлял грезить",
|
||
"ev_arm": "манил его, притягивал, заставляя душу томиться"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал, заставлял грезить",
|
||
"ev_arm": "манил его, притягивал, заставляя душу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал, заставлял грезить",
|
||
"ev_arm": "манил его, притягивал, заставляя душу томиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал, заставлял грезить наяву",
|
||
"ev_arm": "манил его, притягивал, заставляя душу томиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал, заставлял грезить",
|
||
"ev_arm": "манил его, притягивал, заставляя душу томиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал, заставлял грезить наяву",
|
||
"ev_arm": "манил его, притягивал, заставляя душу томиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал, заставлял грезить",
|
||
"ev_arm": "манил его, притягивал, заставляя душу томиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал, заставлял грезить наяву",
|
||
"ev_arm": "манил его, притягивал, заставляя душу томиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал, заставлял грезить",
|
||
"ev_arm": "манил его, притягивал, заставляя душу томиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал, заставлял грезить наяву",
|
||
"ev_arm": "манил его, притягивал, заставляя душу томиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Сильный аромат вина манил его, притягивал, заставлял грезить",
|
||
"ev_arm": "Сильный аромат вина манил его, притягивал, заставляя душу томиться"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал, заставлял грезить наяву",
|
||
"ev_arm": "манил его, притягивал, заставляя душу томиться"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 22,
|
||
"flat_frac": 0.0,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-38",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 1,
|
||
"a0_wins": 0,
|
||
"tie": 19
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 1,
|
||
"a0": 0,
|
||
"tie": 9
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь,",
|
||
"ev_arm": "Едва он ворвался внутрь,"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь",
|
||
"ev_arm": "Едва он ворвался внутрь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь",
|
||
"ev_arm": "Едва он ворвался внутрь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь",
|
||
"ev_arm": "Едва он ворвался внутрь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь",
|
||
"ev_arm": "Едва он ворвался внутрь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь",
|
||
"ev_arm": "Едва он ворвался внутрь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь",
|
||
"ev_arm": "Едва он ворвался внутрь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь",
|
||
"ev_arm": "Едва он ворвался внутрь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный",
|
||
"ev_arm": "Едва он ворвался внутрь, стремительный"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь",
|
||
"ev_arm": "Едва он ворвался внутрь"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Едва он ворвался внутрь, стремительный поток воды"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Едва он ворвался внутрь, стремительный поток воды"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Едва он ворвался внутрь, стремительный поток воды"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Едва он ворвался внутрь, стремительный поток воды"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Едва он ворвался внутрь, стремительный поток воды"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Едва он ворвался внутрь, стремительный поток воды"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Едва он ворвался внутрь, стремительный поток воды"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Едва он ворвался внутрь, стремительный поток воды"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Едва он ворвался внутрь, стремительный поток воды"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Едва он ворвался внутрь, стремительный поток воды"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 23,
|
||
"flat_frac": 0.026,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-39",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.575,
|
||
"arm_accuracy": 0.575,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 5,
|
||
"a0_wins": 5,
|
||
"tie": 10
|
||
},
|
||
"catastrophe": {
|
||
"a0": 4,
|
||
"arm": 4
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 5,
|
||
"a0": 0,
|
||
"tie": 5
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 5,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0.6,
|
||
"a0_acc": 0.6,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.55,
|
||
"a0_acc": 0.55,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "partial",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но в то же время сердце его успокоилось",
|
||
"ev_arm": "Но в то же время сердце его успокоилось"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но в то же время сердце его успокоилось",
|
||
"ev_arm": "Но в то же время сердце его успокоилось"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но в то же время сердце его успокоилось",
|
||
"ev_arm": "Но в то же время сердце его успокоилось"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "сердце его успокоилось",
|
||
"ev_arm": "сердце его успокоилось"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "partial",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "сердце его успокоилось",
|
||
"ev_arm": "сердце его успокоилось"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но в то же время сердце его успокоилось",
|
||
"ev_arm": "Но в то же время сердце его успокоилось"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но вскоре сердце его согрелося",
|
||
"ev_arm": "Но вскоре сердце его вновь наполнилось"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "сердце его успокоилось",
|
||
"ev_arm": "сердце его успокоилось"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "partial",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но в то же время сердце его успокоилось",
|
||
"ev_arm": "Но в то же время сердце его успокоилось"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "partial",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но в то же время сердце его успокоилось",
|
||
"ev_arm": "Но в то же время сердце его успокоилось"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не так давно, в одну из ночей, Шэнь Цуй собственноручно прислуживала ему в бане",
|
||
"ev_arm": "Переступив порог гостиницы, он инстинктивно прижал руку к груди"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Но вскоре сердце его согрелося — он вспомнил Шэнь Цуй",
|
||
"ev_arm": "Поэтому, когда вчера вечером он узнал"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не так давно, в одну из ночей, Шэнь Цуй собственноручно прислуживала ему в бане",
|
||
"ev_arm": "он вспомнил Шэнь Цуй и ту ночь, что не давала ему покоя"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но вскоре сердце его согрелося — он вспомнил Шэнь Цуй",
|
||
"ev_arm": "Поэтому, когда вчера вечером он узнал"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не так давно, в одну из ночей, Шэнь Цуй собственноручно прислуживала ему в бане",
|
||
"ev_arm": "Переступив порог гостиницы, он инстинктивно прижал руку к груди"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Но вскоре сердце его согрелося — он вспомнил Шэнь Цуй",
|
||
"ev_arm": "Поэтому, когда вчера вечером он узнал"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но вскоре сердце его согрелося — он вспомнил Шэнь Цуй",
|
||
"ev_arm": "Но вскоре сердце его вновь наполнилось жаром. Он вспомнил Шэнь Цуй"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Но вскоре сердце его согрелося — он вспомнил Шэнь Цуй",
|
||
"ev_arm": "Поэтому, когда вчера вечером он узнал"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Не так давно, в одну из ночей, Шэнь Цуй собственноручно прислуживала ему в бане",
|
||
"ev_arm": "Переступив порог гостиницы, он инстинктивно прижал руку к груди"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Но вскоре сердце его согрелося — он вспомнил Шэнь Цуй",
|
||
"ev_arm": "Поэтому, когда вчера вечером он узнал"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 29,
|
||
"flat_frac": 0.0,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ell-40",
|
||
"type": "T-ell",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.2,
|
||
"arm_accuracy": 0.3,
|
||
"paired_diff_arm_minus_a0": 0.1,
|
||
"pairwise": {
|
||
"arm_wins": 6,
|
||
"a0_wins": 4,
|
||
"tie": 10
|
||
},
|
||
"catastrophe": {
|
||
"a0": 6,
|
||
"arm": 4
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.2,
|
||
"without_mistral-large-latest": 0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 5,
|
||
"a0": 0,
|
||
"tie": 5
|
||
},
|
||
"BA": {
|
||
"arm": 1,
|
||
"a0": 4,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0,
|
||
"a0_acc": 0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.6,
|
||
"a0_acc": 0.4,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках",
|
||
"ev_arm": "— Ха-ха, с Весенне-осенней цикадой в руках"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках",
|
||
"ev_arm": "— Ха-ха, с Весенне-осенней цикадой"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках",
|
||
"ev_arm": "— Ха-ха, с Весенне-осенней цикадой в руках"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада",
|
||
"ev_arm": "— Ха-ха, с Весенне-осенней цикадой"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках",
|
||
"ev_arm": "— Ха-ха, с Весенне-осенней цикадой в руках"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках",
|
||
"ev_arm": "— Ха-ха, с Весенне-осенней цикадой"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках",
|
||
"ev_arm": "— Ха-ха, с Весенне-осенней цикадой в руках"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада",
|
||
"ev_arm": "— Ха-ха, с Весенне-осенней цикадой"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань пребывал в прекрасном настроении;",
|
||
"ev_arm": "Настроение у Фан Юаня было превосходное"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада",
|
||
"ev_arm": "— Ха-ха, с Весенне-осенней цикадой"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Отныне стоит лишь подавить её аурой",
|
||
"ev_arm": "Настроение у Фан Юаня было превосходное"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Фан Юань пребывал в прекрасном настроении",
|
||
"ev_arm": "Отныне стоит лишь подавить её аурой"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Отныне стоит лишь подавить её аурой",
|
||
"ev_arm": "Настроение у Фан Юаня было превосходное"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках — словно сама судьба помогает! Отныне... Фан Юань пребывал в прекрасном настроении",
|
||
"ev_arm": "— Ха-ха, с Весенне-осенней цикадой в руках — словно сам бог помогает! Отныне... Настроение у Фан Юаня было превосходное"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Отныне стоит лишь подавить её аурой — и любой гу-червь",
|
||
"ev_arm": "— Ха-ха, с Весенне-осенней цикадой в руках — словно сам бог помогает!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках — словно сама судьба помогает!",
|
||
"ev_arm": "Отныне стоит лишь подавить её аурой"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Отныне стоит лишь подавить её аурой",
|
||
"ev_arm": "Настроение у Фан Юаня было превосходное"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках — словно сама судьба помогает!",
|
||
"ev_arm": "Отныне стоит лишь подавить её аурой"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Отныне стоит лишь подавить её аурой",
|
||
"ev_arm": "Настроение у Фан Юаня было превосходное"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Фан Юань пребывал в прекрасном настроении",
|
||
"ev_arm": "Отныне стоит лишь подавить её аурой"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 33,
|
||
"flat_frac": 0.0,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-41",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись",
|
||
"ev_arm": "увидев его, удивились"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись",
|
||
"ev_arm": "увидев его, удивились"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись",
|
||
"ev_arm": "увидев его, удивились"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись",
|
||
"ev_arm": "увидев его, удивились"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись",
|
||
"ev_arm": "увидев его, удивились"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись",
|
||
"ev_arm": "увидев его, удивились"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись",
|
||
"ev_arm": "увидев его, удивились"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись",
|
||
"ev_arm": "увидев его, удивились"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись",
|
||
"ev_arm": "увидев его, удивились"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись",
|
||
"ev_arm": "увидев его, удивились"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись, спросили",
|
||
"ev_arm": "увидев его, удивились и спросили"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись, спросили",
|
||
"ev_arm": "увидев его, удивились и спросили"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись, спросили",
|
||
"ev_arm": "увидев его, удивились и спросили"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись, спросили",
|
||
"ev_arm": "увидев его, удивились и спросили"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись, спросили",
|
||
"ev_arm": "увидев его, удивились и спросили"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись, спросили",
|
||
"ev_arm": "увидев его, удивились и спросили"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись, спросили",
|
||
"ev_arm": "увидев его, удивились и спросили"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись, спросили",
|
||
"ev_arm": "увидев его, удивились и спросили"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись, спросили",
|
||
"ev_arm": "увидев его, удивились и спросили"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись, спросили",
|
||
"ev_arm": "увидев его, удивились и спросили"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 34,
|
||
"flat_frac": 0.006,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-42",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.25,
|
||
"arm_accuracy": 0.25,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 5,
|
||
"a0_wins": 5,
|
||
"tie": 10
|
||
},
|
||
"catastrophe": {
|
||
"a0": 8,
|
||
"arm": 8
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 5,
|
||
"a0": 0,
|
||
"tie": 5
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 5,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0,
|
||
"a0_acc": 0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.5,
|
||
"a0_acc": 0.5,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "все ударили в грудь манекена",
|
||
"ev_arm": "все они попали в грудь куклы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "и выпустил ещё два лунных клинка",
|
||
"ev_arm": "и выпустил ещё два лунных клинка"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "все ударили в грудь манекена",
|
||
"ev_arm": "все они попали в грудь куклы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "выпустил ещё два лунных клинка",
|
||
"ev_arm": "выпустил ещё два лунных клинка"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "все ударили в грудь манекена",
|
||
"ev_arm": "все они попали в грудь куклы"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "выпустил ещё два лунных клинка",
|
||
"ev_arm": "выпустил ещё два лунных клинка"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "выпустил три лунных клинка — все ударили",
|
||
"ev_arm": "выпустил три лунных клинка, и все они попали"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "все ударили в грудь манекена",
|
||
"ev_arm": "и все они попали в грудь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "выпустил ещё два лунных клинка",
|
||
"ev_arm": "выпустил ещё два лунных клинка"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "выпустил ещё два лунных клинка",
|
||
"ev_arm": "выпустил ещё два лунных клинка"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "оба клинка точно попали в грудь соломенной куклы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "выпустил ещё два лунных клинка. На этот раз он не промахнулся: оба клинка точно попали",
|
||
"ev_arm": "ещё два лунных клинка. На этот раз ошибок не было: оба клинка попали"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "оба клинка точно попали в грудь соломенной куклы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "ещё два лунных клинка",
|
||
"ev_arm": "два лунных клинка"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий — в левую руку",
|
||
"ev_arm": "оба клинка попали в грудь соломенной куклы, точно в цель"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "выпустил ещё два лунных клинка. На этот раз он не промахнулся: оба клинка точно попали",
|
||
"ev_arm": "ещё два лунных клинка. На этот раз ошибок не было: оба клинка попали"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий — в левую руку",
|
||
"ev_arm": "оба клинка попали в грудь соломенной куклы, точно в цель"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "выпустил ещё два лунных клинка",
|
||
"ev_arm": "ещё два лунных клинка"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий — в левую руку",
|
||
"ev_arm": "оба клинка попали в грудь соломенной куклы, точно в цель"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "выпустил ещё два лунных клинка",
|
||
"ev_arm": "ещё два лунных клинка"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 41,
|
||
"flat_frac": 0.0,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ell-43",
|
||
"type": "T-ell",
|
||
"n_votes": 12,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 0.0,
|
||
"paired_diff_arm_minus_a0": -1.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 12,
|
||
"tie": 0
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 11
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": -1.0,
|
||
"without_mistral-large-latest": -1.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 6,
|
||
"tie": 0
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 6,
|
||
"tie": 0
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0,
|
||
"a0_acc": 1.0,
|
||
"n": 6
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0,
|
||
"a0_acc": 1.0,
|
||
"n": 6
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В щелях его глаз мелькнул",
|
||
"ev_arm": "В щели глаз сверкнул"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щели глаз сверкнул холодный свет"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В щелях его глаз",
|
||
"ev_arm": "В щели глаз"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щели глаз сверкнул холодный свет"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щели глаз сверкнул холодный свет"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щели глаз сверкнул холодный свет"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щели глаз сверкнул холодный свет"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щели глаз сверкнул холодный свет"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щели глаз сверкнул холодный свет"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щели глаз сверкнул холодный свет"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щели глаз сверкнул холодный свет"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щели глаз сверкнул холодный свет"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 47,
|
||
"flat_frac": 0.0,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-44",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 0.95,
|
||
"paired_diff_arm_minus_a0": -0.05,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 1,
|
||
"tie": 19
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 1
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": -0.1,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 1,
|
||
"tie": 9
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.9,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей",
|
||
"ev_arm": "— У меня нет ни покровителей"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей",
|
||
"ev_arm": "— У меня нет ни покровителей"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "У меня нет ни покровителей",
|
||
"ev_arm": "У меня нет ни покровителей"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей",
|
||
"ev_arm": "— У меня нет ни покровителей"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей",
|
||
"ev_arm": "— У меня нет ни покровителей"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей",
|
||
"ev_arm": "— У меня нет ни покровителей"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей",
|
||
"ev_arm": "— У меня нет ни покровителей"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей",
|
||
"ev_arm": "— У меня нет ни покровителей"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "У меня нет ни покровителей",
|
||
"ev_arm": "У меня нет ни покровителей"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей",
|
||
"ev_arm": "— У меня нет ни покровителей"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей, ни помощи",
|
||
"ev_arm": "— У меня нет ни покровителей, ни поддержки"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей, ни помощи родных или друзей",
|
||
"ev_arm": "— У меня нет ни покровителей, ни поддержки родных и друзей"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей, ни помощи",
|
||
"ev_arm": "— У меня нет ни покровителей, ни поддержки"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей, ни помощи родных или друзей",
|
||
"ev_arm": "— У меня нет ни покровителей, ни поддержки родных и друзей"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей, ни помощи",
|
||
"ev_arm": "— У меня нет ни покровителей, ни поддержки"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей, ни помощи родных или друзей",
|
||
"ev_arm": "— У меня нет ни покровителей, ни поддержки родных и друзей"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей, ни помощи",
|
||
"ev_arm": "— У меня нет ни покровителей, ни поддержки"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей, ни помощи родных или друзей",
|
||
"ev_arm": "— У меня нет ни покровителей, ни поддержки родных и друзей"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей, ни помощи",
|
||
"ev_arm": "— У меня нет ни покровителей, ни поддержки"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "— У меня нет ни покровителей, ни помощи родных или друзей",
|
||
"ev_arm": "Разве мог единственный случай грабежа и вымогательства насытить аппетит Фан Юаня?"
|
||
}
|
||
],
|
||
"block": "FLOOR",
|
||
"arm": "a0prime",
|
||
"flat_chunk": 48,
|
||
"flat_frac": 0.001,
|
||
"full": true
|
||
}
|
||
]
|
||
} |