7809 lines
No EOL
258 KiB
JSON
7809 lines
No EOL
258 KiB
JSON
{
|
||
"n": 30,
|
||
"win_chars": null,
|
||
"full_chunk": true,
|
||
"skipped": [
|
||
[
|
||
"T-ana-33",
|
||
"oracle-unmappable"
|
||
]
|
||
],
|
||
"results": [
|
||
{
|
||
"trap": "T-ana-2",
|
||
"type": "T-ana",
|
||
"n_votes": 16,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.469,
|
||
"arm_accuracy": 0.75,
|
||
"paired_diff_arm_minus_a0": 0.281,
|
||
"pairwise": {
|
||
"arm_wins": 6,
|
||
"a0_wins": 0,
|
||
"tie": 10
|
||
},
|
||
"catastrophe": {
|
||
"a0": 7,
|
||
"arm": 4
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.75,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 3,
|
||
"a0": 0,
|
||
"tie": 5
|
||
},
|
||
"BA": {
|
||
"arm": 3,
|
||
"a0": 0,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0.6,
|
||
"a0_acc": 0.6,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.25,
|
||
"n": 6
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Чжэн всё ниже опускал голову"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Чжэн всё ниже опускал голову"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "Эти мысли копились годами... Фан Чжэн",
|
||
"ev_arm": "Эти мысли копились годами... Фан Чжэн"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Чжэн всё ниже опускал голову"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "Эти мысли копились... Фан Чжэн",
|
||
"ev_arm": "Эти мысли копились... Фан Чжэн"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Чжэн всё ниже опускал голову"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Чжэн всё ниже опускал голову"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Эти мысли копились годами... Фан Чжэн",
|
||
"ev_arm": "Эти мысли копились годами... Фан Чжэн"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Эти мысли копились годами... Фан Чжэн",
|
||
"ev_arm": "Эти мысли копились годами... Фан Чжэн"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Эти мысли копились... Фан Чжэн",
|
||
"ev_arm": "Эти мысли копились... Фан Чжэн"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн всё ниже опускал голову",
|
||
"ev_arm": "Фан Чжэн всё ниже опускал голову"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань беззвучно усмехнулся про себя",
|
||
"ev_arm": "Фан Юань беззвучно усмехнулся в душе"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Эти мысли копились годами",
|
||
"ev_arm": "Эти мысли копились годами"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань беззвучно усмехнулся про себя",
|
||
"ev_arm": "Фан Юань беззвучно усмехнулся в душе"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Эти мысли копились годами",
|
||
"ev_arm": "Эти мысли копились годами"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань беззвучно усмехнулся про себя",
|
||
"ev_arm": "Фан Юань беззвучно усмехнулся в душе"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 3,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 3,
|
||
"oracle_frac": 0.086,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-5",
|
||
"type": "T-ana",
|
||
"n_votes": 16,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.562,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.438,
|
||
"pairwise": {
|
||
"arm_wins": 8,
|
||
"a0_wins": 0,
|
||
"tie": 8
|
||
},
|
||
"catastrophe": {
|
||
"a0": 6,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.2,
|
||
"without_mistral-large-latest": 0.833
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 3,
|
||
"a0": 0,
|
||
"tie": 5
|
||
},
|
||
"BA": {
|
||
"arm": 5,
|
||
"a0": 0,
|
||
"tie": 3
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.167,
|
||
"n": 6
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.8,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Его взгляд был прикован",
|
||
"ev_arm": "ему пришлось быстро последовать за ним. ... взгляд его"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Его взгляд был прикован к собственным ногам",
|
||
"ev_arm": "А взгляд его был прикован к собственным ногам"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Его взгляд был прикован",
|
||
"ev_arm": "А взгляд его был прикован"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Его взгляд был прикован",
|
||
"ev_arm": "А взгляд его был прикован"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Его взгляд был прикован к собственным ногам",
|
||
"ev_arm": "А взгляд его был прикован к собственным ногам"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Его взгляд был прикован",
|
||
"ev_arm": "А взгляд его был прикован"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "на тень брата Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "А взгляд его был прикован к собственным ногам, шаг за шагом наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "взгляд его был прикован к собственным ногам, шаг за шагом наступавшим на тень брата Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "шаг за шагом наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "шаг за шагом наступавшим на тень брата Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "А взгляд его был прикован к собственным ногам, шаг за шагом наступавшим на тень брата Фан Юаня",
|
||
"ev_arm": "взгляд его был прикован к собственным ногам, шаг за шагом наступавшим на тень брата Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "шаг за шагом наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "шаг за шагом наступавшим на тень брата Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Его взгляд был прикован к собственным ногам, шаг за шагом наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "взгляд его был прикован к собственным ногам, шаг за шагом наступавшим на тень брата Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "шаг за шагом наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "шаг за шагом наступавшим на тень брата Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "А взгляд его был прикован к собственным ногам, шаг за шагом наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "взгляд его был прикован к собственным ногам, шаг за шагом наступавшим на тень брата Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "шаг за шагом наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "шаг за шагом наступавшим на тень брата Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Его взгляд был прикован к собственным ногам, шаг за шагом наступавшим на тень старшего брата Фан Юаня",
|
||
"ev_arm": "взгляд его был прикован к собственным ногам, шаг за шагом наступавшим на тень брата Фан Юаня"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 13,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 15,
|
||
"oracle_frac": 0.983,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-9",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.775,
|
||
"arm_accuracy": 0.75,
|
||
"paired_diff_arm_minus_a0": -0.025,
|
||
"pairwise": {
|
||
"arm_wins": 5,
|
||
"a0_wins": 5,
|
||
"tie": 10
|
||
},
|
||
"catastrophe": {
|
||
"a0": 4,
|
||
"arm": 5
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": -0.5,
|
||
"without_mistral-large-latest": 0.45
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 5,
|
||
"a0": 5,
|
||
"tie": 0
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.55,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.5,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Молодой гу-мастер Цзян Я тут же остановился; ... Он только что пригрозил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Молодой гу-мастер Цзян Я тут же остановился"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что пригрозил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Молодой гу-мастер Цзян Я тут же остановился"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что пригрозил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Молодой гу-мастер Цзян Я тут же остановился"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что пригрозил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Молодой гу-мастер Цзян Я тут же остановился"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что пригрозил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Молодой гу-мастер Цзян Я тут же остановился; ... Он только что"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что пригрозил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Он только что бросил громкие слова, а Фан Юань тут же потребовал этот кувшин вина",
|
||
"ev_arm": "Он только что пригрозил, а Фан Юань тут же заказал это вино"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что пригрозил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Он только что бросил громкие слова, а Фан Юань тут же потребовал этот кувшин вина",
|
||
"ev_arm": "Он и подумать не мог, что нарвётся на гу-мастера!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что пригрозил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Он только что бросил громкие слова, а Фан Юань тут же потребовал этот кувшин вина",
|
||
"ev_arm": "Он и подумать не мог, что нарвётся на гу-мастера!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что пригрозил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Он только что бросил громкие слова, а Фан Юань тут же потребовал этот кувшин вина",
|
||
"ev_arm": "Он и подумать не мог, что нарвётся на гу-мастера!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он только что бросил громкие слова",
|
||
"ev_arm": "Он только что пригрозил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Он только что бросил громкие слова, а Фан Юань тут же потребовал этот кувшин вина",
|
||
"ev_arm": "Он только что пригрозил, а Фан Юань тут же заказал это вино"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 20,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 23,
|
||
"oracle_frac": 0.84,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-16",
|
||
"type": "T-ana",
|
||
"n_votes": 16,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.656,
|
||
"arm_accuracy": 0.438,
|
||
"paired_diff_arm_minus_a0": -0.219,
|
||
"pairwise": {
|
||
"arm_wins": 4,
|
||
"a0_wins": 5,
|
||
"tie": 7
|
||
},
|
||
"catastrophe": {
|
||
"a0": 4,
|
||
"arm": 8
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": -0.833,
|
||
"without_mistral-large-latest": 0.15
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 2,
|
||
"a0": 3,
|
||
"tie": 3
|
||
},
|
||
"BA": {
|
||
"arm": 2,
|
||
"a0": 2,
|
||
"tie": 4
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0.6,
|
||
"a0_acc": 0.45,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.167,
|
||
"a0_acc": 1.0,
|
||
"n": 6
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "и продолжал:"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "Он скрежетал зубами от злости и продолжал"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "и продолжал:"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "и продолжал:"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "он продолжал:"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "Он скрежетал зубами от злости и продолжал:"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "wrong",
|
||
"winner": "tie",
|
||
"a0_cat": true,
|
||
"arm_cat": true,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "и продолжал:"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "и продолжал:"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "Он скрежетал зубами от злости и продолжал:"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "Он скрежетал зубами от злости и продолжал:"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Он продолжил: — Культивация гу-мастера",
|
||
"ev_arm": "Он скрежетал зубами от злости и продолжал:"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "Он скрежетал зубами от злости и продолжал:"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Он продолжил: — Культивация гу-мастера идёт быстро",
|
||
"ev_arm": "Он скрежетал зубами от злости и продолжал:"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "Смутное чувство подсказывало ему, что в этот миг он утратил нечто очень важное"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Он продолжил: — Культивация гу-мастера идёт быстро",
|
||
"ev_arm": "Он скрежетал зубами от злости и продолжал:"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Он продолжил:",
|
||
"ev_arm": "Смутное чувство подсказывало ему, что в этот миг он утратил нечто важное"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 30,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 35,
|
||
"oracle_frac": 0.616,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-17",
|
||
"type": "T-ana",
|
||
"n_votes": 16,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.375,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.625,
|
||
"pairwise": {
|
||
"arm_wins": 10,
|
||
"a0_wins": 0,
|
||
"tie": 6
|
||
},
|
||
"catastrophe": {
|
||
"a0": 9,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.4,
|
||
"without_mistral-large-latest": 1.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 7,
|
||
"a0": 0,
|
||
"tie": 1
|
||
},
|
||
"BA": {
|
||
"arm": 3,
|
||
"a0": 0,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0,
|
||
"n": 6
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.6,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были",
|
||
"ev_arm": "Её голова и брюшко были"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были",
|
||
"ev_arm": "Её голова и брюшко были"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были",
|
||
"ev_arm": "Её голова и брюшко были"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были",
|
||
"ev_arm": "Её голова и брюшко были"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были",
|
||
"ev_arm": "Это была цикада. ... Её голова"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были",
|
||
"ev_arm": "Её голова и брюшко были"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми",
|
||
"ev_arm": "Её голова и брюшко были коричневато-жёлтыми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми",
|
||
"ev_arm": "Её голова и брюшко были коричневато-жёлтыми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми",
|
||
"ev_arm": "Её голова и брюшко были коричневато-жёлтыми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми",
|
||
"ev_arm": "Её голова и брюшко были коричневато-жёлтыми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми",
|
||
"ev_arm": "Её голова и брюшко были коричневато-жёлтыми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми",
|
||
"ev_arm": "Её голова и брюшко были коричневато-жёлтыми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми",
|
||
"ev_arm": "Её голова и брюшко были коричневато-жёлтыми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми...",
|
||
"ev_arm": "Это была цикада. Она была невелика..."
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми",
|
||
"ev_arm": "Её голова и брюшко были коричневато-жёлтыми"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Голова и брюшко его были коричнево-жёлтыми...",
|
||
"ev_arm": "Это была цикада. Она была невелика..."
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 31,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 37,
|
||
"oracle_frac": 0.16,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-22",
|
||
"type": "T-ana",
|
||
"n_votes": 16,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.438,
|
||
"arm_accuracy": 0.688,
|
||
"paired_diff_arm_minus_a0": 0.25,
|
||
"pairwise": {
|
||
"arm_wins": 10,
|
||
"a0_wins": 5,
|
||
"tie": 1
|
||
},
|
||
"catastrophe": {
|
||
"a0": 7,
|
||
"arm": 5
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.667
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 8,
|
||
"a0": 0,
|
||
"tie": 0
|
||
},
|
||
"BA": {
|
||
"arm": 2,
|
||
"a0": 5,
|
||
"tie": 1
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.333,
|
||
"n": 6
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.5,
|
||
"a0_acc": 0.5,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "у него за плечами пятьсот лет",
|
||
"ev_arm": "Фан Юань вздохнул. ... И это притом что у него"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "у него за плечами пятьсот лет",
|
||
"ev_arm": "у него был опыт пяти веков"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "у него за плечами пятьсот лет",
|
||
"ev_arm": "Фан Юань вздохнул. ... у него был опыт"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "у него за плечами пятьсот лет",
|
||
"ev_arm": "у него был опыт пяти веков"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "И всё это благодаря тому, что у него за плечами",
|
||
"ev_arm": "Фан Юань вздохнул. ... И это притом что у него"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "у него за плечами пятьсот лет",
|
||
"ev_arm": "у него был опыт пяти веков"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань с облегчением вздохнул",
|
||
"ev_arm": "с облегчением подумал Фан Юань"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "И всё это благодаря тому, что у него за плечами пятьсот лет прошлой жизни",
|
||
"ev_arm": "Это было хлопотно. Фан Юаню нужно было кормить"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань с облегчением вздохнул",
|
||
"ev_arm": "с облегчением подумал Фан Юань"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "И всё это благодаря тому, что у него за плечами пятьсот лет прошлой жизни",
|
||
"ev_arm": "Это было хлопотно"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань с облегчением вздохнул",
|
||
"ev_arm": "с облегчением подумал Фан Юань"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "И всё это благодаря тому, что у него за плечами пятьсот лет прошлой жизни",
|
||
"ev_arm": "Это было хлопотно"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань с облегчением вздохнул",
|
||
"ev_arm": "с облегчением подумал Фан Юань"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "И всё это благодаря тому, что у него за плечами пятьсот лет прошлой жизни",
|
||
"ev_arm": "Это было хлопотно"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань с облегчением вздохнул",
|
||
"ev_arm": "с облегчением подумал Фан Юань"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "И всё это благодаря тому, что у него за плечами пятьсот лет прошлой жизни",
|
||
"ev_arm": "Это было хлопотно"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 39,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 47,
|
||
"oracle_frac": 0.619,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-23",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.75,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.25,
|
||
"pairwise": {
|
||
"arm_wins": 6,
|
||
"a0_wins": 0,
|
||
"tie": 14
|
||
},
|
||
"catastrophe": {
|
||
"a0": 5,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.5,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 6,
|
||
"a0": 0,
|
||
"tie": 4
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.5,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь",
|
||
"ev_arm": "Два пришлись манекену в грудь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий —",
|
||
"ev_arm": "Два пришлись манекену в грудь, один —"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь",
|
||
"ev_arm": "Два пришлись манекену в грудь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий — в левую руку",
|
||
"ev_arm": "Два пришлись манекену в грудь, один — в левую руку"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "Два пришлись манекену в грудь, один"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "три лунных клинка, три попадания. Два пришлись"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь",
|
||
"ev_arm": "Два пришлись манекену в грудь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий — в левую руку",
|
||
"ev_arm": "Два пришлись манекену в грудь, один — в левую руку"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "три лунных клинка, три попадания. Два пришлись"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий — в левую руку",
|
||
"ev_arm": "Два пришлись манекену в грудь, один — в левую руку"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "Два пришлись манекену в грудь"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий — в левую руку",
|
||
"ev_arm": "Два пришлись манекену в грудь, один — в левую руку"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "Два пришлись манекену в грудь"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий — в левую руку",
|
||
"ev_arm": "Два пришлись манекену в грудь, один — в левую руку"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "Два пришлись манекену в грудь"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий — в левую руку",
|
||
"ev_arm": "Два пришлись манекену в грудь, один — в левую руку"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "Два пришлись манекену в грудь"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий — в левую руку",
|
||
"ev_arm": "Два пришлись манекену в грудь, один — в левую руку"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "Два пришлись манекену в грудь"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий — в левую руку",
|
||
"ev_arm": "Два пришлись манекену в грудь, один — в левую руку"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 41,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 50,
|
||
"oracle_frac": 0.683,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-31",
|
||
"type": "T-ana",
|
||
"n_votes": 16,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 0.688,
|
||
"paired_diff_arm_minus_a0": -0.312,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 5,
|
||
"tie": 11
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 5
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": -0.833,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 2,
|
||
"tie": 6
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 3,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.167,
|
||
"a0_acc": 1.0,
|
||
"n": 6
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "он наконец остановился",
|
||
"ev_arm": "он остановился"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "он наконец остановился, не в силах сделать больше ни одного",
|
||
"ev_arm": "он остановился, не в силах идти дальше"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Лишь на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "Наконец, дойдя до тридцать шестого шага, он остановился"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "он наконец остановился, не в силах сделать больше ни одного",
|
||
"ev_arm": "он остановился, не в силах идти дальше"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "он наконец остановился",
|
||
"ev_arm": "он остановился, не в силах"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "он наконец остановился, не в силах сделать больше ни одного",
|
||
"ev_arm": "он остановился, не в силах идти дальше"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Лишь на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "Наконец, дойдя до тридцать шестого шага, он остановился"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "он наконец остановился, не в силах сделать больше ни одного",
|
||
"ev_arm": "он остановился, не в силах идти дальше"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Лишь на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "Наконец, дойдя до тридцать шестого шага, он остановился"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "он наконец остановился, не в силах сделать больше ни одного",
|
||
"ev_arm": "он остановился, не в силах идти дальше"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "Наконец, дойдя до тридцать шестого шага, остановился"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Лишь на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "Наконец, дойдя до тридцать шестого шага, он остановился"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "дойдя до тридцать шестого шага, он остановился"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Лишь на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "Наконец, дойдя до тридцать шестого шага, он остановился"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "Наконец, дойдя до тридцать шестого шага, остановился"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Лишь на тридцать шестом шаге он наконец остановился",
|
||
"ev_arm": "Наконец, дойдя до тридцать шестого шага, он остановился"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 6,
|
||
"flat_frac": 0.021,
|
||
"oracle_chunk": 6,
|
||
"oracle_frac": 0.996,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-32",
|
||
"type": "T-ana",
|
||
"n_votes": 12,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.0,
|
||
"arm_accuracy": 0.75,
|
||
"paired_diff_arm_minus_a0": 0.75,
|
||
"pairwise": {
|
||
"arm_wins": 12,
|
||
"a0_wins": 0,
|
||
"tie": 0
|
||
},
|
||
"catastrophe": {
|
||
"a0": 9,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 1.0,
|
||
"without_mistral-large-latest": 0.5
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 6,
|
||
"a0": 0,
|
||
"tie": 0
|
||
},
|
||
"BA": {
|
||
"arm": 6,
|
||
"a0": 0,
|
||
"tie": 0
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0.5,
|
||
"a0_acc": 0,
|
||
"n": 6
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0,
|
||
"n": 6
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "partial",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "сознание опустело, тело сделалось мягким",
|
||
"ev_arm": "в голове внезапно опустело, всё тело стало мягким"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "partial",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно сознание опустело, тело сделалось мягким",
|
||
"ev_arm": "в голове внезапно опустело, всё тело стало мягким"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "partial",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "сознание опустело, тело сделалось мягким",
|
||
"ev_arm": "в голове внезапно опустело, всё тело стало мягким"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "partial",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "сознание опустело, тело сделалось мягким",
|
||
"ev_arm": "в голове внезапно опустело, всё тело стало мягким"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "partial",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно сознание опустело, тело сделалось мягким",
|
||
"ev_arm": "все волоски на его теле встали дыбом"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "partial",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "сознание опустело, тело сделалось мягким",
|
||
"ev_arm": "в голове внезапно опустело, всё тело стало мягким"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно сознание опустело, тело сделалось мягким",
|
||
"ev_arm": "в голове внезапно опустело, всё тело стало мягким"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно сознание опустело, тело сделалось мягким, словно падал в облака. Сердечная струна расслабилась, волоски на коже разгладились",
|
||
"ev_arm": "в голове внезапно опустело, всё тело стало мягким, словно рухнуло в облачную высь. Душа от этого расслабилась, волоски пригладились"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно сознание опустело, тело сделалось мягким",
|
||
"ev_arm": "в голове внезапно опустело, всё тело стало мягким"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно сознание опустело, тело сделалось мягким, словно падал в облака. Сердечная струна расслабилась, волоски на коже разгладились",
|
||
"ev_arm": "в голове внезапно опустело, всё тело стало мягким, словно рухнуло в облачную высь. Душа от этого расслабилась, волоски пригладились"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно сознание опустело, тело сделалось мягким",
|
||
"ev_arm": "в голове внезапно опустело, всё тело стало мягким"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Внезапно сознание опустело, тело сделалось мягким, словно падал в облака. Сердечная струна расслабилась, волоски на коже разгладились",
|
||
"ev_arm": "в голове внезапно опустело, всё тело стало мягким, словно рухнуло в облачную высь. Душа от этого расслабилась, волоски пригладились"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 8,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 9,
|
||
"oracle_frac": 0.594,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-34",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 1,
|
||
"tie": 19
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 1,
|
||
"tie": 9
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Раньше он притворялся сломленным пьяницей",
|
||
"ev_arm": "Раньше он маскировался под разочарованного пьяницу"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 15,
|
||
"flat_frac": 0.02,
|
||
"oracle_chunk": 18,
|
||
"oracle_frac": 0.155,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-35",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.95,
|
||
"arm_accuracy": 0.65,
|
||
"paired_diff_arm_minus_a0": -0.3,
|
||
"pairwise": {
|
||
"arm_wins": 1,
|
||
"a0_wins": 7,
|
||
"tie": 12
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 7
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": -0.7,
|
||
"without_mistral-large-latest": 0.1
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 3,
|
||
"tie": 7
|
||
},
|
||
"BA": {
|
||
"arm": 1,
|
||
"a0": 4,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.9,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.3,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "ему пришлось хлопнуть по столу",
|
||
"ev_arm": "он хлопнул по столу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть",
|
||
"ev_arm": "В конце концов он хлопнул по столу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "ему пришлось хлопнуть по столу",
|
||
"ev_arm": "он хлопнул по столу и выдавил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу",
|
||
"ev_arm": "В конце концов он хлопнул по столу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "ему пришлось хлопнуть по столу",
|
||
"ev_arm": "он хлопнул по столу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу",
|
||
"ev_arm": "В конце концов он хлопнул по столу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "ему пришлось хлопнуть по столу",
|
||
"ev_arm": "он хлопнул по столу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть",
|
||
"ev_arm": "В конце концов он хлопнул по столу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "ему пришлось хлопнуть по столу",
|
||
"ev_arm": "он хлопнул по столу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "ему пришлось хлопнуть по столу",
|
||
"ev_arm": "В конце концов он хлопнул по столу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу и выдавить улыбку:",
|
||
"ev_arm": "В конце концов он хлопнул по столу и выдавил:"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу и выдавить улыбку",
|
||
"ev_arm": "В конце концов он хлопнул по столу и выдавил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу и выдавить улыбку:",
|
||
"ev_arm": "В конце концов он хлопнул по столу и выдавил:"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу и выдавить улыбку:",
|
||
"ev_arm": "В конце концов он хлопнул по столу и выдавил:"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу и выдавить улыбку:",
|
||
"ev_arm": "В конце концов он хлопнул по столу и выдавил:"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу и выдавить улыбку",
|
||
"ev_arm": "В конце концов он хлопнул по столу и выдавил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу и выдавить улыбку:",
|
||
"ev_arm": "В конце концов он хлопнул по столу и выдавил:"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу и выдавить улыбку",
|
||
"ev_arm": "В конце концов он хлопнул по столу и выдавил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу и выдавить улыбку:",
|
||
"ev_arm": "В конце концов он хлопнул по столу и выдавил:"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В конце концов ему пришлось хлопнуть по столу и выдавить улыбку",
|
||
"ev_arm": "В конце концов он хлопнул по столу и выдавил"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 19,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 22,
|
||
"oracle_frac": 0.833,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-36",
|
||
"type": "T-ana",
|
||
"n_votes": 16,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.531,
|
||
"arm_accuracy": 0.625,
|
||
"paired_diff_arm_minus_a0": 0.094,
|
||
"pairwise": {
|
||
"arm_wins": 10,
|
||
"a0_wins": 6,
|
||
"tie": 0
|
||
},
|
||
"catastrophe": {
|
||
"a0": 1,
|
||
"arm": 6
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": -0.35,
|
||
"without_mistral-large-latest": 0.833
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 3,
|
||
"a0": 5,
|
||
"tie": 0
|
||
},
|
||
"BA": {
|
||
"arm": 7,
|
||
"a0": 1,
|
||
"tie": 0
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.167,
|
||
"n": 6
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.4,
|
||
"a0_acc": 0.75,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным",
|
||
"ev_arm": "Взгляд его оставался спокойным"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным; он двинулся",
|
||
"ev_arm": "Взгляд его оставался спокойным. Он переступил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным",
|
||
"ev_arm": "Взгляд его оставался спокойным. Он переступил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным; он двинулся",
|
||
"ev_arm": "Взгляд его оставался спокойным. Он переступил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным",
|
||
"ev_arm": "Взгляд его оставался спокойным. Он переступил"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным; он двинулся",
|
||
"ev_arm": "Взгляд его оставался спокойным. Он переступил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным, без удивления; он двинулся дальше",
|
||
"ev_arm": "Взгляд его оставался спокойным, без удивления. Он переступил с ноги на ногу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Неподалёку запела птица, похожая на соловья",
|
||
"ev_arm": "Только что прошёл трёхдневный ливень"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным, без удивления; он двинулся дальше",
|
||
"ev_arm": "Взгляд его оставался спокойным, без удивления. Он переступил с ноги на ногу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным, без удивления; он двинулся дальше",
|
||
"ev_arm": "Взгляд его оставался спокойным, без удивления. Он переступил с ноги на ногу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным, без удивления; он двинулся дальше",
|
||
"ev_arm": "Взгляд его оставался спокойным, без удивления. Он переступил с ноги на ногу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным, без удивления; он двинулся дальше",
|
||
"ev_arm": "Взгляд его оставался спокойным, без удивления. Он переступил с ноги на ногу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным, без удивления; он двинулся дальше",
|
||
"ev_arm": "Взгляд его оставался спокойным, без удивления. Он переступил с ноги на ногу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным, без удивления; он двинулся дальше",
|
||
"ev_arm": "Взгляд его оставался спокойным, без удивления. Он переступил с ноги на ногу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным, без удивления; он двинулся дальше",
|
||
"ev_arm": "Взгляд его оставался спокойным, без удивления. Он переступил с ноги на ногу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Взгляд Фан Юаня оставался спокойным, без удивления; он двинулся дальше",
|
||
"ev_arm": "Взгляд его оставался спокойным, без удивления. Он переступил с ноги на ногу"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 21,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 24,
|
||
"oracle_frac": 0.838,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-37",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 0.95,
|
||
"paired_diff_arm_minus_a0": -0.05,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 7,
|
||
"tie": 13
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": -0.1
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 2,
|
||
"tie": 8
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 5,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0.9,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Сильный аромат вина манил его",
|
||
"ev_arm": "Мощный винный аромат манил и притягивал его"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Сильный аромат вина манил его, притягивал, заставлял грезить наяву",
|
||
"ev_arm": "Мощный винный аромат манил и притягивал его"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал",
|
||
"ev_arm": "манил и притягивал его"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Сильный аромат вина манил его, притягивал, заставлял",
|
||
"ev_arm": "Мощный винный аромат манил и притягивал его"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Сильный аромат вина манил его",
|
||
"ev_arm": "Мощный винный аромат манил и притягивал его"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Сильный аромат вина манил его, притягивал, заставлял",
|
||
"ev_arm": "Мощный винный аромат манил и притягивал его"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Сильный аромат вина манил его",
|
||
"ev_arm": "Мощный винный аромат манил и притягивал его"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Сильный аромат вина манил его, притягивал",
|
||
"ev_arm": "Мощный винный аромат манил и притягивал его"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Сильный аромат вина манил его, притягивал",
|
||
"ev_arm": "Винный червь ... заёрзал. Мощный винный аромат манил и притягивал его"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Сильный аромат вина манил его, притягивал, заставлял",
|
||
"ev_arm": "Мощный винный аромат манил и притягивал его"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал, заставлял грезить",
|
||
"ev_arm": "манил и притягивал его, волнуя душу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Сильный аромат вина манил его, притягивал, заставлял грезить наяву",
|
||
"ev_arm": "мощный винный аромат манил и притягивал его, волнуя душу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал, заставлял грезить",
|
||
"ev_arm": "манил и притягивал его, волнуя душу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Сильный аромат вина манил его, притягивал, заставлял грезить наяву",
|
||
"ev_arm": "мощный винный аромат манил и притягивал его, волнуя душу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал, заставлял грезить",
|
||
"ev_arm": "манил и притягивал его, волнуя душу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Сильный аромат вина манил его, притягивал, заставлял грезить наяву",
|
||
"ev_arm": "мощный винный аромат манил и притягивал его, волнуя душу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал, заставлял грезить",
|
||
"ev_arm": "манил и притягивал его, волнуя душу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Сильный аромат вина манил его, притягивал, заставлял грезить наяву",
|
||
"ev_arm": "мощный винный аромат манил и притягивал его, волнуя душу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "манил его, притягивал, заставлял грезить",
|
||
"ev_arm": "манил и притягивал его, волнуя душу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Сильный аромат вина манил его, притягивал, заставлял грезить наяву",
|
||
"ev_arm": "мощный винный аромат манил и притягивал его, волнуя душу"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 22,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 26,
|
||
"oracle_frac": 0.235,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-38",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь",
|
||
"ev_arm": "Стоило ему ворваться внутрь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь",
|
||
"ev_arm": "Стоило ему ворваться внутрь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь",
|
||
"ev_arm": "Стоило ему ворваться внутрь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь",
|
||
"ev_arm": "Стоило ему ворваться внутрь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь",
|
||
"ev_arm": "Стоило ему ворваться внутрь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь",
|
||
"ev_arm": "Стоило ему ворваться внутрь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток",
|
||
"ev_arm": "Стоило ему ворваться внутрь, как стремительный поток"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь",
|
||
"ev_arm": "Стоило ему ворваться внутрь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь",
|
||
"ev_arm": "Стоило ему ворваться внутрь"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток",
|
||
"ev_arm": "Стоило ему ворваться внутрь, как стремительный"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Стоило ему ворваться внутрь, как стремительный поток"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Стоило ему ворваться внутрь, как стремительный поток"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Стоило ему ворваться внутрь, как стремительный поток"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Стоило ему ворваться внутрь, как стремительный поток"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Стоило ему ворваться внутрь, как стремительный поток"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Стоило ему ворваться внутрь, как стремительный поток"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Стоило ему ворваться внутрь, как стремительный поток"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Стоило ему ворваться внутрь, как стремительный поток"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Стоило ему ворваться внутрь, как стремительный поток"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Едва он шагнул внутрь, стремительный поток воды",
|
||
"ev_arm": "Стоило ему ворваться внутрь, как стремительный поток"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 23,
|
||
"flat_frac": 0.026,
|
||
"oracle_chunk": 27,
|
||
"oracle_frac": 0.289,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-39",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.65,
|
||
"arm_accuracy": 0.725,
|
||
"paired_diff_arm_minus_a0": 0.075,
|
||
"pairwise": {
|
||
"arm_wins": 10,
|
||
"a0_wins": 6,
|
||
"tie": 4
|
||
},
|
||
"catastrophe": {
|
||
"a0": 4,
|
||
"arm": 5
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": -0.15,
|
||
"without_mistral-large-latest": 0.3
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 9,
|
||
"a0": 1,
|
||
"tie": 0
|
||
},
|
||
"BA": {
|
||
"arm": 1,
|
||
"a0": 5,
|
||
"tie": 4
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.7,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.45,
|
||
"a0_acc": 0.6,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но в то же время сердце его успокоилось",
|
||
"ev_arm": "Но в то же время он почувствовал облегчение"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но в то же время сердце его успокоилось",
|
||
"ev_arm": "Но в то же время он почувствовал облегчение"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "сердце его успокоилось",
|
||
"ev_arm": "он почувствовал облегчение"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но в то же время сердце его успокоилось",
|
||
"ev_arm": "Но в то же время он почувствовал облегчение"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "сердце его успокоилось",
|
||
"ev_arm": "он почувствовал облегчение"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но в то же время сердце его успокоилось",
|
||
"ev_arm": "Но в то же время он почувствовал облегчение"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "сердце его успокоилось",
|
||
"ev_arm": "он почувствовал облегчение"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но в то же время сердце его успокоилось",
|
||
"ev_arm": "Но в то же время он почувствовал облегчение"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "сердце его успокоилось",
|
||
"ev_arm": "он почувствовал облегчение"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но в то же время сердце его успокоилось",
|
||
"ev_arm": "Но в то же время он почувствовал облегчение"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Наконец-то я могу получить тебя по праву, Цуйцуй, — произнёс он",
|
||
"ev_arm": "Фан Чжэн растерялся, не ожидая такого поворота"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Но в то же время сердце его успокоилось",
|
||
"ev_arm": "Он хорошо знал характер младшего: Фан Чжэн был несдержан"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но вскоре сердце его согрелося",
|
||
"ev_arm": "Фан Чжэн сжался внутри, стиснул зубы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Но в то же время сердце его успокоилось",
|
||
"ev_arm": "Он хорошо знал характер младшего: Фан Чжэн был несдержан"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но вскоре сердце его согрелося",
|
||
"ev_arm": "Фан Чжэн сжался внутри, стиснул зубы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Но в то же время сердце его успокоилось",
|
||
"ev_arm": "Он хорошо знал характер младшего: Фан Чжэн был несдержан"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но вскоре сердце его согрелося",
|
||
"ev_arm": "Фан Чжэн сжался внутри, стиснул зубы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Но в то же время сердце его успокоилось",
|
||
"ev_arm": "Он хорошо знал характер младшего: Фан Чжэн был несдержан"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Но вскоре сердце его согрелося",
|
||
"ev_arm": "Фан Чжэн сжался внутри, стиснул зубы"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Но в то же время сердце его успокоилось",
|
||
"ev_arm": "Он хорошо знал характер младшего: Фан Чжэн был несдержан"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 29,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 34,
|
||
"oracle_frac": 0.652,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ell-40",
|
||
"type": "T-ell",
|
||
"n_votes": 16,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.719,
|
||
"arm_accuracy": 0.156,
|
||
"paired_diff_arm_minus_a0": -0.562,
|
||
"pairwise": {
|
||
"arm_wins": 3,
|
||
"a0_wins": 12,
|
||
"tie": 1
|
||
},
|
||
"catastrophe": {
|
||
"a0": 1,
|
||
"arm": 5
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": -0.667,
|
||
"without_mistral-large-latest": -0.5
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 2,
|
||
"a0": 5,
|
||
"tie": 1
|
||
},
|
||
"BA": {
|
||
"arm": 1,
|
||
"a0": 7,
|
||
"tie": 0
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0.15,
|
||
"a0_acc": 0.65,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.167,
|
||
"a0_acc": 0.833,
|
||
"n": 6
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "partial",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках",
|
||
"ev_arm": "— Ха-ха, с Весенне-осенней цикадой в руках"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках",
|
||
"ev_arm": "Фан Юань был в прекрасном настроении"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань пребывал в прекрасном настроении",
|
||
"ev_arm": "Фан Юань был в прекрасном настроении"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках... Фан Юань пребывал",
|
||
"ev_arm": "— Ха-ха, с Весенне-осенней цикадой... Фан Юань был в прекрасном"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "partial",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань пребывал в прекрасном настроении",
|
||
"ev_arm": "Фан Юань был в прекрасном настроении"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань пребывал в прекрасном настроении",
|
||
"ev_arm": "Фан Юань был в прекрасном настроении"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "partial",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках",
|
||
"ev_arm": "— Ха-ха, с Весенне-осенней цикадой в руках"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках",
|
||
"ev_arm": "— Ха-ха, с Весенне-осенней цикадой"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань пребывал в прекрасном настроении;",
|
||
"ev_arm": "Фан Юань был в прекрасном настроении"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках... Фан Юань пребывал",
|
||
"ev_arm": "— Ха-ха, с Весенне-осенней цикадой... Фан Юань был"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках — словно сама судьба помогает!",
|
||
"ev_arm": "— Хе-хе-хе."
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках — словно сама судьба помогает!",
|
||
"ev_arm": "— Ха-ха, с Весенне-осенней цикадой в руках"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках — словно сама судьба помогает!",
|
||
"ev_arm": "— Хе-хе-хе."
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках — словно сама судьба помогает! — Фан Юань пребывал в прекрасном настроении",
|
||
"ev_arm": "— Ха-ха, с Весенне-осенней цикадой в руках это словно божественная помощь!"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках — словно сама судьба помогает!",
|
||
"ev_arm": "— Хе-хе-хе."
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "— Ха-ха, Весенне-осенняя цикада в руках — словно сама судьба помогает!",
|
||
"ev_arm": "Фан Юань рассмеялся и, воспользовавшись моментом"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 33,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 39,
|
||
"oracle_frac": 0.76,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-41",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.8,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.2,
|
||
"pairwise": {
|
||
"arm_wins": 7,
|
||
"a0_wins": 0,
|
||
"tie": 13
|
||
},
|
||
"catastrophe": {
|
||
"a0": 2,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.4
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 4,
|
||
"a0": 0,
|
||
"tie": 6
|
||
},
|
||
"BA": {
|
||
"arm": 3,
|
||
"a0": 0,
|
||
"tie": 7
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.6,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись",
|
||
"ev_arm": "Он подошёл к воротам школы. ... увидели его"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись",
|
||
"ev_arm": "увидели его и удивились"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его",
|
||
"ev_arm": "увидели его"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два стражника... увидели его",
|
||
"ev_arm": "Он подошёл к воротам школы. Двое стражей... увидели его"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два стражника... увидели его",
|
||
"ev_arm": "Он подошёл к воротам школы. ... увидели его"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись",
|
||
"ev_arm": "увидели его и удивились"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись",
|
||
"ev_arm": "увидели его и удивились"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Two guards... saw him",
|
||
"ev_arm": "Two guards... saw him"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись",
|
||
"ev_arm": "Он подошёл к воротам школы. ... увидели его"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись",
|
||
"ev_arm": "увидели его и удивились"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись, спросили",
|
||
"ev_arm": "увидели его и удивились"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два стражника, охранявших школу, увидели его и, удивившись, спросили",
|
||
"ev_arm": "Двое стражей, охранявших школу, увидели его и удивились"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись, спросили",
|
||
"ev_arm": "увидели его и удивились"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два стражника, охранявших школу, увидели его и, удивившись, спросили",
|
||
"ev_arm": "Двое стражей, охранявших школу, увидели его и удивились"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись, спросили",
|
||
"ev_arm": "увидели его и удивились"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два стражника, охранявших школу, увидели его и, удивившись, спросили",
|
||
"ev_arm": "Двое стражей, охранявших школу, увидели его и удивились"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись, спросили",
|
||
"ev_arm": "увидели его и удивились"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два стражника, охранявших школу, увидели его и, удивившись, спросили",
|
||
"ev_arm": "Двое стражей, охранявших школу, увидели его и удивились"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "увидели его и, удивившись, спросили",
|
||
"ev_arm": "увидели его и удивились"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два стражника, охранявших школу, увидели его и, удивившись, спросили",
|
||
"ev_arm": "Двое стражей, охранявших школу, увидели его и удивились"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 34,
|
||
"flat_frac": 0.006,
|
||
"oracle_chunk": 41,
|
||
"oracle_frac": 0.23,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-42",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.425,
|
||
"arm_accuracy": 0.6,
|
||
"paired_diff_arm_minus_a0": 0.175,
|
||
"pairwise": {
|
||
"arm_wins": 12,
|
||
"a0_wins": 6,
|
||
"tie": 2
|
||
},
|
||
"catastrophe": {
|
||
"a0": 8,
|
||
"arm": 5
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.35
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 8,
|
||
"a0": 1,
|
||
"tie": 1
|
||
},
|
||
"BA": {
|
||
"arm": 4,
|
||
"a0": 5,
|
||
"tie": 1
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0.7,
|
||
"a0_acc": 0.35,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.5,
|
||
"a0_acc": 0.5,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий — в левую руку",
|
||
"ev_arm": "три лунных клинка, три попадания. Два пришлись"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "три лунных клинка, три попадания. Два пришлись"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "Два пришлись манекену в грудь, один"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "partial",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара ... третий",
|
||
"ev_arm": "три лунных клинка, три попадания. Два"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "partial",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "три попадания. Два пришлись"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "partial",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "три лунных клинка, три попадания. Два пришлись"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "три лунных клинка, три попадания. Два пришлись"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "три лунных клинка, три попадания. Два пришлись"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "все попали в грудь манекена"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "partial",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Два удара пришлись в грудь манекена, третий",
|
||
"ev_arm": "три лунных клинка, три попадания. Два пришлись"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "два удара пришлись в грудь манекена, третий — в левую руку",
|
||
"ev_arm": "Два пришлись манекену в грудь, один — в левую руку"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "три лунных клинка, три попадания. Два пришлись",
|
||
"ev_arm": "два клинка сумели выпустить только по два"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "два удара пришлись в грудь манекена",
|
||
"ev_arm": "Два пришлись манекену в грудь"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "три лунных клинка, три попадания. Два пришлись манекену в грудь",
|
||
"ev_arm": "два клинка поразили соломенных манекенов"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "два удара пришлись в грудь манекена, третий — в левую руку",
|
||
"ev_arm": "Два пришлись манекену в грудь, один — в левую руку"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "три лунных клинка, три попадания"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "два удара пришлись в грудь манекена",
|
||
"ev_arm": "Два пришлись манекену в грудь"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "три лунных клинка, три попадания"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "оба клинка точно попали в грудь",
|
||
"ev_arm": "Два пришлись манекену в грудь, один — в левую руку"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Два удара пришлись в грудь манекена",
|
||
"ev_arm": "два клинка поразили соломенных манекенов"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 41,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 50,
|
||
"oracle_frac": 0.683,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ell-43",
|
||
"type": "T-ell",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 0.75,
|
||
"paired_diff_arm_minus_a0": -0.25,
|
||
"pairwise": {
|
||
"arm_wins": 1,
|
||
"a0_wins": 5,
|
||
"tie": 14
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 5
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": -0.5,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 1,
|
||
"a0": 0,
|
||
"tie": 9
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 5,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.5,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В щелях его глаз мелькнул",
|
||
"ev_arm": "В щёлках его глаз блеснул"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В щелях его глаз мелькнул",
|
||
"ev_arm": "В щёлках его глаз блеснул"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В щелях его глаз мелькнул",
|
||
"ev_arm": "В щёлках его глаз блеснул"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щёлках его глаз блеснул холодный свет"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В щелях его глаз мелькнул",
|
||
"ev_arm": "В щёлках его глаз блеснул"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щёлках его глаз блеснул холодный свет"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В щелях его глаз мелькнул",
|
||
"ev_arm": "В щёлках его глаз блеснул"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щёлках его глаз блеснул холодный свет"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В щелях его глаз",
|
||
"ev_arm": "В щёлках его глаз"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щёлках его глаз блеснул холодный свет"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щёлках его глаз блеснул холодный свет"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щёлках его глаз блеснул холодный свет"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щёлках его глаз блеснул холодный свет"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щёлках его глаз блеснул холодный свет"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щёлках его глаз блеснул холодный свет"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щёлках его глаз блеснул холодный свет"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щёлках его глаз блеснул холодный свет"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щёлках его глаз блеснул холодный свет"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щёлках его глаз блеснул холодный свет"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "В щелях его глаз мелькнул холодный блеск",
|
||
"ev_arm": "В щёлках его глаз блеснул холодный свет"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 47,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 58,
|
||
"oracle_frac": 0.753,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ana-44",
|
||
"type": "T-ana",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.725,
|
||
"arm_accuracy": 0.75,
|
||
"paired_diff_arm_minus_a0": 0.025,
|
||
"pairwise": {
|
||
"arm_wins": 6,
|
||
"a0_wins": 5,
|
||
"tie": 9
|
||
},
|
||
"catastrophe": {
|
||
"a0": 5,
|
||
"arm": 5
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.05
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 6,
|
||
"a0": 0,
|
||
"tie": 4
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 5,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.95,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 0.5,
|
||
"a0_acc": 0.5,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "У меня нет ни покровителей",
|
||
"ev_arm": "У меня нет покровителей"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "«У меня нет ни покровителей",
|
||
"ev_arm": "«У меня нет покровителей"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "У меня нет ни покровителей",
|
||
"ev_arm": "У меня нет покровителей"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей, ни помощи",
|
||
"ev_arm": "«У меня нет покровителей, нет родных"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей",
|
||
"ev_arm": "«У меня нет покровителей"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей",
|
||
"ev_arm": "«У меня нет покровителей»"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "аппетит Фан Юаня",
|
||
"ev_arm": "«У меня нет покровителей..."
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "— У меня нет ни покровителей",
|
||
"ev_arm": "«У меня нет покровителей»"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "У меня нет ни покровителей",
|
||
"ev_arm": "У меня нет покровителей"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "«У меня нет ни покровителей, ни помощи",
|
||
"ev_arm": "«У меня нет покровителей, нет родных"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "У меня нет ни покровителей, ни помощи родных",
|
||
"ev_arm": "У меня нет покровителей, нет родных и друзей"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "У меня нет ни покровителей, ни помощи родных или друзей",
|
||
"ev_arm": "Фан Юань ничуть не скупился и тем более не экономил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "У меня нет ни покровителей, ни помощи родных или друзей",
|
||
"ev_arm": "У меня нет покровителей, нет родных и друзей, которые могли бы помочь"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "У меня нет ни покровителей, ни помощи родных или друзей",
|
||
"ev_arm": "Фан Юань ничуть не скупился и тем более не экономил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "У меня нет ни покровителей, ни помощи родных или друзей",
|
||
"ev_arm": "У меня нет покровителей, нет родных и друзей, которые могли бы помочь"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "У меня нет ни покровителей, ни помощи родных или друзей",
|
||
"ev_arm": "Фан Юань ничуть не скупился и тем более не экономил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "У меня нет ни покровителей, ни помощи родных",
|
||
"ev_arm": "У меня нет покровителей, нет родных и друзей"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "У меня нет ни покровителей, ни помощи родных или друзей",
|
||
"ev_arm": "Фан Юань ничуть не скупился и тем более не экономил"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "У меня нет ни покровителей, ни помощи родных или друзей",
|
||
"ev_arm": "У меня нет покровителей, нет родных и друзей"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "У меня нет ни покровителей, ни помощи родных или друзей",
|
||
"ev_arm": "Фан Юань ничуть не скупился и тем более не экономил"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 48,
|
||
"flat_frac": 0.001,
|
||
"oracle_chunk": 59,
|
||
"oracle_frac": 0.767,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ent-1",
|
||
"type": "T-ent",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.75,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.25,
|
||
"pairwise": {
|
||
"arm_wins": 5,
|
||
"a0_wins": 0,
|
||
"tie": 15
|
||
},
|
||
"catastrophe": {
|
||
"a0": 5,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.5,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 5,
|
||
"a0": 0,
|
||
"tie": 5
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.5,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин... Старейшины, услышав это",
|
||
"ev_arm": "на лицах старейшин... старейшины слегка опешили"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин",
|
||
"ev_arm": "на лицах старейшин"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин невольно появилась тревога",
|
||
"ev_arm": "на лицах старейшин невольно отразилась тревога"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин невольно",
|
||
"ev_arm": "на лицах старейшин невольно"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин невольно появилась",
|
||
"ev_arm": "на лицах старейшин невольно отразилась"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин",
|
||
"ev_arm": "на лицах старейшин"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин",
|
||
"ev_arm": "на лицах старейшин"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин невольно появилась",
|
||
"ev_arm": "на лицах старейшин невольно отразилась"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин невольно появилась",
|
||
"ev_arm": "на лицах старейшин невольно отразилась"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин",
|
||
"ev_arm": "на лицах старейшин"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин невольно появилась тревога",
|
||
"ev_arm": "на лицах старейшин невольно отразилась тревога"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин невольно появилась тревога",
|
||
"ev_arm": "на лицах старейшин невольно отразилась тревога"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин невольно появилась тревога",
|
||
"ev_arm": "на лицах старейшин невольно отразилась тревога"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин невольно появилась тревога",
|
||
"ev_arm": "на лицах старейшин невольно отразилась тревога"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин невольно появилась тревога",
|
||
"ev_arm": "на лицах старейшин невольно отразилась тревога"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин невольно появилась тревога",
|
||
"ev_arm": "на лицах старейшин невольно отразилась тревога"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин невольно появилась тревога",
|
||
"ev_arm": "на лицах старейшин невольно отразилась тревога"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин невольно появилась тревога",
|
||
"ev_arm": "на лицах старейшин невольно отразилась тревога"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин невольно появилась тревога",
|
||
"ev_arm": "на лицах старейшин невольно отразилась тревога"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "на лицах старейшин невольно появилась тревога",
|
||
"ev_arm": "на лицах старейшин невольно отразилась тревога"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 1,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 1,
|
||
"oracle_frac": 0.0,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ent-3",
|
||
"type": "T-ent",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн отчаянно барахтался",
|
||
"ev_arm": "Фан Чжэн отчаянно забился"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн",
|
||
"ev_arm": "Гуюэ Фан Чжэн"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн отчаянно барахтался",
|
||
"ev_arm": "Фан Чжэн отчаянно забился в воде"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн",
|
||
"ev_arm": "Гуюэ Фан Чжэн"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн отчаянно барахтался",
|
||
"ev_arm": "Гуюэ Фан Чжэн! — гаркнул"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн… Гуюэ Фан Чжэна",
|
||
"ev_arm": "Гуюэ Фан Чжэн… Фан Чжэн"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн отчаянно барахтался",
|
||
"ev_arm": "Гуюэ Фан Чжэн, потрясённо глядя"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Гуюэ Фан Чжэн",
|
||
"ev_arm": "Гуюэ Фан Чжэн"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн отчаянно барахтался",
|
||
"ev_arm": "Гуюэ Фан Чжэн! — гаркнул"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн",
|
||
"ev_arm": "Гуюэ Фан Чжэн"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн отчаянно барахтался... Фан Чжэн растерянно стоял",
|
||
"ev_arm": "Фан Чжэн вырвался из оцепенения... Фан Чжэн отчаянно забился"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "старший брат Фан Юань держит его за воротник",
|
||
"ev_arm": "Гуюэ Фан Чжэн, потрясённо глядя на Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн отчаянно барахтался",
|
||
"ev_arm": "Фан Чжэн вырвался из оцепенения"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн вырвался из оцепенения, кинулся вперёд",
|
||
"ev_arm": "Гуюэ Фан Чжэн, потрясённо глядя на Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн отчаянно барахтался... Фан Чжэн растерянно стоял",
|
||
"ev_arm": "Фан Чжэн вырвался из оцепенения... Фан Чжэн отчаянно забился"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн вырвался из оцепенения, кинулся вперёд",
|
||
"ev_arm": "Гуюэ Фан Чжэн, потрясённо глядя на Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн отчаянно барахтался... Фан Чжэн растерянно стоял",
|
||
"ev_arm": "Фан Чжэн вырвался из оцепенения... Фан Чжэн отчаянно забился"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн вырвался из оцепенения, кинулся вперёд",
|
||
"ev_arm": "Гуюэ Фан Чжэн, потрясённо глядя на Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн отчаянно барахтался... Фан Чжэн растерянно стоял",
|
||
"ev_arm": "Фан Чжэн вырвался из оцепенения... Фан Чжэн отчаянно забился"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Чжэн вырвался из оцепенения, кинулся вперёд",
|
||
"ev_arm": "Гуюэ Фан Чжэн, потрясённо глядя на Фан Юаня"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 9,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 10,
|
||
"oracle_frac": 0.909,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ent-4",
|
||
"type": "T-ent",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.975,
|
||
"arm_accuracy": 0.975,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 1,
|
||
"a0_wins": 1,
|
||
"tie": 18
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 1,
|
||
"a0": 1,
|
||
"tie": 8
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0.95,
|
||
"a0_acc": 0.95,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытный камень — не только валюта",
|
||
"ev_arm": "первобытные камни — не только деньги"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "из первобытного камня",
|
||
"ev_arm": "осколки первобытных камней"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытный камень — не только валюта",
|
||
"ev_arm": "первобытные камни — не только деньги"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытный камень — не только валюта",
|
||
"ev_arm": "первобытные камни почти все вышли"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытного камня",
|
||
"ev_arm": "первобытных камней"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "partial",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "из первобытного камня",
|
||
"ev_arm": "последние осколки первобытных камней"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытного камня",
|
||
"ev_arm": "первобытных камней"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытного камня",
|
||
"ev_arm": "первобытных камней"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытный камень — не только",
|
||
"ev_arm": "первобытные камни — не только"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "из первобытного камня чистую",
|
||
"ev_arm": "последние осколки первобытных камней"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "из первобытного камня чистую истинную ци",
|
||
"ev_arm": "из первобытных камней чистую истинную ци"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытного камня, первобытных камней",
|
||
"ev_arm": "осколки первобытных камней, первобытных камней почти все вышли"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "из первобытного камня чистую истинную ци",
|
||
"ev_arm": "из первобытных камней чистую истинную ци"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытного камня, первобытных камней",
|
||
"ev_arm": "осколки первобытных камней, первобытных камней почти все вышли"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "из первобытного камня чистую истинную ци",
|
||
"ev_arm": "из первобытных камней чистую истинную ци"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытного камня, первобытных камней",
|
||
"ev_arm": "осколки первобытных камней, первобытных камней почти все вышли"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "из первобытного камня чистую истинную ци",
|
||
"ev_arm": "из первобытных камней чистую истинную ци"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытного камня, первобытных камней",
|
||
"ev_arm": "осколки первобытных камней, первобытных камней почти все вышли"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "из первобытного камня чистую истинную ци",
|
||
"ev_arm": "из первобытных камней чистую истинную ци"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытного камня, первобытных камней",
|
||
"ev_arm": "осколки первобытных камней, первобытных камней почти все вышли"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 12,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 14,
|
||
"oracle_frac": 0.907,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ent-6",
|
||
"type": "T-ent",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.775,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.225,
|
||
"pairwise": {
|
||
"arm_wins": 6,
|
||
"a0_wins": 0,
|
||
"tie": 14
|
||
},
|
||
"catastrophe": {
|
||
"a0": 1,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.1,
|
||
"without_mistral-large-latest": 0.35
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 5,
|
||
"a0": 0,
|
||
"tie": 5
|
||
},
|
||
"BA": {
|
||
"arm": 1,
|
||
"a0": 0,
|
||
"tie": 9
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.65,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.9,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "естественная истинная ци",
|
||
"ev_arm": "естественная истинная ци"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "восполнял восемь процентов истинной ци",
|
||
"ev_arm": "четыре доли истинной ци"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "естественную первобытную силу",
|
||
"ev_arm": "естественная истинная ци"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "естественная истинная ци",
|
||
"ev_arm": "четыре доли истинной ци"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "черпать естественную первобытную силу",
|
||
"ev_arm": "естественная истинная ци"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "естественная истинная ци",
|
||
"ev_arm": "четыре доли истинной ци"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "черпать естественную первобытную силу",
|
||
"ev_arm": "восполнить израсходованную истинную ци"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "естественная истинная ци",
|
||
"ev_arm": "четыре доли истинной ци"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "естественная истинная ци",
|
||
"ev_arm": "естественная истинная ци"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытную силу из первобытных камней",
|
||
"ev_arm": "четыре доли истинной ци"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "естественную истинную ци, направляя её в море истинной ци",
|
||
"ev_arm": "естественную истинную ци, которую гу-мастер может поглощать"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "истинная ци ... естественная истинная ци",
|
||
"ev_arm": "истинной ци ... естественная истинная ци"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "естественная истинная ци, направляя её в море истинной ци",
|
||
"ev_arm": "естественную истинную ци, которую гу-мастер может поглощать"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "истинная ци ... естественная истинная ци",
|
||
"ev_arm": "истинной ци ... естественная истинная ци"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "естественную истинную ци, направляя её в море истинной ци",
|
||
"ev_arm": "естественную истинную ци, которую гу-мастер может поглощать"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "истинная ци ... естественная истинная ци",
|
||
"ev_arm": "истинной ци ... естественная истинная ци"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "естественная истинная ци, направляя её в море истинной ци",
|
||
"ev_arm": "естественную истинную ци, которую гу-мастер может поглощать"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "истинная ци ... естественная истинная ци",
|
||
"ev_arm": "истинной ци ... естественная истинная ци"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "естественная истинная ци, направляя её в море истинной ци",
|
||
"ev_arm": "естественную истинную ци, которую гу-мастер может поглощать"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "истинная ци ... естественная истинная ци",
|
||
"ev_arm": "истинной ци ... естественная истинная ци"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 16,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 19,
|
||
"oracle_frac": 0.222,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ent-7",
|
||
"type": "T-ent",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань презрительно усмехнулся",
|
||
"ev_arm": "презрительно усмехнулся Фан Юань"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань презрительно усмехнулся.",
|
||
"ev_arm": "Господин Фан Юань, служанке страшно!"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань презрительно усмехнулся",
|
||
"ev_arm": "Фан Юань слегка нахмурился"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань презрительно усмехнулся.",
|
||
"ev_arm": "Господин Фан Юань, служанке страшно!"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань презрительно усмехнулся",
|
||
"ev_arm": "презрительно усмехнулся Фан Юань"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань презрительно усмехнулся",
|
||
"ev_arm": "Господин Фан Юань"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань презрительно усмехнулся",
|
||
"ev_arm": "презрительно усмехнулся Фан Юань"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань презрительно усмехнулся",
|
||
"ev_arm": "Господин Фан Юань"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань презрительно усмехнулся",
|
||
"ev_arm": "Господин Фан Юань, эти вина"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань презрительно усмехнулся",
|
||
"ev_arm": "Господин Фан Юань"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань презрительно усмехнулся",
|
||
"ev_arm": "Фан Юань холодно усмехнулся"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань, Фан Юань, Фан Юаня",
|
||
"ev_arm": "Господин Фан Юань, Фан Юань, Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань презрительно усмехнулся",
|
||
"ev_arm": "Фан Юань холодно усмехнулся"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань презрительно усмехнулся; Фан Юань левой рукой; Фан Юань тихо рассмеялся",
|
||
"ev_arm": "Фан Юань слегка нахмурился; Господин Фан Юань; Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань презрительно усмехнулся",
|
||
"ev_arm": "Фан Юань холодно усмехнулся"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань, Фан Юань, Фан Юаня",
|
||
"ev_arm": "Господин Фан Юань, Фан Юань, Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань презрительно усмехнулся",
|
||
"ev_arm": "Фан Юань холодно усмехнулся"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань презрительно усмехнулся",
|
||
"ev_arm": "Господин Фан Юань, служанка всегда вас любила"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань презрительно усмехнулся",
|
||
"ev_arm": "Фан Юань холодно усмехнулся"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань презрительно усмехнулся",
|
||
"ev_arm": "Господин Фан Юань, служанке страшно!"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 17,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 20,
|
||
"oracle_frac": 0.542,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ent-8",
|
||
"type": "T-ent",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытного камня",
|
||
"ev_arm": "первобытных камней"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "одного первобытного камня",
|
||
"ev_arm": "два целых первобытных камня"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "одного первобытного камня",
|
||
"ev_arm": "два целых первобытных камня"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "одного первобытного камня",
|
||
"ev_arm": "два целых первобытных камня"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "одного первобытного камня",
|
||
"ev_arm": "два целых первобытных камня"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "одного первобытного камня",
|
||
"ev_arm": "шесть первобытных камней"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "одного первобытного камня",
|
||
"ev_arm": "два целых первобытных камня"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "одного первобытного камня... два первобытного камня",
|
||
"ev_arm": "шесть первобытных камней... четыре... один камень"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "два первобытного камня",
|
||
"ev_arm": "два целых первобытных камня"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "одного первобытного камня... первобытных камней",
|
||
"ev_arm": "шесть первобытных камней... первобытные камни"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "два первобытного камня",
|
||
"ev_arm": "шесть первобытных камней"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытного камня; первобытных камней",
|
||
"ev_arm": "первобытных камней; первобытные камни"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "два первобытного камня",
|
||
"ev_arm": "шесть первобытных камней"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытного камня; первобытных камней",
|
||
"ev_arm": "первобытных камней; первобытные камни"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "два первобытного камня",
|
||
"ev_arm": "шесть первобытных камней"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытного камня; первобытных камней",
|
||
"ev_arm": "первобытных камней; первобытные камни"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "два первобытного камня",
|
||
"ev_arm": "шесть первобытных камней"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытного камня; первобытных камней",
|
||
"ev_arm": "первобытных камней; первобытные камни"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "два первобытного камня",
|
||
"ev_arm": "шесть первобытных камней"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытного камня; первобытных камней",
|
||
"ev_arm": "первобытных камней; первобытные камни"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 18,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 21,
|
||
"oracle_frac": 0.797,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ent-10",
|
||
"type": "T-ent",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "теле Фан Юаня",
|
||
"ev_arm": "теле Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань",
|
||
"ev_arm": "Фан Юань"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "теле Фан Юаня... Фан Юань",
|
||
"ev_arm": "теле Фан Юаня... Фан Юань"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "теле Фан Юаня, которому было всего пятнадцать лет",
|
||
"ev_arm": "тело Фан Юаня, пятнадцатилетнего подростка"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "теле Фан Юаня... Фан Юань",
|
||
"ev_arm": "теле Фан Юаня... Фан Юань"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "теле Фан Юаня... Фан Юань продолжал",
|
||
"ev_arm": "Фан Юань осматривался... тело Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "теле Фан Юаня... Фан Юань быстро",
|
||
"ev_arm": "теле Фан Юаня... Фан Юань быстро"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "теле Фан Юаня, которому было всего",
|
||
"ev_arm": "Фан Юань осматривался, его дыхание"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "тела Фан Юаня",
|
||
"ev_arm": "тела Фан Юаня"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юань продолжал протискиваться",
|
||
"ev_arm": "Пока Фан Юань осматривался"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юаня, которому было всего пятнадцать лет",
|
||
"ev_arm": "теле Фан Юаня, пятнадцатилетнего подростка"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юаня, которому было всего пятнадцать лет; Фан Юань продолжал протискиваться",
|
||
"ev_arm": "Фан Юань оказался; Фан Юаня, пятнадцатилетнего подростка"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юаня, которому было всего пятнадцать лет",
|
||
"ev_arm": "теле Фан Юаня, пятнадцатилетнего подростка"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юаня, которому было всего пятнадцать лет. ... Фан Юань продолжал протискиваться",
|
||
"ev_arm": "Фан Юань оказался у одного из таких рукавов; ... Пока Фан Юань осматривался"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юаня, которому было всего пятнадцать лет",
|
||
"ev_arm": "теле Фан Юаня, пятнадцатилетнего подростка"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юаня, которому было всего пятнадцать лет; Фан Юань продолжал протискиваться",
|
||
"ev_arm": "Фан Юань оказался; Фан Юаня, пятнадцатилетнего подростка"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юаня, которому было всего пятнадцать лет",
|
||
"ev_arm": "теле Фан Юаня, пятнадцатилетнего подростка"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юаня, которому было всего пятнадцать лет; Фан Юань продолжал протискиваться",
|
||
"ev_arm": "Фан Юань оказался; Фан Юаня, пятнадцатилетнего подростка"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юаня, которому было всего пятнадцать лет",
|
||
"ev_arm": "теле Фан Юаня, пятнадцатилетнего подростка"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Фан Юаня, которому было всего пятнадцать лет; Фан Юань продолжал протискиваться",
|
||
"ev_arm": "Фан Юань оказался; Фан Юаня, пятнадцатилетнего подростка"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 23,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 27,
|
||
"oracle_frac": 0.26,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ent-11",
|
||
"type": "T-ent",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 1.0,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.0,
|
||
"pairwise": {
|
||
"arm_wins": 0,
|
||
"a0_wins": 0,
|
||
"tie": 20
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.0
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Победивший гу-мастер в центре поля",
|
||
"ev_arm": "Гу-мастер, одержавший победу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Победивший гу-мастер",
|
||
"ev_arm": "суровый и грозный гу-мастер"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Победивший гу-мастер в центре поля",
|
||
"ev_arm": "суровый и грозный гу-мастер"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Победивший гу-мастер",
|
||
"ev_arm": "гу-мастер, одержавший победу"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Победивший гу-мастер в центре поля",
|
||
"ev_arm": "Гу-мастер, одержавший победу в центре поля"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Победивший гу-мастер",
|
||
"ev_arm": "суровый и грозный гу-мастер"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Победивший гу-мастер в центре",
|
||
"ev_arm": "суровый и грозный гу-мастер"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Победивший гу-мастер",
|
||
"ev_arm": "суровый и грозный гу-мастер"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Победивший гу-мастер в центре поля",
|
||
"ev_arm": "Гу-мастер, одержавший победу в центре поля"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Победивший гу-мастер",
|
||
"ev_arm": "Гу-мастер, одержавший победу"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "победивший гу-мастер ... этот хохочущий гу-мастер",
|
||
"ev_arm": "гу-мастер, одержавший победу ... этот смеявшийся гу-мастер"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "гу-мастер в центре поля; распознал гу-мастера Фан Юань",
|
||
"ev_arm": "гу-мастер, одержавший победу; гу-мастера Фан Юань опознал"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "победивший гу-мастер ... этот хохочущий гу-мастер",
|
||
"ev_arm": "гу-мастер, одержавший победу ... этот смеявшийся гу-мастер"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "гу-мастер в центре поля; гу-мастера",
|
||
"ev_arm": "гу-мастер, одержавший победу; гу-мастера"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Победивший гу-мастер в центре поля... Этот хохочущий гу-мастер",
|
||
"ev_arm": "Гу-мастер, одержавший победу... У этого смеявшегося гу-мастера"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "гу-мастер в центре поля; распознал гу-мастера Фан Юань",
|
||
"ev_arm": "гу-мастер, одержавший победу; гу-мастера Фан Юань опознал"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Победивший гу-мастер в центре поля",
|
||
"ev_arm": "Гу-мастер, одержавший победу в центре поля"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "гу-мастер в центре поля; распознал гу-мастера Фан Юань",
|
||
"ev_arm": "гу-мастер, одержавший победу; гу-мастера Фан Юань опознал"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "победивший гу-мастер ... этот хохочущий гу-мастер",
|
||
"ev_arm": "гу-мастер, одержавший победу ... этот смеявшийся гу-мастер"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "гу-мастер в центре поля; Монах Цветочного Вина",
|
||
"ev_arm": "гу-мастер, одержавший победу; гу-мастера"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 24,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 28,
|
||
"oracle_frac": 0.384,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ent-12",
|
||
"type": "T-ent",
|
||
"n_votes": 16,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.344,
|
||
"arm_accuracy": 0.938,
|
||
"paired_diff_arm_minus_a0": 0.594,
|
||
"pairwise": {
|
||
"arm_wins": 10,
|
||
"a0_wins": 1,
|
||
"tie": 5
|
||
},
|
||
"catastrophe": {
|
||
"a0": 9,
|
||
"arm": 1
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.5,
|
||
"without_mistral-large-latest": 0.75
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 2,
|
||
"a0": 1,
|
||
"tie": 5
|
||
},
|
||
"BA": {
|
||
"arm": 8,
|
||
"a0": 0,
|
||
"tie": 0
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 0.833,
|
||
"a0_acc": 0.083,
|
||
"n": 6
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.5,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "господина Цветочное Вино",
|
||
"ev_arm": "Монах Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "господина Цветочное Вино",
|
||
"ev_arm": "Монах Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "господина Цветочное Вино",
|
||
"ev_arm": "Монах Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "господина Цветочное Вино",
|
||
"ev_arm": "Монах Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "wrong",
|
||
"winner": "a0",
|
||
"a0_cat": false,
|
||
"arm_cat": true,
|
||
"ev_a0": "Монах Цветочного Вина",
|
||
"ev_arm": "господином Монахом Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "Цветочным Вином",
|
||
"ev_arm": "Монах Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Монах Цветочного Вина; Монаха Цветочного Вина",
|
||
"ev_arm": "Монах Цветочного Вина; Монаха Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "господин Цветочное Вино",
|
||
"ev_arm": "господином Монахом Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Монах Цветочного Вина; Монаха Цветочного Вина",
|
||
"ev_arm": "Монах Цветочного Вина; Монаха Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "господином Цветочное Вино",
|
||
"ev_arm": "господином Монахом Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "господином Цветочным Вином; Монахом Цветочного Вина",
|
||
"ev_arm": "господином Монахом Цветочного Вина; Монаха Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "господином Цветочное Вино",
|
||
"ev_arm": "господином Монахом Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Монах Цветочного Вина; Монаха Цветочного Вина",
|
||
"ev_arm": "Монах Цветочного Вина; Монаха Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "господином Цветочное Вино",
|
||
"ev_arm": "господином Монахом Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "Монах Цветочного Вина; Монаха Цветочного Вина",
|
||
"ev_arm": "Монах Цветочного Вина; Монаха Цветочного Вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "wrong",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": true,
|
||
"arm_cat": false,
|
||
"ev_a0": "господином Цветочное Вино",
|
||
"ev_arm": "господином Монахом Цветочного Вина"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 25,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 30,
|
||
"oracle_frac": 0.0,
|
||
"full": true
|
||
},
|
||
{
|
||
"trap": "T-ent-13",
|
||
"type": "T-ent",
|
||
"n_votes": 20,
|
||
"parse_fail": 0,
|
||
"budget_truncated": false,
|
||
"a0_accuracy": 0.95,
|
||
"arm_accuracy": 1.0,
|
||
"paired_diff_arm_minus_a0": 0.05,
|
||
"pairwise": {
|
||
"arm_wins": 2,
|
||
"a0_wins": 0,
|
||
"tie": 18
|
||
},
|
||
"catastrophe": {
|
||
"a0": 0,
|
||
"arm": 0
|
||
},
|
||
"leave_one_judge_out": {
|
||
"without_grok-4.3": 0.0,
|
||
"without_mistral-large-latest": 0.1
|
||
},
|
||
"order_bias": {
|
||
"AB": {
|
||
"arm": 2,
|
||
"a0": 0,
|
||
"tie": 8
|
||
},
|
||
"BA": {
|
||
"arm": 0,
|
||
"a0": 0,
|
||
"tie": 10
|
||
}
|
||
},
|
||
"per_judge": {
|
||
"grok-4.3": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 0.9,
|
||
"n": 10
|
||
},
|
||
"mistral-large-latest": {
|
||
"arm_acc": 1.0,
|
||
"a0_acc": 1.0,
|
||
"n": 10
|
||
}
|
||
},
|
||
"votes": [
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "считать каждый первобытный камень",
|
||
"ev_arm": "считать каждый первобытный камень"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "считать каждый первобытный камень",
|
||
"ev_arm": "сам он жалел первобытные камни"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "считать каждый первобытный камень",
|
||
"ev_arm": "считать каждый первобытный камень"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "каждый первобытный камень",
|
||
"ev_arm": "первобытные камни...первобытный камень"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "считать каждый первобытный камень",
|
||
"ev_arm": "считать каждый первобытный камень"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытный камень",
|
||
"ev_arm": "первобытные камни"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "считать каждый первобытный камень",
|
||
"ev_arm": "считать каждый первобытный камень"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытный камень",
|
||
"ev_arm": "первобытные камни"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "AB",
|
||
"a0": "partial",
|
||
"arm": "correct",
|
||
"winner": "arm",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "считать каждый первобытный камень",
|
||
"ev_arm": "считать каждый первобытный камень"
|
||
},
|
||
{
|
||
"judge": "grok-4.3",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "первобытный камень",
|
||
"ev_arm": "первобытные камни"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "каждый первобытный камень",
|
||
"ev_arm": "первобытные камни для культивации"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "приходится считать каждый первобытный камень",
|
||
"ev_arm": "жалел первобытные камни, чтобы выпить этого бамбукового вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "считать каждый первобытный камень",
|
||
"ev_arm": "считать каждый первобытный камень"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "приходится считать каждый первобытный камень",
|
||
"ev_arm": "жалел первобытные камни, чтобы выпить этого бамбукового вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "считать каждый первобытный камень",
|
||
"ev_arm": "тратить первобытные камни / считать каждый первобытный камень"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "приходится считать каждый первобытный камень",
|
||
"ev_arm": "жалел первобытные камни, чтобы выпить этого бамбукового вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "считать каждый первобытный камень",
|
||
"ev_arm": "считать каждый первобытный камень"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "приходится считать каждый первобытный камень",
|
||
"ev_arm": "жалел первобытные камни, чтобы выпить этого бамбукового вина"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "AB",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "каждый первобытный камень",
|
||
"ev_arm": "первобытные камни для культивации"
|
||
},
|
||
{
|
||
"judge": "mistral-large-latest",
|
||
"order": "BA",
|
||
"a0": "correct",
|
||
"arm": "correct",
|
||
"winner": "tie",
|
||
"a0_cat": false,
|
||
"arm_cat": false,
|
||
"ev_a0": "приходится считать каждый первобытный камень",
|
||
"ev_arm": "жалел первобытные камни, чтобы выпить этого бамбукового вина"
|
||
}
|
||
],
|
||
"block": "Q1b",
|
||
"arm": "oracle",
|
||
"flat_chunk": 27,
|
||
"flat_frac": 0.0,
|
||
"oracle_chunk": 32,
|
||
"oracle_frac": 0.606,
|
||
"full": true
|
||
}
|
||
]
|
||
} |