976 lines
No EOL
16 KiB
JSON
976 lines
No EOL
16 KiB
JSON
{
|
||
"raw": [
|
||
{
|
||
"judge": "gemini",
|
||
"chapter": 5,
|
||
"rep": 0,
|
||
"labels": {
|
||
"1": "A6",
|
||
"2": "A3",
|
||
"3": "A2",
|
||
"4": "A4",
|
||
"5": "A0",
|
||
"6": "A1"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
3,
|
||
6,
|
||
1,
|
||
4,
|
||
2,
|
||
5
|
||
],
|
||
"fidelity": {
|
||
"1": 4,
|
||
"2": 3,
|
||
"3": 4,
|
||
"4": 3,
|
||
"5": 3,
|
||
"6": 4
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.10192,
|
||
"raw": "```json\n{\"ranking\":[3,6,1,4,2,5],\"fidelity\":{\"1\":4,\"2\":3,\"3\":4,\"4\":3,\"5\":3,\"6\":4}}\n```",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "gemini",
|
||
"chapter": 5,
|
||
"rep": 1,
|
||
"labels": {
|
||
"1": "A6",
|
||
"2": "A1",
|
||
"3": "A0",
|
||
"4": "A3",
|
||
"5": "A2",
|
||
"6": "A4"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
5,
|
||
2,
|
||
1,
|
||
6,
|
||
3,
|
||
4
|
||
],
|
||
"fidelity": {
|
||
"1": 4,
|
||
"2": 4,
|
||
"3": 3,
|
||
"4": 3,
|
||
"5": 5,
|
||
"6": 3
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.09242,
|
||
"raw": "```json\n{\"ranking\":[5,2,1,6,3,4],\"fidelity\":{\"1\":4,\"2\":4,\"3\":3,\"4\":3,\"5\":5,\"6\":3}}\n```",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "gemini",
|
||
"chapter": 5,
|
||
"rep": 2,
|
||
"labels": {
|
||
"1": "A2",
|
||
"2": "A3",
|
||
"3": "A4",
|
||
"4": "A1",
|
||
"5": "A0",
|
||
"6": "A6"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
1,
|
||
4,
|
||
6,
|
||
3,
|
||
2,
|
||
5
|
||
],
|
||
"fidelity": {
|
||
"1": 4,
|
||
"2": 2,
|
||
"3": 3,
|
||
"4": 4,
|
||
"5": 2,
|
||
"6": 4
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.12228,
|
||
"raw": "```json\n{\"ranking\":[1,4,6,3,2,5],\"fidelity\":{\"1\":4,\"2\":2,\"3\":3,\"4\":4,\"5\":2,\"6\":4}}\n```",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "gemini",
|
||
"chapter": 7,
|
||
"rep": 0,
|
||
"labels": {
|
||
"1": "A4",
|
||
"2": "A2",
|
||
"3": "A6",
|
||
"4": "A0",
|
||
"5": "A3",
|
||
"6": "A1"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
2,
|
||
6,
|
||
1,
|
||
4,
|
||
5,
|
||
3
|
||
],
|
||
"fidelity": {
|
||
"1": 3,
|
||
"2": 5,
|
||
"3": 3,
|
||
"4": 3,
|
||
"5": 3,
|
||
"6": 4
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.13235,
|
||
"raw": "```json\n{\"ranking\":[2,6,1,4,5,3],\"fidelity\":{\"1\":3,\"2\":5,\"3\":3,\"4\":3,\"5\":3,\"6\":4}}\n```",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "gemini",
|
||
"chapter": 7,
|
||
"rep": 1,
|
||
"labels": {
|
||
"1": "A4",
|
||
"2": "A2",
|
||
"3": "A1",
|
||
"4": "A6",
|
||
"5": "A3",
|
||
"6": "A0"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
2,
|
||
3,
|
||
1,
|
||
6,
|
||
5,
|
||
4
|
||
],
|
||
"fidelity": {
|
||
"1": 4,
|
||
"2": 5,
|
||
"3": 4,
|
||
"4": 4,
|
||
"5": 4,
|
||
"6": 4
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.10835,
|
||
"raw": "```json\n{\"ranking\":[2,3,1,6,5,4],\"fidelity\":{\"1\":4,\"2\":5,\"3\":4,\"4\":4,\"5\":4,\"6\":4}}\n```",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "gemini",
|
||
"chapter": 7,
|
||
"rep": 2,
|
||
"labels": {
|
||
"1": "A3",
|
||
"2": "A1",
|
||
"3": "A6",
|
||
"4": "A2",
|
||
"5": "A0",
|
||
"6": "A4"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
4,
|
||
2,
|
||
5,
|
||
3,
|
||
1,
|
||
6
|
||
],
|
||
"fidelity": {
|
||
"1": 4,
|
||
"2": 4,
|
||
"3": 4,
|
||
"4": 5,
|
||
"5": 4,
|
||
"6": 3
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.13233,
|
||
"raw": "```json\n{\"ranking\":[4,2,5,3,1,6],\"fidelity\":{\"1\":4,\"2\":4,\"3\":4,\"4\":5,\"5\":4,\"6\":3}}\n```",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "gemini",
|
||
"chapter": 14,
|
||
"rep": 0,
|
||
"labels": {
|
||
"1": "A3",
|
||
"2": "A4",
|
||
"3": "A2",
|
||
"4": "A1",
|
||
"5": "A6",
|
||
"6": "A0"
|
||
},
|
||
"result": null,
|
||
"ok": false,
|
||
"cost": 0.14123,
|
||
"raw": "деть, как выглядит Винный червь, но смутно ощущал: тот настороже.\" - Perfect.\n\n\"方源退得很慢，很轻柔，尽量不惊动酒虫。\"\n\"Фан Юань отступал очень медленно, очень плавно, стараясь не потревожить Винного червя.\" - Perfect.\n\n\"他知道，酒虫若要飞走，以自己的速度根本就赶不上，只有等到它喝酒喝得醉醺醺，飞行速度慢下来，才有机会捕捉。\"\n\"Он знал: если Винный червь вздумает улететь, ему со своей скоростью его не догнать. Только когда тот напьётся допьяна и полетит медленнее, появится шанс его поймать.\" - Perfect.\n\n\"见方源退得越来越远，趴在竹竿上的酒虫，身子忍不住骚动起来。\"\n\"Видя, что Фан Юань отходит всё дальше, Винный червь, сидевший на бамбуковом стволе, невольно заволновался.\" - Perfect.\n\n\"前面强烈的酒香，诱惑着它，吸引着它，让它为之魂牵梦绕。若是它有口水，只怕此时早就滴下口水一大滩了。\"\n\"Сильный аромат вина манил его, притягивал, не давал покоя. Если бы у него была слюна, она бы уже целой",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "gemini",
|
||
"chapter": 14,
|
||
"rep": 1,
|
||
"labels": {
|
||
"1": "A1",
|
||
"2": "A4",
|
||
"3": "A6",
|
||
"4": "A3",
|
||
"5": "A2",
|
||
"6": "A0"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
5,
|
||
1,
|
||
4,
|
||
3,
|
||
6,
|
||
2
|
||
],
|
||
"fidelity": {
|
||
"1": 4,
|
||
"2": 4,
|
||
"3": 4,
|
||
"4": 4,
|
||
"5": 5,
|
||
"6": 4
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.13796,
|
||
"raw": "```json\n{\"ranking\":[5,1,4,3,6,2],\"fidelity\":{\"1\":4,\"2\":4,\"3\":4,\"4\":4,\"5\":5,\"6\":4}}\n```",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "gemini",
|
||
"chapter": 14,
|
||
"rep": 2,
|
||
"labels": {
|
||
"1": "A2",
|
||
"2": "A6",
|
||
"3": "A3",
|
||
"4": "A4",
|
||
"5": "A0",
|
||
"6": "A1"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
1,
|
||
6,
|
||
3,
|
||
4,
|
||
2,
|
||
5
|
||
],
|
||
"fidelity": {
|
||
"1": 5,
|
||
"2": 4,
|
||
"3": 4,
|
||
"4": 4,
|
||
"5": 3,
|
||
"6": 4
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.13794,
|
||
"raw": "```json\n{\"ranking\":[1,6,3,4,2,5],\"fidelity\":{\"1\":5,\"2\":4,\"3\":4,\"4\":4,\"5\":3,\"6\":4}}\n```",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "grok",
|
||
"chapter": 5,
|
||
"rep": 0,
|
||
"labels": {
|
||
"1": "A2",
|
||
"2": "A0",
|
||
"3": "A5",
|
||
"4": "A1"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
1,
|
||
2,
|
||
4,
|
||
3
|
||
],
|
||
"fidelity": {
|
||
"1": 5,
|
||
"2": 4,
|
||
"3": 2,
|
||
"4": 3
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.01332,
|
||
"raw": "{\"ranking\":[1,2,4,3],\"fidelity\":{\"1\":5,\"2\":4,\"3\":2,\"4\":3}}",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "grok",
|
||
"chapter": 5,
|
||
"rep": 1,
|
||
"labels": {
|
||
"1": "A5",
|
||
"2": "A2",
|
||
"3": "A0",
|
||
"4": "A1"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
2,
|
||
1,
|
||
3,
|
||
4
|
||
],
|
||
"fidelity": {
|
||
"1": 4,
|
||
"2": 5,
|
||
"3": 2,
|
||
"4": 2
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.01332,
|
||
"raw": "{\"ranking\":[2,1,3,4],\"fidelity\":{\"1\":4,\"2\":5,\"3\":2,\"4\":2}}",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "grok",
|
||
"chapter": 5,
|
||
"rep": 2,
|
||
"labels": {
|
||
"1": "A1",
|
||
"2": "A2",
|
||
"3": "A0",
|
||
"4": "A5"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
2,
|
||
1,
|
||
3,
|
||
4
|
||
],
|
||
"fidelity": {
|
||
"1": 5,
|
||
"2": 5,
|
||
"3": 4,
|
||
"4": 3
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.01332,
|
||
"raw": "{\"ranking\":[2,1,3,4],\"fidelity\":{\"1\":5,\"2\":5,\"3\":4,\"4\":3}}",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "grok",
|
||
"chapter": 7,
|
||
"rep": 0,
|
||
"labels": {
|
||
"1": "A2",
|
||
"2": "A5",
|
||
"3": "A1",
|
||
"4": "A0"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
2,
|
||
1,
|
||
3,
|
||
4
|
||
],
|
||
"fidelity": {
|
||
"1": 5,
|
||
"2": 5,
|
||
"3": 4,
|
||
"4": 4
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.01761,
|
||
"raw": "{\"ranking\":[2,1,3,4],\"fidelity\":{\"1\":5,\"2\":5,\"3\":4,\"4\":4}}",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "grok",
|
||
"chapter": 7,
|
||
"rep": 1,
|
||
"labels": {
|
||
"1": "A1",
|
||
"2": "A5",
|
||
"3": "A0",
|
||
"4": "A2"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
2,
|
||
4,
|
||
1,
|
||
3
|
||
],
|
||
"fidelity": {
|
||
"1": 3,
|
||
"2": 5,
|
||
"3": 2,
|
||
"4": 4
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.01761,
|
||
"raw": "{\"ranking\":[2,4,1,3],\"fidelity\":{\"1\":3,\"2\":5,\"3\":2,\"4\":4}}",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "grok",
|
||
"chapter": 7,
|
||
"rep": 2,
|
||
"labels": {
|
||
"1": "A0",
|
||
"2": "A5",
|
||
"3": "A2",
|
||
"4": "A1"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
2,
|
||
3,
|
||
1,
|
||
4
|
||
],
|
||
"fidelity": {
|
||
"1": 4,
|
||
"2": 5,
|
||
"3": 4,
|
||
"4": 4
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.01761,
|
||
"raw": "{\"ranking\":[2,3,1,4],\"fidelity\":{\"1\":4,\"2\":5,\"3\":4,\"4\":4}}",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "grok",
|
||
"chapter": 14,
|
||
"rep": 0,
|
||
"labels": {
|
||
"1": "A5",
|
||
"2": "A2",
|
||
"3": "A1",
|
||
"4": "A0"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
2,
|
||
1,
|
||
3,
|
||
4
|
||
],
|
||
"fidelity": {
|
||
"1": 5,
|
||
"2": 5,
|
||
"3": 4,
|
||
"4": 3
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.01984,
|
||
"raw": "{\"ranking\":[2,1,3,4],\"fidelity\":{\"1\":5,\"2\":5,\"3\":4,\"4\":3}}",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "grok",
|
||
"chapter": 14,
|
||
"rep": 1,
|
||
"labels": {
|
||
"1": "A1",
|
||
"2": "A2",
|
||
"3": "A0",
|
||
"4": "A5"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
2,
|
||
1,
|
||
3,
|
||
4
|
||
],
|
||
"fidelity": {
|
||
"1": 5,
|
||
"2": 5,
|
||
"3": 4,
|
||
"4": 3
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.01984,
|
||
"raw": "{\"ranking\":[2,1,3,4],\"fidelity\":{\"1\":5,\"2\":5,\"3\":4,\"4\":3}}",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "grok",
|
||
"chapter": 14,
|
||
"rep": 2,
|
||
"labels": {
|
||
"1": "A2",
|
||
"2": "A1",
|
||
"3": "A5",
|
||
"4": "A0"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
1,
|
||
2,
|
||
3
|
||
],
|
||
"fidelity": {
|
||
"1": 5,
|
||
"2": 4,
|
||
"3": 3
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.01982,
|
||
"raw": "{\"ranking\":[1,2,3],\"fidelity\":{\"1\":5,\"2\":4,\"3\":3}}",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "gpt5mini",
|
||
"chapter": 5,
|
||
"rep": 0,
|
||
"labels": {
|
||
"1": "A5",
|
||
"2": "A4",
|
||
"3": "A6",
|
||
"4": "A2",
|
||
"5": "A3",
|
||
"6": "A0",
|
||
"7": "A1"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
1,
|
||
4,
|
||
3,
|
||
2,
|
||
5,
|
||
6,
|
||
7
|
||
],
|
||
"fidelity": {
|
||
"1": 5,
|
||
"2": 5,
|
||
"3": 5,
|
||
"4": 5,
|
||
"5": 4,
|
||
"6": 4,
|
||
"7": 4
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.00447,
|
||
"raw": "{\"ranking\":[1,4,3,2,5,6,7],\"fidelity\":{\"1\":5,\"2\":5,\"3\":5,\"4\":5,\"5\":4,\"6\":4,\"7\":4}}",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "gpt5mini",
|
||
"chapter": 5,
|
||
"rep": 1,
|
||
"labels": {
|
||
"1": "A6",
|
||
"2": "A1",
|
||
"3": "A5",
|
||
"4": "A3",
|
||
"5": "A4",
|
||
"6": "A2",
|
||
"7": "A0"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
3,
|
||
6,
|
||
1,
|
||
2,
|
||
5,
|
||
4,
|
||
7
|
||
],
|
||
"fidelity": {
|
||
"1": 5,
|
||
"2": 5,
|
||
"3": 5,
|
||
"4": 4,
|
||
"5": 4,
|
||
"6": 5,
|
||
"7": 4
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.00447,
|
||
"raw": "{\"ranking\":[3,6,1,2,5,4,7],\"fidelity\":{\"1\":5,\"2\":5,\"3\":5,\"4\":4,\"5\":4,\"6\":5,\"7\":4}}",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "gpt5mini",
|
||
"chapter": 5,
|
||
"rep": 2,
|
||
"labels": {
|
||
"1": "A0",
|
||
"2": "A6",
|
||
"3": "A2",
|
||
"4": "A3",
|
||
"5": "A1",
|
||
"6": "A5",
|
||
"7": "A4"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
6,
|
||
3,
|
||
1,
|
||
2,
|
||
4,
|
||
5,
|
||
7
|
||
],
|
||
"fidelity": {
|
||
"1": 5,
|
||
"2": 5,
|
||
"3": 5,
|
||
"4": 5,
|
||
"5": 5,
|
||
"6": 4,
|
||
"7": 5
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.00447,
|
||
"raw": "{\"ranking\":[6,3,1,2,4,5,7],\"fidelity\":{\"1\":5,\"2\":5,\"3\":5,\"4\":5,\"5\":5,\"6\":4,\"7\":5}}",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "gpt5mini",
|
||
"chapter": 7,
|
||
"rep": 0,
|
||
"labels": {
|
||
"1": "A2",
|
||
"2": "A5",
|
||
"3": "A0",
|
||
"4": "A3",
|
||
"5": "A6",
|
||
"6": "A4",
|
||
"7": "A1"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
2,
|
||
1,
|
||
3,
|
||
7,
|
||
4,
|
||
5,
|
||
6
|
||
],
|
||
"fidelity": {
|
||
"1": 5,
|
||
"2": 5,
|
||
"3": 5,
|
||
"4": 5,
|
||
"5": 5,
|
||
"6": 5,
|
||
"7": 5
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.00594,
|
||
"raw": "{\"ranking\":[2,1,3,7,4,5,6],\"fidelity\":{\"1\":5,\"2\":5,\"3\":5,\"4\":5,\"5\":5,\"6\":5,\"7\":5}}",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "gpt5mini",
|
||
"chapter": 7,
|
||
"rep": 1,
|
||
"labels": {
|
||
"1": "A0",
|
||
"2": "A2",
|
||
"3": "A5",
|
||
"4": "A1",
|
||
"5": "A6",
|
||
"6": "A4",
|
||
"7": "A3"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
3,
|
||
1,
|
||
2,
|
||
6,
|
||
4,
|
||
5,
|
||
7
|
||
],
|
||
"fidelity": {
|
||
"1": 5,
|
||
"2": 5,
|
||
"3": 5,
|
||
"4": 5,
|
||
"5": 4,
|
||
"6": 5,
|
||
"7": 4
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.00594,
|
||
"raw": "{\"ranking\":[3,1,2,6,4,5,7],\"fidelity\":{\"1\":5,\"2\":5,\"3\":5,\"4\":5,\"5\":4,\"6\":5,\"7\":4}}",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "gpt5mini",
|
||
"chapter": 7,
|
||
"rep": 2,
|
||
"labels": {
|
||
"1": "A1",
|
||
"2": "A2",
|
||
"3": "A3",
|
||
"4": "A0",
|
||
"5": "A5",
|
||
"6": "A4",
|
||
"7": "A6"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
5,
|
||
1,
|
||
2,
|
||
3,
|
||
4,
|
||
6,
|
||
7
|
||
],
|
||
"fidelity": {
|
||
"1": 5,
|
||
"2": 5,
|
||
"3": 5,
|
||
"4": 5,
|
||
"5": 5,
|
||
"6": 5,
|
||
"7": 5
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.00594,
|
||
"raw": "{\"ranking\":[5,1,2,3,4,6,7],\"fidelity\":{\"1\":5,\"2\":5,\"3\":5,\"4\":5,\"5\":5,\"6\":5,\"7\":5}}",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "gpt5mini",
|
||
"chapter": 14,
|
||
"rep": 0,
|
||
"labels": {
|
||
"1": "A1",
|
||
"2": "A0",
|
||
"3": "A6",
|
||
"4": "A5",
|
||
"5": "A2",
|
||
"6": "A3",
|
||
"7": "A4"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
4,
|
||
1,
|
||
5,
|
||
2,
|
||
7,
|
||
3,
|
||
6
|
||
],
|
||
"fidelity": {
|
||
"1": 5,
|
||
"2": 5,
|
||
"3": 5,
|
||
"4": 5,
|
||
"5": 5,
|
||
"6": 5,
|
||
"7": 5
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.00673,
|
||
"raw": "{\"ranking\":[4,1,5,2,7,3,6],\"fidelity\":{\"1\":5,\"2\":5,\"3\":5,\"4\":5,\"5\":5,\"6\":5,\"7\":5}}",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "gpt5mini",
|
||
"chapter": 14,
|
||
"rep": 1,
|
||
"labels": {
|
||
"1": "A1",
|
||
"2": "A5",
|
||
"3": "A2",
|
||
"4": "A4",
|
||
"5": "A6",
|
||
"6": "A0",
|
||
"7": "A3"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
2,
|
||
3,
|
||
1,
|
||
5,
|
||
4,
|
||
6,
|
||
7
|
||
],
|
||
"fidelity": {
|
||
"1": 5,
|
||
"2": 5,
|
||
"3": 5,
|
||
"4": 4,
|
||
"5": 5,
|
||
"6": 4,
|
||
"7": 4
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.00673,
|
||
"raw": "{\"ranking\":[2,3,1,5,4,6,7],\"fidelity\":{\"1\":5,\"2\":5,\"3\":5,\"4\":4,\"5\":5,\"6\":4,\"7\":4}}",
|
||
"err": null
|
||
},
|
||
{
|
||
"judge": "gpt5mini",
|
||
"chapter": 14,
|
||
"rep": 2,
|
||
"labels": {
|
||
"1": "A1",
|
||
"2": "A5",
|
||
"3": "A0",
|
||
"4": "A2",
|
||
"5": "A6",
|
||
"6": "A4",
|
||
"7": "A3"
|
||
},
|
||
"result": {
|
||
"ranking": [
|
||
2,
|
||
4,
|
||
1,
|
||
3,
|
||
6,
|
||
5,
|
||
7
|
||
],
|
||
"fidelity": {
|
||
"1": 5,
|
||
"2": 5,
|
||
"3": 5,
|
||
"4": 5,
|
||
"5": 5,
|
||
"6": 5,
|
||
"7": 5
|
||
}
|
||
},
|
||
"ok": true,
|
||
"cost": 0.00673,
|
||
"raw": "{\"ranking\":[2,4,1,3,6,5,7],\"fidelity\":{\"1\":5,\"2\":5,\"3\":5,\"4\":5,\"5\":5,\"6\":5,\"7\":5}}",
|
||
"err": null
|
||
}
|
||
],
|
||
"summary": {
|
||
"A0": {
|
||
"arm": "A0",
|
||
"gemini_style": 0.8,
|
||
"gemini_fid": 3.0,
|
||
"grok_style": 0.667,
|
||
"grok_fid": 4.0,
|
||
"gpt5mini_style": 0.5,
|
||
"gpt5mini_fid": 5.0,
|
||
"style_combined_norm": 0.656,
|
||
"fid_combined": 4.0
|
||
},
|
||
"A1": {
|
||
"arm": "A1",
|
||
"gemini_style": 0.2,
|
||
"gemini_fid": 4.0,
|
||
"grok_style": 0.667,
|
||
"grok_fid": 4.0,
|
||
"gpt5mini_style": 0.5,
|
||
"gpt5mini_fid": 5.0,
|
||
"style_combined_norm": 0.456,
|
||
"fid_combined": 4.33
|
||
},
|
||
"A2": {
|
||
"arm": "A2",
|
||
"gemini_style": 0.0,
|
||
"gemini_fid": 5.0,
|
||
"grok_style": 0.0,
|
||
"grok_fid": 5.0,
|
||
"gpt5mini_style": 0.167,
|
||
"gpt5mini_fid": 5.0,
|
||
"style_combined_norm": 0.056,
|
||
"fid_combined": 5.0
|
||
},
|
||
"A3": {
|
||
"arm": "A3",
|
||
"gemini_style": 0.8,
|
||
"gemini_fid": 3.5,
|
||
"gpt5mini_style": 0.833,
|
||
"gpt5mini_fid": 5.0,
|
||
"style_combined_norm": 0.817,
|
||
"fid_combined": 4.25
|
||
},
|
||
"A4": {
|
||
"arm": "A4",
|
||
"gemini_style": 0.6,
|
||
"gemini_fid": 3.0,
|
||
"gpt5mini_style": 0.667,
|
||
"gpt5mini_fid": 5.0,
|
||
"style_combined_norm": 0.633,
|
||
"fid_combined": 4.0
|
||
},
|
||
"A5": {
|
||
"arm": "A5",
|
||
"grok_style": 0.333,
|
||
"grok_fid": 4.0,
|
||
"gpt5mini_style": 0.0,
|
||
"gpt5mini_fid": 5.0,
|
||
"style_combined_norm": 0.167,
|
||
"fid_combined": 4.5
|
||
},
|
||
"A6": {
|
||
"arm": "A6",
|
||
"gemini_style": 0.6,
|
||
"gemini_fid": 4.0,
|
||
"gpt5mini_style": 0.833,
|
||
"gpt5mini_fid": 5.0,
|
||
"style_combined_norm": 0.716,
|
||
"fid_combined": 4.5
|
||
}
|
||
},
|
||
"total_cost": 1.3105,
|
||
"repeats": 3
|
||
} |