246 lines
No EOL
4.7 KiB
JSON
246 lines
No EOL
4.7 KiB
JSON
{
|
|
"6.0": {
|
|
"traps": [
|
|
"b2"
|
|
],
|
|
"samples": {
|
|
"deepseek-v4-flash": [
|
|
{
|
|
"seed": 0,
|
|
"chars": 5629,
|
|
"finish": "stop",
|
|
"rendered": 1,
|
|
"n_traps": 1,
|
|
"verds": {
|
|
"b2": "fix"
|
|
}
|
|
},
|
|
{
|
|
"seed": 1,
|
|
"chars": 5848,
|
|
"finish": "stop",
|
|
"rendered": 1,
|
|
"n_traps": 1,
|
|
"verds": {
|
|
"b2": "fix"
|
|
}
|
|
},
|
|
{
|
|
"seed": 2,
|
|
"chars": 5620,
|
|
"finish": "stop",
|
|
"rendered": 1,
|
|
"n_traps": 1,
|
|
"verds": {
|
|
"b2": "fix"
|
|
}
|
|
},
|
|
{
|
|
"seed": 3,
|
|
"chars": 5936,
|
|
"finish": "stop",
|
|
"rendered": 1,
|
|
"n_traps": 1,
|
|
"verds": {
|
|
"b2": "fix"
|
|
}
|
|
},
|
|
{
|
|
"seed": 4,
|
|
"chars": 5713,
|
|
"finish": "stop",
|
|
"rendered": 1,
|
|
"n_traps": 1,
|
|
"verds": {
|
|
"b2": "fix"
|
|
}
|
|
}
|
|
],
|
|
"deepseek-v4-pro": [
|
|
{
|
|
"seed": 0,
|
|
"chars": 5853,
|
|
"finish": "stop",
|
|
"rendered": 0,
|
|
"n_traps": 1,
|
|
"verds": {
|
|
"b2": "?"
|
|
}
|
|
},
|
|
{
|
|
"seed": 1,
|
|
"chars": 6173,
|
|
"finish": "stop",
|
|
"rendered": 1,
|
|
"n_traps": 1,
|
|
"verds": {
|
|
"b2": "fix"
|
|
}
|
|
},
|
|
{
|
|
"seed": 2,
|
|
"chars": 5906,
|
|
"finish": "stop",
|
|
"rendered": 1,
|
|
"n_traps": 1,
|
|
"verds": {
|
|
"b2": "fix"
|
|
}
|
|
},
|
|
{
|
|
"seed": 3,
|
|
"chars": 5464,
|
|
"finish": "stop",
|
|
"rendered": 1,
|
|
"n_traps": 1,
|
|
"verds": {
|
|
"b2": "fix"
|
|
}
|
|
},
|
|
{
|
|
"seed": 4,
|
|
"chars": 5610,
|
|
"finish": "stop",
|
|
"rendered": 1,
|
|
"n_traps": 1,
|
|
"verds": {
|
|
"b2": "fix"
|
|
}
|
|
}
|
|
]
|
|
}
|
|
},
|
|
"7.0": {
|
|
"traps": [
|
|
"a1",
|
|
"a2",
|
|
"d2"
|
|
],
|
|
"samples": {
|
|
"deepseek-v4-flash": [
|
|
{
|
|
"seed": 0,
|
|
"chars": 5846,
|
|
"finish": "stop",
|
|
"rendered": 3,
|
|
"n_traps": 3,
|
|
"verds": {
|
|
"a1": "fix",
|
|
"a2": "fix",
|
|
"d2": "fix"
|
|
}
|
|
},
|
|
{
|
|
"seed": 1,
|
|
"chars": 5941,
|
|
"finish": "stop",
|
|
"rendered": 2,
|
|
"n_traps": 3,
|
|
"verds": {
|
|
"a1": "?",
|
|
"a2": "fix",
|
|
"d2": "fix"
|
|
}
|
|
},
|
|
{
|
|
"seed": 2,
|
|
"chars": 5595,
|
|
"finish": "stop",
|
|
"rendered": 3,
|
|
"n_traps": 3,
|
|
"verds": {
|
|
"a1": "fix",
|
|
"a2": "fix",
|
|
"d2": "fix"
|
|
}
|
|
},
|
|
{
|
|
"seed": 3,
|
|
"chars": 6006,
|
|
"finish": "stop",
|
|
"rendered": 3,
|
|
"n_traps": 3,
|
|
"verds": {
|
|
"a1": "fix",
|
|
"a2": "fix",
|
|
"d2": "fix"
|
|
}
|
|
},
|
|
{
|
|
"seed": 4,
|
|
"chars": 6006,
|
|
"finish": "stop",
|
|
"rendered": 3,
|
|
"n_traps": 3,
|
|
"verds": {
|
|
"a1": "fix",
|
|
"a2": "fix",
|
|
"d2": "fix"
|
|
}
|
|
}
|
|
],
|
|
"deepseek-v4-pro": [
|
|
{
|
|
"seed": 0,
|
|
"chars": 6262,
|
|
"finish": "stop",
|
|
"rendered": 3,
|
|
"n_traps": 3,
|
|
"verds": {
|
|
"a1": "fix",
|
|
"a2": "fix",
|
|
"d2": "fix"
|
|
}
|
|
},
|
|
{
|
|
"seed": 1,
|
|
"chars": 5857,
|
|
"finish": "stop",
|
|
"rendered": 3,
|
|
"n_traps": 3,
|
|
"verds": {
|
|
"a1": "fix",
|
|
"a2": "fix",
|
|
"d2": "fix"
|
|
}
|
|
},
|
|
{
|
|
"seed": 2,
|
|
"chars": 6182,
|
|
"finish": "stop",
|
|
"rendered": 2,
|
|
"n_traps": 3,
|
|
"verds": {
|
|
"a1": "?",
|
|
"a2": "fix",
|
|
"d2": "fix"
|
|
}
|
|
},
|
|
{
|
|
"seed": 3,
|
|
"chars": 6082,
|
|
"finish": "stop",
|
|
"rendered": 3,
|
|
"n_traps": 3,
|
|
"verds": {
|
|
"a1": "fail",
|
|
"a2": "fix",
|
|
"d2": "fail"
|
|
}
|
|
},
|
|
{
|
|
"seed": 4,
|
|
"chars": 6202,
|
|
"finish": "stop",
|
|
"rendered": 3,
|
|
"n_traps": 3,
|
|
"verds": {
|
|
"a1": "fix",
|
|
"a2": "fix",
|
|
"d2": "fix"
|
|
}
|
|
}
|
|
]
|
|
}
|
|
}
|
|
} |