RTX 4070 12GB · 翻訳比較
PLaMo 3 Translate × Gemma 4 QAT + MTP · 4096 tokens · 英日 / 日英 · 2026-11-05
各問の正確性スコア
各問10点:意味6・情報の完全性3・固有表現等1。最終訳なしは0点。CodexによるAI参考採点で、文体だけでは減点しません。数字を押すと、その問とモデルの訳文を表示します。
P=PLaMo、E2/E4/12=Gemma QAT。無=思考なし、有=思考あり。部分訳は訳出範囲を反映。小差は採点者や基準で逆転し得ます。
通常12問
| 問題 | P0.8 | P2 | P8 | E2無 | E2有 | E4無 | E4有 | 12無 | 12有 |
|---|
| EN-S1 | | | | | | | | | |
| EN-S2 | | | | | | | | | |
| JA-S1 | | | | | | | | | |
| JA-S2 | | | | | | | | | |
| EN-M1 | | | | | | | | | |
| JA-M1 | | | | | | | | | |
| EN-M2 | | | | | | | | | |
| JA-M2 | | | | | | | | | |
| EN-L1 | | | | | | | | | |
| JA-L1 | | | | | | | | | |
| EN-L2 | | | | | | | | | |
| JA-L2 | | | | | | | | | |
| 合計 /120 | 109.5 | 114.0 | 116.0 | 106.5 | 113.0 | 113.0 | 112.5 | 114.0 | 97.5 |
|---|
追加長文2問
| 問題 | P0.8 | P2 | P8 | E2無 | E2有 | E4無 | E4有 | 12無 | 12有 |
|---|
| EN-XL | | | | | | | | | |
| JA-XL | | | | | | | | | |
| 合計 /20 | 15.5 | 17.5 | 17.5 | 13.5 | 13.7 | 15.5 | 16.5 | 17.5 | 1.3 |
|---|
100点換算(通常12問)
| 条件 | 全問 | 訳出ありのみ | 全14問・参考 |
|---|
| PLaMo 8B | 96.7 | 96.7 (12問) | 95.4 |
| PLaMo 2B | 95.0 | 95.0 (12問) | 93.9 |
| Gemma 12B 思考なし | 95.0 | 95.0 (12問) | 93.9 |
| Gemma E2B 思考あり | 94.2 | 94.2 (12問) | 90.5 |
| Gemma E4B 思考なし | 94.2 | 94.2 (12問) | 91.8 |
| Gemma E4B 思考あり | 93.8 | 93.8 (12問) | 92.1 |
| PLaMo 0.8B | 91.3 | 91.3 (12問) | 89.3 |
| Gemma E2B 思考なし | 88.8 | 88.8 (12問) | 85.7 |
| Gemma 12B 思考あり | 81.3 | 97.5 (10問) | 70.6 |
100点換算は得点の換算値です。訳出ありのみの列は最終訳がなかった問題を除いています。詳細な採点基準・減点理由はaccuracy-scores.mdとJSONに保存。
自作原文12本を各3回。各原文の中央値を長さ別に平均。思考ありは思考時間を含みます。ロード・ウォームアップは除外。品質の注記はCodexによる原文照合で、人間独立採点ではありません。
追加長文・容量試験
英語約978語/日本語約2400字。4096トークン、各1回。失敗の秒数は停止までの時間です。
| 条件 | 英→日 / 秒・状態 | 日→英 / 秒・状態 |
|---|
| PLaMo 0.8B | 2.50 / 完走 | 2.25 / 完走 |
| PLaMo 2B | 5.98 / 完走 | 5.44 / 完走 |
| PLaMo 8B | 14.39 / 完走 | 13.24 / 完走 |
| Gemma E2B / 思考なし | 6.85 / 完走 | 5.18 / 完走 |
| Gemma E2B / 思考あり | 8.81 / 完走 | 8.53 / 途中で上限 |
| Gemma E4B / 思考なし | 9.43 / 完走 | 6.73 / 完走 |
| Gemma E4B / 思考あり | 11.87 / 完走 | 10.63 / 完走 |
| Gemma 12B / 思考なし | 29.60 / 完走 | 21.56 / 完走 |
| Gemma 12B / 思考あり | 48.93 / 訳なし・上限 | 44.91 / 途中で上限 |
原文と訳文を比較
訳文は初回測定。各回の時間はrawデータに保存しています。英語長文486/491語、日本語長文1250/1176字。この長さを超える文書への一般化には追加測定が必要です。