翻訳特化モデルは汎用LLMを超えられるか？洋書段落の盲検比較で分かったこと

きっかけ

「汎用モデルを上回る」と謳われる翻訳特化モデル（TranslateGemma 12B、Hy-MT2-30B-A3B、PLaMo-2-translate など）がいくつか登場し、ベンチマーク上でも高いスコアが報告されていました。

普段ローカル環境での英文読解に使っている gemma-4-26b-a4b の代わりとして、より高速・高精度な翻訳パイプラインを組めないかと考え、洋書の段落（60〜150語）を題材にした A/B 盲検評価（Claude によるブラインド評価）を行って性能を比較してみました。

段落翻訳では gemma-4（thinking あり）の圧勝
gemma-4が特化モデルに対して大差で圧勝。gemma-4 の勝率は 86〜96%（p < 0.0001）でした。
翻訳特化モデルの共通の弱点は「論理の破綻」
単文テストや自動評価指標（chrF）では良好に見える特化モデルも、複文が入り混じる段落になると「unless」を逆の意味に解釈したり、主客や因果関係を取り違えるといった致命的な誤訳・脱落が頻発しました。
速度を求める場合も「gemma-4 の thinking なし」が最適
gemma-4 の thinking なしは、特化モデルの最速クラス（Hy-MT2 の約2.7秒/問）とほぼ同等（約3.0秒/問）の速さで動作しつつ、Hy-MT2 に 32勝9敗で勝ち越しました。

現状、品質重視（thinking あり・約30秒）でも速度重視（thinking なし・約3秒）でも、翻訳特化モデルを優先して採用する理由は見出せませんでした。

翻訳というタスクは、単なる「単語や構文の対訳（マッピング）」ではなく、「前後の文脈を踏まえて論理構造を正しく把握する（深い読解力・推論力）」が本質であると改めて感じました。

公開ベンチマークのような1文単位のテストでは、原文の語順に沿って置き換えるだけでもスコアが良く見えます。しかし、実際の書籍のように複数の条件節や代名詞、慣用表現が絡み合う段落では、表面的な翻訳パターンだけでは意味が正反対になってしまいます。

汎用LLMが持つ基礎的な論理的推論力や世界知識、そして推論プロセス（thinking）が、結果として「意味を取り違えない自然な翻訳」を支えているのだと理解しました。

ローカル環境での英文読解・書籍翻訳パイプラインには、特化モデルではなく gemma-4-26b-a4b を軸に据え、用途に応じてモードを切り替えて使います。

精読・重要文書（論文・書籍の主論点など）:
thinking あり（生成時間は1段落約30秒かかるものの、誤訳・脱落が極めて少なく、安心して読める訳文を得る）。
速読・ブラウジング（概要把握・多読など）:
thinking なし（1段落約3秒で特化モデル並みにサクサク動作し、大枠の論理を崩さずに読み進める）。

gemma-4のプロンプト調整での最適化。 gemma-4（thinking なし）は高速で優秀な一方、thinking ありと比べると脱落（訳抜け）が増えるため、プロンプト側で「原文の文脈や条件を漏らさず反映すること」を明示的に指示し、脱落をどこまで抑えられるかを検証してもいいかもしれません。