ローカルLLMの英日翻訳をブラインドテストして分かったこと
きっかけ
洋書や英語の技術書を読むときの下訳にローカルLLMを使いたくて、どのモデルを使うのが一番いいのかを検証しました。
ネット上の評判や数問試しただけの感想だと、どれもそこそこ読めるで終わってしまいます。そこで、モデル名を伏せた状態でランダムに訳文を並べ、純粋に日本語としてどちらが自然かを判定するスクリプトを組んで、本格的にブラインドテスト（A/Bテスト）をやってみることにしました。
学んだこと
哲学・文学・技術・ビジネスなど複数ジャンルの書籍から段落を抜き出し、Qwen（3.6 / 3.8）、gpt-oss-120b、gemma-4-26b-a4b などを比較して、最終的に以下のことが分かりました。
- 推論時間（thinking）を増やしても品質は上がらない：思考設定を「high」や「xhigh」に上げても、通常設定との比較で引き分けになるだけでした。特に Qwen3.8 xhigh は1問に約7分（410秒）もかかった上に途中でトークン切れを起こすなど、翻訳用途では全く見合いません。
- テストの規模で結論が覆った：
- 最初の段階（24問・3モデルなどの小規模比較）では明確な差が出ず、「品質に大差ないなら、1問約16秒で最速の gpt-oss-120b medium が第一候補」となりました。
- しかし、上位候補だった gpt-oss-120b と gemma-4-26b に絞って48問の1対1テストを実施したところ、gemma4 が38問（79%）でベストに選ばれ、前回の結論を覆して圧勝しました。
自分なりの理解
今回の検証を通して、「翻訳の賢さ」と「日本語のこなれ感」は別物と感じました。
重大な誤訳があるかどうかで言えば、どのモデルもエラーはほぼゼロ（全試験通して2件だけ）でした。差がついたのは誤訳の有無ではなく、「原文の構造に引きずられた硬い直訳」か「自然に意味が頭に入ってくる日本語」かという、文章のほぐし方の部分です。
思考トークンを何千と吐いて長考するモデルは、構文解析や意味の検証を念入りにやっているのかもしれませんが、それが「読みやすい訳文」につながるわけではありませんでした。むしろ時間は数倍に伸びるのに、出来上がる日本語は変わらないか、かえってぎこちなくなることすらありました。
また、小規模な比較や3つ巴のテストだと票が割れて「どれも同等」に見えてしまいがちです。じっくり1対1で問題数を増やして検証して初めて、120Bの大型モデルよりも26BのGemmaのほうが日本語の出力において一枚上手だった、という実用上の差が見えました。
実践へのつなげ方
最初の試験段階では「一番速いから」という理由で gpt-oss-120b をメインにするつもりでしたが、この方針を変更します。
普段の読書や下訳の標準モデルには、一読して一番ストレスなく読めた gemma-4-26b-a4b（デフォルト設定）を採用します。1問あたり約33秒かかりますが、後から日本語のよさを優先したいと思います。
一方で、数百ページを一気に流し込むようなバッチ処理や、スピード最優先でざっくり意味だけ掴みたい場面に限っては、約15秒で終わる gpt-oss-120b（medium）を使う、という形で使い分けを検討します。
次に試すこと
gpt-oss-120b をベースに日本語データセットで追加学習され、日本語能力が強化された派生モデルを使って、今回の勝者である Gemma ともう一度ブラインド比較をやってみます。
gpt-oss-120b が、「日本語のこなれ感」が向上すればgemma-4-26b-a4bとこれほど差がつかなかったかもしれません。生成スピードだけで言えば1問約15秒と Gemma の倍速いので、もし日本語のアウトプットが強化された派生モデルで自然な文章が出せるなら、日常使いの本命がまた入れ替わる可能性があります。同じ48問の洋書データを使って、速度と自然さを両立できるか確かめてみたいです。