ローカルLLMの翻訳性能比較：gpt-oss-120b、Gemma 4、Qwenシリーズを試して見えたモデル選定

日常的に利用するローカルLLMにおいて、「翻訳の自然さ」と「レスポンス速度」のバランスは常に悩ましい問題です。

以前は gpt-oss-120b をメインに利用しており、こなれた表現や日本語としての自然さに満足していました。しかし、モデルサイズの大きさゆえに取り回し（プロンプトを渡すまでの準備やリソース消費）にやや手間がかかるため、最近は手軽に動かせる gemma-4-26b-a4b を日常使いにシフトしていました。

改めて過去の訳文を見返したことをきっかけに、各モデルの翻訳精度と「推論（Thinking）モード」の挙動を比較・検証してみました。

きっかけ

普段使いの gemma-4-26b-a4b を「Thinking Off」で運用していたところ、出力がやや直訳調になり、日本語としての通りが悪く感じることが増えていました。一方、Thinkingをオンにすると品質は上がるものの待ち時間が延びてしまいます。

ふと、過去に gpt-oss-120b で翻訳した文章を読み直してみたところ、gemma-4-26b-a4b（Thinking Off）に比べて日本語の表現力・こなれ感が圧倒的に高いことに改めて驚かされました。「日常の気軽さを優先しすぎて、翻訳品質を妥協しすぎていないか？」と感じたことが、各モデルの比較を始めたきっかけです。

学んだこと

各モデルを比較してみて、以下の特徴と挙動の違いが分かりました。

• gpt-oss-120b:
  • パラメータ数の大きさに見合う高い日本語表現力。訳がこなれており、自然な文章に仕上がる。運用の重さが唯一のネック。
• gemma-4-26b-a4b:
  • Thinking Off: 直訳調になりがちで、日本語としてやや硬くわかりにくい。
  • Thinking On: 訳文の質は向上するが、レスポンスに時間がかかる。
• qwen3.6-35b-a3b:
  • 翻訳の自然さという点では、gemma-4-26b-a4b（Thinking On）のほうが優れていた。
• qwen3.8-flash-next:
  • デフォルトの推論レベルが非常に高く（thinking: xhigh 相当）、長考する傾向がある。
  • 実用上は thinking レベルを low に絞る調整が必要。
  • ただし、xhigh の状態でじっくり考えさせた場合の訳文は、qwen3.6 や gemma-4 を明らかに上回るクオリティを見せた。

自分なりの理解

翻訳タスクにおけるモデル選びは、「モデル自体の基礎体力（パラメータ数）」と「推論ステップ（Thinking）」のどちらにリソースを割くかというトレードオフだと理解しました。

• 思考なしの小型モデル（~26B） は、構文をそのまま置き換える「直訳」になりやすい。
• 思考付き（Thinking On） にすることで文脈理解が深まり自然な意訳が可能になるが、速度が犠牲になる。
• qwen3.8-flash-next のような最新推論モデル は、デフォルトの思考設定が過剰になりがち。用途に合わせて thinking: low などにチューニングして初めて「速度と質のバランス」が取れる。
• 結局のところ、推論なしで自然な訳を出せる gpt-oss-120b のような大モデル は、取り回しさえ解決できれば依然として優秀。

実践へのつなげ方

用途に応じて、以下のようにモデルと推論設定を使い分ける運用にします。

1. スピード重視の一次情報チェック（大量のドキュメント流し読み）
   • gemma-4-26b-a4b（Thinking Off）
2. 公開用ドキュメント・精読用（品質最重視）
   • 手間を許容して gpt-oss-120b を立ち上げるか、qwen3.8-flash-nextで長考させて仕上げる。

次に試すこと

長考傾向のあった qwen3.8-flash-next の推論パラメータ（Thinking budget / low設定）を細かく調整し、「gemma-4（Thinking On）と同等以上の訳質を、より短い待機時間で出せるスイートスポット」 を見つけるテストを行います。