gemma-4-31B vs 26b-a4b 翻訳比較検証：サイズ拡大で見えた読みやすさと速度のトレードオフ
きっかけ
ローカル環境での翻訳タスクにおいて、現在主力として運用している「gemma-4-26b-a4b」に対し、よりパラメータ規模の大きい「gemma-4-31B（QAT + MTP）」を導入する価値があるかを確かめたいと思いました。
モデルサイズを上げれば訳文の品質が向上するのか、それとも推論コストには見合わないのかを判断するため、洋書PDFから抽出した48問の段落（8分野）を対象に、ClaudeをジャッジとしたA/B盲検評価（ブラインドテスト）を実施しました。
学んだこと
今回の盲検評価とベンチマークから分かった要点は以下の通り。
- 品質面で明らかな差はみられなかった thinking（推論）の有無にかかわらず、31Bがわずかに勝ち越したものの有意差は出ず（あり: p=0.36、なし: p=0.57）、原文に対する「正確さ」はほぼ互角だった。
- 差が出たのは「読みやすさ」 正確さが同等である一方、読みやすさのスコアは thinking あり／なしの両方で31Bが上回った。
- 読みやすさと「情報の脱落」は表裏一体 31Bは文章を自然に整える過程で、修飾語（最上級表現や副詞など）を訳さない「脱落」が目立った。逆に26bは要素を拾おうとするが、誤訳や取り違えが散見された。
- 推論速度の差が大きい MTP（投機デコード）を用いても、31Bは26bに比べて1.4倍〜3.3倍の実行時間がかかり、実効スループットの差が顕著だった。
自分なりの理解
パラメータサイズを増やすと、「出力表現のこなれ感（リライト能力）」にリソースが配分されやすいと実感しました。
31Bが出した高い「読みやすさ」スコアは翻訳で読む分には魅力的に見える一方、誤りの内訳を見ると、日本語としてスムーズにするために細かな修飾関係や推量表現を暗黙のうちに切り捨てており、読みやすいが、原文のニュアンスを端折るようです。
ローカル推論における実行速度（1問あたり3秒〜30秒台 vs 10秒〜40秒台）の差は、日々の作業に直結します。いくら日本語が滑らかでも、正確さが変わらずに速度が数分の一に落ちるのであれば、常用モデルとしての費用対効果は高くなくなります。
実践へのつなげ方
運用の結論として、基本は引き続き「26b-a4b」をメインとして維持。 ただし、用途に応じて以下のように使い分けられそうです。
- 正確さを最優先したい精読・技術文書:
26b-a4b（thinking あり）を使用。多少日本語が硬くても、原文の構成要素を落とさず拾う特性を活かす。
- 大量の文章をざっくり把握したい流し読み:
26b-a4b（thinking なし）（1問約3秒）の圧倒的な手軽さを優先する。
- 読み物としての自然さを重視したい場合:
31B（thinking なし）（1問約10秒）の利用を検討する。26b thinking ありと同等の総合満足度を約3倍の速度で得られるため、細部の脱落が致命的にならないカジュアルな読書支援なら選択肢になる。
次に試すこと
31B（thinking なし）（1問約10秒）と高速であり、Thinkingあり26b-a4bと比較して訳質に問題がなければ、採用の検討の余地があるため、この比較試験と、日常使いの仕組みづくりへの適応を検討します。