日本語に強いモデルは、英文を日本語にするのも得意なのか
きっかけ
洋書の段落をローカルLLMに訳させ、どちらの訳が読みやすいかを盲検で選ぶ試験を行った。訳文をモデル名を伏せてA/Bに並べ、原文を意識せずに「一読して意味が頭に入るほう」を1つ選ぶ。問題は手元の洋書PDF 23冊から、毎回初見の段落を48問抜き出している。
前回、gpt-oss-120bとgemma-4-26b-a4bを比べたら、gemmaが48問中38問を取った。大きいモデルよりも、小さいMoEが優れている結果になった。
日本語を鍛えたモデルで試すことにした。候補は二つ。一つは、gpt-oss-120bに日本語の追加学習と強化学習をかけたgpt-oss-swallow-120b-rl。もう一つは、国立情報学研究所の国産モデルLLM-jp-4 32B-A3Bで、日本語MT-BenchでGPT-4oを上回ったと発表されている。日本語が得意なモデルなら、英文を日本語にする仕事でも強いと予想した。
学んだこと
結果は、どちらもgemma4に届かなかった。
- Swallow：gemmaが36/48（75%）。Swallowは12問で、日本語強化前のgpt-oss（10問）と誤差の範囲だった。しかも思考が長くなり、1問あたりの時間は15秒から23秒に延びた。
- LLM-jp-4 medium：gemmaが39/48（81%）。8分野すべてでgemma4が上回った。LLM-jp-4は1問5秒台と、gemma（約32秒）の6倍速い。ただ、重大な誤訳が3件あり、gemmaは0件だった。
- **LLM-jp-4のmedium対high **：同じ48問で推論量だけを上げたところ、highが31/48で上回った（p=0.06）。
相手を三つ替えても、gemmaの勝率は75〜81%の幅にほぼ収まった。gpt-oss、Swallow、LLM-jp-4の三者の間には、明らかな差がない。
自分なりの理解
LLM-jp-4の日本語そのものは流暢だが、崩れているのは、英文の構造を読み取ってから、日本語として組み立て直すところだった。
では、推論量を上げれば読み違えは減るのだろうか。減ることを期待して、highで同じ48問を訳させた。言い回しは確かに良くなった。誤字が消え、崩れていた最後の文も減った。しかし、意味を逆にした一文は、highでも一字一句に近い形で同じ誤りを繰り返していた。
推論を増やして磨かれるのは、表現のほうだった。原文をどう読んだかは、推論の量では変わらない。
「日本語が得意」には、少なくとも二つの能力があるようだ。日本語で流暢に書く力と、英文を読み解いて日本語の順序に組み立て直す力だ。MT-Benchが測っているのは主に前者で、翻訳の読みやすさを左右しているのは後者のようだ。
実践へのつなげ方
- 英日翻訳には、当面gemma-4-26b-a4bを使う。 三つの相手に対して一貫して8割前後を取っており、手元で比べた中では最も確かな選択肢になった。
- 「日本語に強い」という評判を、用途に当てはめる前に必要な能力を分解して理解する。 ベンチマークが何を測っているのかを見て、英日翻訳の読みやすさと同じ能力かどうかを確かめる。
- 速さが最優先なら、LLM-jp-4 highを下訳に使う手はある。 gemmaの約3.6倍速い。ただし意味の逆転は推論を増やしても直らなかったので、原文との突き合わせが前提にはなる。