NVIDIA Nemotron 120Bをllama.cppで動かして、Gemma 26Bとの翻訳比較を行った

きっかけ

公開されたばかりの大規模モデル 「NVIDIA Nemotron 3.5 Super VL 120B（NVFP4、約77GB）」 を早速ローカル環境へ導入しました。最初はLM studioでチャットしようとしましたがロードに時間がかかりチャットまで到達できないトラブルもありましたが、原因を切り分けて最新の llama.cpp で起動させて、動作させることができました。この巨大モデルを快適に起動するためのメモリ設定のノウハウと、現行おすすめの「gemma-4-26b-a4b」と行った翻訳比較ベンチマーク（48問・盲検評価）の知見を共有します。

学んだこと

1. 環境構築

• 最新PRの反映: 本モデルへの対応は 2026-10-15（PR #30520）で行われていたため、最新ビルド（b11707 / Vulkan版）へ更新しました。
• UMA環境での mmap 最適化: GPUに96GBを割り当てているためOS側のRAMは31.6GBという構成でした。この状態で77GBを通常の mmap で読むとページングが発生して止まってしまいます。そこで **mmap を切ってロードしたところ、44秒で起動できました。
• 仕様変更への対応（llama.cpp 0.7.0〜）:
  • オプション名が --no-mmap から --load-mode none に更新されています。
  • dry_penalty_last_n=-1 が非推奨になったため、Web UI側の設定を更新してエラーを解消しました。
• 推論速度: テキストも画像も動き、プロンプト処理は約150 tok/s、生成は約17 tok/s でした。この規模のモデルとしてなんとか実用できそうといった速度です。

2. 翻訳ベンチマーク：両モデルの個性と強み

自作の翻訳評価ツールとデータセット（pdf-v7・全48問）を使い、ブラインドテスト（盲検評価）を実施しました。結果を可視化する HTML 出力機能（blind_eval.py html）も導入し、比較検証を行いました。

ベンチマーク結果

• 正確さは Nemotron がリード:
  • Nemotron: 4.54 / 5.0点
  • Gemma 26B: 4.42 / 5.0点 原文の意味を余すことなく正確に捉える力は、120Bパラメータの Nemotron が一枚上手でした。
• 読みやすさと総合バランスは Gemma 26B が優秀:
  • 読みやすさ: Gemma 4.79点 に対し、Nemotron は 3.71点。
  • Nemotron は原意に忠実な「直訳寄り」の傾向があり、Gemma は日本語として「流暢な意訳」が得意というキャラクターの違いが明確になりました。
• 速度面: thinking なしの場合、1問あたり Gemma が 3.0秒、Nemotron が 11.9秒でした。日常のテンポ感を重視するなら Gemma の軽快さが光ります。

自分なりの理解

① 新しい巨大モデルを動かすときの鉄則

動作が重い・動かないときは、以下の2点をまず確認します。

1. 実行環境の日付: モデル公開時の最新 PR が手元のランタイムに入っているか。
2. メモリ構成と読み込み方式: OS側に見える RAM 容量を考慮し、必要に応じて --load-mode none で mmap を回避する。

② モデルの「適材適所」が見えた

• Nemotron 120B: 「一字一句、原意を正確に把握したい」「誤訳を減らしたい」場面で強みを発揮します。
• Gemma 26B: 「自然な日本語で読みたい」「大量の文章を素早く処理したい」日常的な翻訳作業に最適です。

実践へのつなげ方

• 日常のワークフロー: 高速かつ自然な日本語に仕上げてくれる Gemma 26B をメイン翻訳機として活用する。
• 新規モデルの検証フロー:
  1. GGUF のアーキテクチャ・量子化種類・対応 PR の日付を事前確認。
  2. 大きなモデルは最初から mmap をオフ（--load-mode none）で起動する。
  3. まず「1問だけ」テストして挙動と時間を確認し、見通しが立ってから48問の本番テストへ進む。
• 思考（thinking）モデルの扱い: chat_template_kwargs で思考の有無を明示し、思考ありで回す際は回答が途切れないよう max_tokens を十分大きめに確保する。

次に試すこと

図表・スライド入りPDFの直接翻訳: Nemotron は「Super VL（Vision-Language）」なので、テキスト抽出が難しい論文の図表・スライド画像をそのまま入力し、レイアウトやグラフの文脈を汲み取った翻訳ができるか試してみます。