#ベンチマーク
6 件の記事
- Strix Halo向けllama.cppフォーク検証記録：Vulkan vs ROCmと実測の注意点
strix-llama.cpp（Vulkan）およびlemonade（ROCm）の動作検証。Windows環境での最適化の有効性確認やllama-perplexityによる整合性チェックなど、ローカルLLM環境選定の実践知をまとめました。
- NVIDIA Nemotron 120Bをllama.cppで動かして、Gemma 26Bとの翻訳比較を行った
Nemotron 3.5 Super VL 120Bをllama.cppで起動するメモリ設定のノウハウと、Gemma-4-26Bとの翻訳ベンチマーク（盲検評価）から見えた適材適所の活用法をまとめました。
- MTP で Gemma 4 26B の翻訳は速くなるか：1 本ずつなら 1.5 倍、4 並列なら 1.15 倍
MTP（Multi-Token Prediction）を、thinking ありの Gemma 4 26B A4B で英日翻訳に使って測ってみた。
- gemma-4-31B vs 26b-a4b 翻訳比較検証：サイズ拡大で見えた読みやすさと速度のトレードオフ
gemma-4-31B（QAT+MTP）と現行の26b-a4bを用いた洋書翻訳のA/B盲検評価を実施。モデル規模の拡大が正確さ・読みやすさ・推論速度にどう影響するかを検証し、実運用に向けた選定基準をまとめました。
- 翻訳LLMの「思考トークン予算」は1024で十分だった：訳質を落とさず速度を2倍にした検証
ローカルLLMによる翻訳処理で、推論トークン上限（reasoning_budget_tokens）を検証した結果、1024トークンに設定することで訳質を維持したまま処理速度を現行の2倍強に高速化できることがわかりました。
- Ryzen AI Max+ 395でGemma 4 26Bを動かして分かった、VulkanとROCmの使い分けと落とし穴
Ryzen AI Max+ 395（Radeon 8060S）上でGemma 4 26B MoEモデルをllama.cppでベンチマーク。VulkanとROCmの特性差やFlash Attentionの挙動についてのまとめ。