#ローカルLLM
19 件の記事
- Strix Halo向けllama.cppフォーク検証記録：Vulkan vs ROCmと実測の注意点
strix-llama.cpp（Vulkan）およびlemonade（ROCm）の動作検証。Windows環境での最適化の有効性確認やllama-perplexityによる整合性チェックなど、ローカルLLM環境選定の実践知をまとめました。
- Webからの情報取得の鍵は「データの正体を見抜くこと」Crawl4AI×ローカルLLMで挑む高精度データ抽出
Crawl4AIとローカルLLMを活用し、値と根拠をセットで管理して安全にデータを抽出する工夫をまとめました。
- ローカルLLMで年鑑EPUBを安全・正確に分析するシステムを作って学んだこと
各種数値辞典データをローカル環境で安全かつ高精度に分析する仕組みを構築しました。開発を通じて得られた、LLMアプリの信頼性を高めるための知見をまとめます。
- NVIDIA Nemotron 120Bをllama.cppで動かして、Gemma 26Bとの翻訳比較を行った
Nemotron 3.5 Super VL 120Bをllama.cppで起動するメモリ設定のノウハウと、Gemma-4-26Bとの翻訳ベンチマーク（盲検評価）から見えた適材適所の活用法をまとめました。
- EmbeddingGemma 2で図表検索を検証して分かった、マルチモーダルの理想とテキストの現実
EmbeddingGemma 2を用いた図表の意味検索システムを構築。評価セットによる検証を通じて、画像ベクトルの寄与度や日英言語間ギャップへの翻訳データの有効性について学び。
- スマホで動く小型ローカルLLMの現在地──Gemma 4をiPhoneで試して感じた実用性と課題
iPhone上で小型LLMを動かし、チャットや翻訳、テキスト整理での実用性を検証。プライバシーや挙動の安定性といったローカルならではの強みと、iOSにおける連携の課題について考察します。
- 2016年のIntel Macで日本語小型LLMを動かして学んだこと
2016年製MacBook Proで日本語小型LLM「Qwen3.5-0.8B」をCPU動作させた検証記録。古いハードウェアでの挙動や小型モデルの特性、クリーンな環境構築の勘所についてまとめました。
- ローカルLLM翻訳の質を高める：専門用語集と辞書DBの活用法
ローカルLLMを使った英日翻訳において、訳質の安定化と用語ブレの防止に不可欠な「用語集」の運用と、辞書データベースを活用した用語集作成の効率化
- MTP で Gemma 4 26B の翻訳は速くなるか：1 本ずつなら 1.5 倍、4 並列なら 1.15 倍
MTP（Multi-Token Prediction）を、thinking ありの Gemma 4 26B A4B で英日翻訳に使って測ってみた。
- gemma-4-31B vs 26b-a4b 翻訳比較検証：サイズ拡大で見えた読みやすさと速度のトレードオフ
gemma-4-31B（QAT+MTP）と現行の26b-a4bを用いた洋書翻訳のA/B盲検評価を実施。モデル規模の拡大が正確さ・読みやすさ・推論速度にどう影響するかを検証し、実運用に向けた選定基準をまとめました。
- AIに「140字以内で」と頼んでも守らない。何字と言えばいいかをベイズ最適化で探した
ローカルLLMの英日翻訳で、X投稿用に140字へ収める指示の出し方を、ベイズ最適化とランダム探索で探して比べた記録。
- ベイズ最適化を「体験」から理解する: ローカルLLMの翻訳設定で試す
試すのに時間がかかる問題で、少ない試行回数で良い設定を探すベイズ最適化。ローカルLLMの英日翻訳を題材に、考え方と実験の進め方を整理しました。
- ローカルLLMの「思考時間」と「翻訳品質」は比例しない
自作の PDF 翻訳ツールで思考トークンの上限を外したら、訳質より先に「考え終わらない」問題が出た。
- 翻訳LLMの「思考トークン予算」は1024で十分だった：訳質を落とさず速度を2倍にした検証
ローカルLLMによる翻訳処理で、推論トークン上限（reasoning_budget_tokens）を検証した結果、1024トークンに設定することで訳質を維持したまま処理速度を現行の2倍強に高速化できることがわかりました。
- 翻訳特化モデルは汎用LLMを超えられるか？洋書段落の盲検比較で分かったこと
TranslateGemma、Hy-MT2、PLaMo-2-translateといった翻訳特化モデルとgemma-4-26b-a4bを洋書の段落翻訳で盲検比較した結果、見えてきた特化モデルの限界と汎用LLMの強みをまとめました。
- Ryzen AI Max+ 395でGemma 4 26Bを動かして分かった、VulkanとROCmの使い分けと落とし穴
Ryzen AI Max+ 395（Radeon 8060S）上でGemma 4 26B MoEモデルをllama.cppでベンチマーク。VulkanとROCmの特性差やFlash Attentionの挙動についてのまとめ。
- 日本語に強いモデルは、英文を日本語にするのも得意なのか
日本語強化版のgpt-oss（Swallow）と国産のLLM-jp-4を、gemma-4-26b-a4bと英日翻訳で盲検比較した。日本語が得意なことと、英文を読みやすい日本語に組み立て直せることは、別の能力だった。
- ローカルLLMの英日翻訳をブラインドテストして分かったこと
洋書の段落を使って複数のオープンモデルをブラインド比較してみたら、パラメータの大きさや思考時間の長さとは違うところで勝負が決まった話。
- ローカルLLMの翻訳性能比較：gpt-oss-120b、Gemma 4、Qwenシリーズを試して見えたモデル選定
日常使いしている軽量モデルと大規模・推論特化型ローカルLLM（gpt-oss-120b、gemma-4-26b-a4b、Qwenシリーズ）の翻訳性能や使い勝手を比較。推論（Thinking）のオン・オフによる訳質の変化と運用のトレードオフをまとめました。