同じ質問なのに答えが違う？検索精度を上げるために見直した「仕組み」と「使いやすさ」

きっかけ

年鑑データ検索ツールを使っていて、日本語と英語で同じ質問をしているのに全く違う答えが返ってくることに気づきました。また、使い方の参考になる「質問例」を毎回探し直さなければならず、少し使いづらさを感じていたのもきっかけです。

学んだこと

言葉が正しく翻訳されていても、システムが「どうやって答えを探しにいくか」という道筋が違うと、返ってくる結果が変わってしまうことがわかりました。 大事なのは、「関係する表を探したいのか」それとも「表の中の数値を読み取って答えたいのか」をしっかり区別することです。また、質問例を管理する際も、「そもそも元データに載っているか」の確認と、「正しい回答が出せるか」のチェックを分けて進める必要があると学びました。

自分なりの理解

検索の精度を上げるには、ただ言葉を英語に置き換えるだけでは不十分です。「ユーザーが本当に知りたいことは何なのか」という意図を正しく汲み取って、適切な処理につなぐことが欠かせません。 また、質問を探しやすい画面を作ることも、蓄積された知識やデータをしっかり活用してもらうための大切な工夫なのだと感じました。

実践へのつなげ方

まず、質問例を16のカテゴリ・全94問に整理し、画面の左側からすぐに探して選べるように改善しました。質問を実行した後も選んだ条件が消えないように改修し、日本語と英語の処理の振り分けミスも直してシステムに反映させています。動作確認のための自動テストも実施し、150件が問題なく成功しました。

次に試すこと

次は、「元データに情報があること」まで確認できている質問の中から10問を選び、日本語と英語のどちらで質問しても、回答の内容・数値・出典がぴったり一致するかどうかを検証してみる予定です。