社内RAG・社内チャットボットが失敗する5つの原因

社内RAGが失敗する主因は5つ。①元文書が散らかっている・古い ②答えられない質問の逃げ道がない ③回答の根拠が見えない ④導入後に文書を更新する運用がない ⑤利用ログを見て改善する人がいない。AIモデルの性能問題であるケースは少なく、構築前の文書整理と運用設計でほぼ決まります。

失敗の典型パターン

「規程集を読み込ませたチャットボットを作ったが、的外れな回答が多く、3ヶ月で誰も使わなくなった」。この相談には共通の構造があります。AIの選定ミスではなく、次の5つのどれか（大抵は複数）です。

原因1: 元データが正本になっていない

同じ規程の新旧バージョンが混在していれば、AIは古い方を引くことがあります。RAGは「検索して答える」仕組みなので、検索対象が汚れていれば回答も汚れます。構築前に「正式な情報の置き場」を決める作業が必須です。

原因2: 答えられない質問の設計がない

どんなに整備しても、文書にない質問は来ます。そこで無理に生成させると誤答になり、信頼を失います。「分からないときは分からないと言い、人間へ引き継ぐ」動線を最初から設計します。

原因3: 根拠が見えない

回答に「どの文書のどの部分を参照したか」が添えられていないと、利用者は検証できず、一度の誤答で使われなくなります。

原因4・5: 更新と改善の運用がない

• 文書の更新がAI側に反映される流れがなく、回答が古くなっていく
• 利用ログを見て「答えられなかった質問」を潰す担当がいない

• 自社のナレッジ基盤運用・構築支援の経験