社内文書をAIで検索する｜期待外れになる原因は、検索の仕組みではなく元の文書にある

社内のマニュアルや過去の資料を、AIに聞けば出てくるようにしたい。この要望は出やすく、そして最初につまずきやすい用途です。従業員10〜20名で、専任のIT担当がいない会社の担当者に向けて書いています。

先に結論

うまくいかない原因の多くは、検索の仕組みではなく探させる文書の側にあります。同じ内容の版が複数ある、どれが最新か分からない、そもそも文書になっていない。この状態のまま繋いでも、AIは古い版や誤った版をもっともらしく返します。したがって順序は、文書を片付けてから繋ぐ、です。片付ける過程で「そもそも探す必要がなかった」と分かることもあります。買う場合に確認すべき点は2つです。アクセス権限が回答に反映されるかと、回答に元ファイルが表示されるか。どちらも公的なガイドラインが要求事項として挙げています。紙をスキャンした資料を対象にしたい場合は、その形式を読み取れるかも先に確かめてください。

この用途は公的資料で定義されている

社内文書を検索して回答の精度を上げる仕組みは、RAGと呼ばれます。総務省のガイドラインに定義があります。事前学習されたメモリと検索ベースのメモリを組み合わせた言語生成モデルであり、企業において社内文書やデータベース等を検索し、生成AIの回答の精度を高めることに使われている、というものです。

同じガイドラインは「内部向けチャットボット（RAG利用）」を想定事例として独立した章で扱っています。組織内の利用者からプロンプトを受け取り、内部のデータストアから回答に必要なデータを取得し、それをもとに回答を生成する構成です。出典: 総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン」PDF 25ページ 用語集、19ページ 想定事例1（令和8年3月／確認日 2026年9月1日）

日本の企業はこの段階で遅れている

総務省の情報通信白書に、日本・米国・ドイツ・中国を比較した記述があります。生成AIによる業務変革について、日本では「組織的な取組はない」と回答した割合が約3割弱で、他の3か国より高い。

そして環境整備の項目では、「生成AIに社内データを学習させたり、生成AIが参照可能なデータベースを構築したりしている」で回答割合が他の3か国より顕著に低いと記載されています。

出典: 総務省「令和8年版 情報通信白書（概要）」PDF 10ページ（2026年7月／確認日 2026年9月1日）。環境整備の設問は日本 n=326 です。

同じ白書に、業務類型別の活用状況もあります。日本では「議事録・メール作成補助」が約7割で最も高く、「社内ヘルプデスク」で効果を実感した割合は42.7%（米国43.5%）です。作る作業には使われているが、探す作業ではまだ差が出ていない、という位置づけになります。

繋ぐ前に、文書の側を確認する

検索の精度を上げる前に、探させる対象を確認します。次の状態が残っているまま繋ぐと、AIは古い版を自信を持って返してきます。

確認すること	見分け方	残っている場合
同じ内容の版が複数ある	「_最新」「_v2」「_修正版」が付いたファイルを数える	どれが正かを決めてから、他を別の場所へ移す
どれが最新か分からない	更新日と中身が一致しているか開いて確かめる	更新日で判定できない文書は対象から外す
文書になっていない	口頭とメールでしか伝わっていない手順がある	AIの前に、まず書き出す
個人のPCにある	共有フォルダにない資料を担当者に聞く	置き場所を決める。これは検索以前の問題
対象が絞れていない	「全部」と言われている	1業務・1部署に絞る
紙とスキャン画像しかない	PDFを開き、本文の文字を選択できるか試す	文字として取り出せない資料は検索対象にならない。OCRの要否を先に決める

この作業をすると、繋がずに済む場合があります。置き場所を1か所に決め、版を1つにするだけで、探す時間が大きく減ることがあるためです。その状態で足りなければ、そこで初めて道具を検討します。

置き場所とルールを先に決めた実例はツールより先にルール、得意な人より先に苦手な人で扱っています。

買う場合に確認すること

製品を検討する段階で、機能の比較とは別に必ず確認する項目があります。はじめの2つは公的なガイドラインが要求事項として挙げているもので、3つ目は、探させたい資料が紙やExcelで残っている会社ほど先に効いてくるものです。

アクセス権限が回答に反映されるか

デジタル庁の調達チェックシートは、要求事項として次を挙げています。入力された要機密情報を参照または学習する場合、権限を有する者以外の回答の生成に、その情報が用いられないような仕組みとすること。

社内文書検索でこれが効くのは、人事・給与・評価に関する資料を含むフォルダを繋いだ場合です。権限が反映されない製品では、閲覧できないはずの内容が回答文として出てきます。ファイルは開けないのに、中身は答えてしまう、という状態です。

回答に元ファイルが表示されるか

同じチェックシートに、出力根拠を確認できる状態にするという要求事項があります。対策例として、出力根拠が可視化される機能を備えること、実行時に組み込む情報についてはその来歴を示す情報を添えて組み込むことが挙げられています。

元ファイルが表示されないと、回答が正しいかを確かめる方法がありません。確かめられない回答は、業務で使えるものになりません。

出典: デジタル庁「行政の進化と革新のための生成AIの調達・利活用に係るガイドライン（第2.0版）」別紙3 調達チェックシート 要求事項26および29（2026年6月12日／確認日 2026年9月1日）

対象にできるファイルの形式と保存先

同じ社内文書でも、製品によって扱える形が分かれます。Google Cloud の公式ドキュメントは、スキャンしたPDFや文字が画像になっているPDFにはOCRのパーサーが適していること、そしてそのOCRのパーサーはPDFにしか適用されず、他の形式は通常のパーサーで処理されることを記載しています。紙を取り込んだ資料を対象にしたいなら、ここが最初の分かれ目です。

もう一つ、実務で効く記述が同じページにあります。通常のパーサーは機械可読な文字を取り出すものの、表・箇条書き・見出しといった文書の要素は検出しない、というものです。手順や条件を表にまとめた文書では、文字が取れても行と列の対応が崩れます。試用の段階で、表を含む文書を1つ入れて確かめておくと判断が早くなります。出典: Google Cloud「Parse and chunk documents」（確認日 2026年9月8日）

置き場所も同じだけ効いてきます。共有フォルダ、クラウドストレージ、グループウェアのどれに繋げられるかは製品ごとに違い、繋げない場所にある資料は、検索の精度がどれだけ高くても対象になりません。前の節で1か所に決めた置き場所と、製品が対応している保存先が一致するかを、契約の前に照合してください。

社内文書を読ませることで生じるリスク

総務省のガイドラインは、この構成に対する攻撃を2つ挙げています。

攻撃	何が起きるか
直接プロンプトインジェクション	利用者が不正な指示を入力し、データストアから情報を引き出す
間接プロンプトインジェクション	データストア内のファイルに仕込まれた指示を経由して攻撃が成立する

2つ目が、社内文書検索に固有の論点です。外部から受け取ったファイルを、そのまま検索対象のフォルダに入れている場合、そのファイルが攻撃の経路になりえます。取引先から届いた資料をまとめて放り込む運用は、この点で注意が要ります。

同ガイドラインが挙げる対策は4点です。安全基準等の学習による耐性の向上、システムプロンプトによる耐性の向上、ガードレール等による入出力や外部参照データの検証、そしてRAG等の権限管理です（PDF 21ページ）。

このうち買う側が確認できるのは4つ目です。前の3つは製品側の実装であり、こちらで確かめる手段が限られます。入力してよい情報の線引きは生成AIに入力してはいけない情報で扱っています。

うまくいかなかったときの打ち切り基準

この用途は、精度が出ないまま使われなくなることが多くあります。着手前に、どうなったらやめるかを決めておきます。

状況	確かめ方	判断
よく聞く質問10件で、正答が半分未満	実際の質問を10件用意して試す	文書の側を片付けてから再度試す
元ファイルを開いて確認する手間が、探す手間を超えた	回答から確認までの時間を測る	やめる。フォルダの整理に戻す
古い版を返すことがある	更新した文書で試す	版の管理ができるまで対象から外す
質問する人が2週間で1人になった	利用記録を見る	用途が合っていない。対象業務を変える
費用が月額で発生し続けている	契約内容を確認する	解約の締切と条件を確認する

1つ目の試し方が要点です。導入前に、実際に聞かれている質問を10件書き出します。製品のデモでは、その製品が得意な質問が使われます。自社の質問で試さないと判断できません。

利用記録の確認方法はAIエージェントのログ管理で扱っています。

中小企業の事例

中小企業白書に、実名の事例が記載されています。岡田研磨株式会社（石川県金沢市、従業員85名）は、図面などの膨大な情報が紙とExcelで管理され、情報が属人化し、社内共有にも無駄な作業が発生していた状態でした。

AIとの対話を通じて自社独自の情報統合管理システムを開発し、生産管理・労務管理・原価管理をはじめ30以上のアプリを搭載して情報の一元管理を実現。さらに作業手順書の管理システムも開発し、従業員教育に用いて多能工化と業務平準化を進めた、と記載されています。

出典: 中小企業庁「2026年版 中小企業白書・小規模企業白書の概要」PDF 26ページ（2026年4月／確認日 2026年9月1日）

従業員85名で、10〜20名の会社とは規模が違います。自社開発という手段もそのままは移せません。取り出せるのは、着手前の状態が「紙とExcelで属人化」だったという点です。検索の仕組みを買う前に、そこが同じかを確認する材料になります。

文書の側をどう整えるかはAI-Readyとはで、1業務に絞った確認の手順として扱っています。問い合わせ対応そのものを任せる場合は、社内ヘルプデスクをAIに任せるをご覧ください。

よくあるご質問

文書を整理してからでないと、導入できませんか

全部を整理する必要はありません。最初に確認するのは、探させたい文書が1か所にあるか、最新版がどれか分かるか、の2点です。この2つが満たされない状態で繋ぐと、AIは古い版を根拠に回答します。

アクセス権限が回答に反映されないと、何が起きますか

見られないはずの文書の内容が、回答文として出ます。ファイルを開けなくても、要約は読めてしまいます。人事や給与の文書を含む場合は、繋ぐ前に必ず確認する項目です。

どのくらい試して駄目なら、打ち切るべきですか

期間ではなく、原因で判断します。回答が合わない原因が文書の側（版が複数ある、記載が古い）にある場合、検索の仕組みを変えても解決しません。文書の側を直せる見込みがないなら、その時点で打ち切る判断ができます。

今週やること

社内で実際に聞かれている質問を10件、書き出すところからです。誰が誰に何を聞いているか。それが分かると、AIに探させるべきものと、フォルダを片付ければ済むものが分かれます。

10件のうち、答えが1つの文書に書いてあるものが多ければ、置き場所の問題です。複数の文書を突き合わせないと答えられないものが多ければ、検索の仕組みが効く可能性があります。

判断の材料が足りないと感じた場合は、お問い合わせからご相談いただけます。