登録した自社の資料だけを根拠に答えるAIチャット「RakuChat」を、架空の会社の文書500件（PDF・Word・Excel、約3,000ページ）と、公開されているFAQ 462件で試験しました。正解を決めた333問を1問ずつ聞き、根拠を示して正しく答えられるか、答えるべきでない質問を断れるかを確かめました。
回答した199問はすべて正しく、誤った回答は1件もありませんでした。資料に書かれていない質問や、件数を数える必要がある質問など、答えるべきでない75問もすべて断りました。この記事では、試験の結果と方法をご紹介します。導入をご検討の際の目安としてご覧ください。
結果のまとめ
| 回答の正確さ（333問） | 回答した199問はすべて正しく、根拠として正しい資料とページ（Excelは行）を示しました。誤った回答は0件です |
|---|---|
| 資料の内容を問う質問（189問） | 140問（74.1%）に根拠付きで正しく回答。残る49問は、根拠を確かめられなかったため推測で答えず、回答を控えました |
| FAQを言い換えた質問（49問） | 49問すべてに、正しいFAQを根拠に正しく回答しました |
| 資料にない質問（50問） | 50問すべてで「資料から回答を見つけられなかった」と答え、推測で答えた回答はありませんでした |
| 件数を数える必要がある質問（25問） | 25問すべてで、数えた件数を答えずにお断りしました |
| 回答までの時間 | 半数の質問が1.6秒以内、90%の質問が2.3秒以内。型番を含む質問も半数が2.0秒以内に返りました |
| 文書500件の登録 | 失敗0件。合計2,967ページを、処理時間の合計約47分で検索できる状態にしました（1分あたり約63ページ） |
| FAQのURL取込み | 公開FAQ 20ページから463件を読み取り、1ページあたり約0.3秒。登録した462件は約2分20秒で回答に使えるようになりました |
RakuChatは、根拠の資料が見つからない場合や、資料から確かめられない場合は、推測で答えずに回答を控える設計です。そのため、回答した内容はすべて資料で確かめられるものでした。回答を控えた質問は管理画面の「未解決の質問」に残り、管理者が回答をFAQに追加すると、次からはその回答で答えられます（正確に答えるための仕組み）。
回答の正確さ
資料の内容を問う質問（189問）
| 形式 | 正しく回答 | 回答を控えた | 誤った回答 |
|---|---|---|---|
| Word（62問） | 75.8%（47問） | 24.2%（15問） | 0問 |
| PDF（69問） | 76.8%（53問） | 23.2%（16問） | 0問 |
| Excel（58問） | 69.0%（40問） | 31.0%（18問） | 0問 |
| 合計（189問） | 74.1%（140問） | 25.9%（49問） | 0問 |
正しく回答した140問は、すべて正しい資料を根拠に示し、PDFは正しいページ、Excelは正しいシートと行を示しました。同じ書式の台帳が多数ある場合も、管理番号や文書名を手がかりに該当する行を見分けています。回答を控えた49問は、根拠になる箇所を確かめられなかったものです。この場合も、似た資料に書かれている別の物件・別の車の情報を使って答えることはありませんでした。
FAQを言い換えた質問（49問）
FAQの質問文とは違う聞き方をした49問すべてで、正しいFAQを根拠に正しく回答しました。FAQの質問文に製品名が入っていない場合も、取り込んだページの題名（製品名など）を手がかりに、製品名で尋ねた質問と結び付けて答えます。
答えるべきでない質問
- 資料にない質問（50問）：すべて「資料から回答を見つけられなかった」と答えました。似た文書に書かれている別の物件・別の車の情報を流用した回答もありませんでした。
- 件数を数える必要がある質問（25問）：すべて「件数や合計などは、資料に数値が書かれている場合だけお答えします」とお断りしました。RakuChatは検索で選んだ資料の一部だけを読んで答えるため、一覧の行を数えた件数は正しくないおそれがあるからです。
- 資料に件数が書かれている質問（25問。資料の内容を問う189問の内数）：15問で、書かれた数値を根拠付きで答えました。残りの10問は、件数が書かれた箇所を確かめられず、お断りしました。
続けての質問
「〇〇の管理費は？」に続けて「その物件の修繕積立金は？」のように、前の質問を指す言葉で聞く10組を試しました。「その」「それ」などがある場合は、直前の質問と合わせて資料を探します。1問目に正しく答えた4組では、2問目もすべて正しく答えました。1問目を控えた6組のうち2組も、2問目は正しく答えました。誤った回答はありませんでした。
閲覧の制限
特定の部署だけに公開した文書10件について、その部署に属さない社員として検索した場合に、検索結果に一度も出ないことを確かめました。
正確に答えるための仕組み
RakuChatは、次の仕組みで、資料に基づいた正確な回答と、根拠のない回答の防止を両立しています。
- 2つの方法で探す：意味の近さで探す検索と、語句の一致で探す検索を組み合わせます。型番・管理番号を含む質問は、その番号が書かれた箇所を優先します。
- 同じ書式の資料を見分ける：文書名（Excelはシート名も）を検索の手がかりに加え、会社ごとの要件定義書や物件ごとの概要書を見分けます。
- 根拠を示す：回答には、根拠にした資料とページ（Excelはシートと行）を示します。
- 推測で答えない：根拠が見つからない場合や、資料から確かめられない場合は回答を控えます。件数・合計は、資料に書かれた数値だけを答えます。
- 続けての質問：前の質問を指す言葉がある場合は、直前の質問と合わせて資料を探します。
- 閲覧の制限：部署ごとに公開範囲を決めた文書は、権限のない人への回答の根拠に使いません。
回答までの時間
333問を順に聞き、画面から質問を送ってから回答が返るまでの時間を測りました。
| 質問 | 半数が返った時間 | 90%が返った時間 |
|---|---|---|
| 全体（333問） | 1.6秒 | 2.3秒 |
| 型番・番号を含まない質問（248問） | 1.5秒 | 2.1秒 |
| 型番・番号を含む質問（85問、例：「管理番号UC-36412の走行距離は？」） | 2.0秒 | 2.7秒 |
回答の作成（AI）にかかった時間は中央値1.3秒で、資料の検索などそのほかの処理は中央値0.15秒でした。大量の文書を登録している最中も質問の処理を優先するため、回答の遅れは最大2秒程度に抑えています。
文書の登録の速さ
500件を5回に分けて登録しました。アップロードは1件あたり0.1〜0.2秒ほどで終わり、その後、文字の取り出し・区切り・ベクトル化を1件ずつ順に行います。500件すべてが失敗なく検索できる状態になりました。
| 形式 | 件数 | ページ | 1件の処理時間（中央値） | 1件の処理時間（90%の文書） |
|---|---|---|---|---|
| 210 | 1,507 | 3.6秒 | 17.4秒以内 | |
| Word | 133 | 644 | 4.0秒 | 7.1秒以内 |
| Excel | 157 | 816 | 4.6秒 | 11.7秒以内 |
| 合計 | 500 | 2,967 | 処理時間の合計 約47分（1分あたり約63ページ） | |
WordとExcelのページ数は、文字数から換算した値です。最も時間がかかったのは26ページのPDFで45秒でした。1件ずつ順に処理するため、100件以上をまとめて登録すると、最後の文書が検索できるようになるまで10分前後かかります。
FAQのURL取込みの速さ
FAQページのURLを入れると、ページの構造（質問と回答の組）を読み取って一覧に表示し、選んだものを登録します。20ページとも構造から読み取れたため、AIは使いませんでした。
- 読み取り：1ページあたり中央値0.3秒（最も長いページで2.4秒）。1ページ5〜88件、合計463件
- 登録：1ページあたり中央値0.2秒。すでに登録済みだった1件は重複として除き、462件を登録
- 回答に使えるまで：最初の登録から約2分20秒で462件すべて
試験の方法
試験した環境
無料お試しの環境（chat.rakucloud.ai）そのもので、管理者のアカウントから試験しました。文書の検索に使う処理（ベクトル化）はRakuCloudのサーバーで行い、CPUは1コアだけを使う設定です。回答の作成には、お試し環境の標準のAI（外部のAIサービス）を使いました。
登録した文書（500件）
RakuCloudが関わる分野を中心に、5つの分野の文書を作りました。会社名・人物・物件・車両・数値はすべて架空です。社内規程のような1種類の文書だけでなく、手順書・台帳・報告書・マニュアルなどを混ぜ、ページ数にも幅を持たせました（PDFは1〜26ページ、Excelは10〜140行）。
| 分野 | 主な文書 | 件数（PDF／Word／Excel） | ページ |
|---|---|---|---|
| Salesforce | 要件定義書、運用手順書、項目定義書、問い合わせ対応記録、研修テキスト、データ移行計画書 | 110（40／28／42） | 840 |
| システム開発・保守 | 障害対応手順書、開発標準、ローコード開発の構築手順書、障害報告書、案件台帳、研修資料 | 90（45／30／15） | 531 |
| AI活用 | 生成AI利用ガイドライン、検証レポート、モデル評価結果、活用事例集、プロンプト集、課題管理表 | 90（30／30／30） | 559 |
| 不動産 | 物件概要書、賃貸管理物件一覧、修繕履歴台帳、売買仲介の業務マニュアル、入居者向けのしおり | 105（50／20／35） | 579 |
| 中古自動車 | 在庫車両一覧、車両状態評価書、保証規定、買取査定マニュアル、整備記録簿、店舗運営マニュアル | 105（45／25／35） | 458 |
| 合計 | 500（210／133／157） | 2,967 |
実際の業務では、同じ書式の文書がたくさん並びます。この状況を再現するため、たとえば要件定義書は18社分、物件概要書は35件、運用手順書は10のテーマを3社分ずつ作りました。
公開されているFAQ（462件）
RakuChatの「URLからFAQ取込み」機能で、官公庁が公開しているFAQページ17件と、RakuCloudのFAQページ3件から取り込みました。官公庁のページは「公共データ利用規約（第1.0版）」に基づいて利用しています。FAQの本文はこの記事には掲載していません。取り込んだページは記事の最後に記載しています。
評価用の質問（333問）
文書・FAQごとに、正解（答えに含まれるべき語と、根拠の資料・ページ・行）を決めた質問を先に作り、すべて新しい会話で1問ずつ聞きました。
- 資料の内容を問う質問：189問（PDF 69問・Word 62問・Excel 58問。うち25問は資料に件数が書かれている質問）
- FAQを言い換えた質問：49問（FAQの質問文とは違う聞き方にしました）
- 資料にない質問：50問（資料に書かれていない項目を尋ねる質問、天気や株価などの一般的な質問）
- 件数を数える必要がある質問：25問（例：一覧のうち修復歴のある車は何台か）
- 続けての質問：10組（1問目に続けて「その物件の〜」と聞く）
まとめ
文書500件・FAQ462件の規模で、RakuChatは回答した199問すべてに正しい根拠を示して正しく答え、誤った回答は0件でした。資料にない質問や件数を数える必要がある質問など、答えるべきでない75問もすべて断りました。90%の質問は2.3秒以内に返り、文書500件は失敗なく約47分で登録できました。
自社の資料で、どの程度答えられるかをお試しいただけます。30日間無料で、パスワードやクレジットカードの登録は不要です。
RakuChatの機能はリリースのお知らせでご紹介しています。自社の文書での試験や導入のご相談は、お問い合わせからどうぞ。
試験に使ったFAQの出典
次のページのFAQを、RakuChatの「URLからFAQ取込み」で取り込み、試験に使いました（2026年11月9日に取得）。官公庁のページは「公共データ利用規約（第1.0版）」に基づいて利用しています。
出典の一覧（20ページ）
- 個人情報保護委員会「医療・介護関係事業者における個人情報の取扱いのQ&A」 https://www.ppc.go.jp/personalinfo/faq/iryoukaigo_guidance_QA/
- 個人情報保護委員会「個人の方向けのよくある質問」 https://www.ppc.go.jp/personalinfo/faq/kojin/
- 国土交通省「自賠責保険・共済のよくあるご質問」 https://www.mlit.go.jp/jidosha/jibaiseki/faq/index.html
- 国土交通省「住宅瑕疵担保履行法のQ&A」 https://www.mlit.go.jp/jutakukentiku/jutaku-kentiku.files/kashitanpocorner/rikouhou/qanda2.html
- 国土交通省「住宅瑕疵担保履行法のQ&A（資力確保措置）」 https://www.mlit.go.jp/jutakukentiku/jutaku-kentiku.files/kashitanpocorner/rikouhou/qanda3.html
- 消費者庁「景品表示法に関するQ&A（表示）」 https://www.caa.go.jp/policies/policy/representation/fair_labeling/faq/representation
- デジタル庁「マイナンバーカードの民間事業者での利活用のよくある質問」 https://www.digital.go.jp/policies/mynumber/private-business/faq
- デジタル庁「マイナンバー制度のよくある質問（マイナンバーカード）」 https://www.digital.go.jp/policies/mynumber_faq_03
- デジタル庁「マイナンバー制度のよくある質問（個人情報の保護）」 https://www.digital.go.jp/policies/mynumber_faq_05
- デジタル庁「マイナ保険証のよくある質問」 https://www.digital.go.jp/policies/mynumber/faq-insurance-card
- デジタル庁「公金受取口座の登録手続のよくある質問」 https://www.digital.go.jp/policies/account_registration/faq-registration/procedure
- 法務省「商業・法人登記のQ&A」 https://www.moj.go.jp/MINJI/minji69.html
- 法務省「相続登記の申請義務化に関するQ&A」 https://www.moj.go.jp/MINJI/minji05_00565.html
- 総務省「ふるさと納税のよくある質問」 https://www.soumu.go.jp/main_sosiki/jichi_zeisei/czaisei/czaisei_seido/furusato/faq/
- 環境省「自動車リサイクル法のQ&A」 https://www.env.go.jp/recycle/car/qa_upd.html
- 国税庁「確定申告に関するQ&A」 https://www.nta.go.jp/taxes/shiraberu/shinkoku/qa/02.htm
- 国税庁「税金の還付に関するQ&A」 https://www.nta.go.jp/taxes/shiraberu/shinkoku/qa/11.htm
- RakuCloud株式会社「NocoBase導入支援」 https://rakucloud.com/solution/nocobase
- RakuCloud株式会社「RakuCall」 https://rakucloud.com/product/rakucall
- RakuChatのデモ用FAQ（架空の会社） https://chat.rakucloud.ai/demo/minato-seiki/faq.html
※ 回答の正確さと回答までの時間は2026年11月10日、登録・取込みの速さは11月9日の試験での結果です。文書の内容・量・質問の仕方、使うAIによって結果は変わります。