経営層に効果を示すAI分析レポート

導入から数か月。更新の時期が近づき、予算を承認する立場の人が会議でごく普通の質問を投げます。これ、ちゃんと効いているの?

担当者が管理画面を開いて画面共有をします。グラフが出て、次に会話ログの一覧が出る。皆、うなずきはします。けれども「結局、この費用で会社は何を得たのか」を一文で言える人がいません。承認者は来たときと同じ納得度のまま席を立ち、問題なく動いていたはずのチャットボットが、静かに解約されていきます。

原因はボットの出来ではないことが多いのです。管理画面は運用する人のために作られていて、予算を決める人は管理画面にログインしません。この溝を埋めるための資料が、OneBotのAI分析レポートです。経営会議でそのまま読める報告用のPDFで、しかも印刷された数字を信頼できるように作ってあります。

決裁者が知りたいのは、実はこの4つ

会議の場を削ぎ落とすと、承認者の関心は次の4点に集まります。

• お客様は本当に使っているのか。スイッチを入れただけではないか。
• 誰かの時間を減らせたのか。
• どこで失敗しているのか。
• 来月、いまやっていない何をすべきか。

会話ログのスクリーンショットは、このどれにも答えません。メッセージ総数は1つ目に不十分に答えるだけです。必要なのは、数字とその前提を並べ、最後に誰かが動ける提案を置いた短い資料です。

各項目の読み方と、それで決められること

AI分析レポートは構成の決まったPDFです。載る項目を、読む順に並べます。数字を眺めて終わらないよう、項目ごとに「何の判断に使うか」を添えます。

件数(質問と対話)

指定した期間に何件の質問があり、何件の対話に属していたか。ここで見るのは多い少ないより、使われているかどうかです。件数が少ないなら、入口の見つけにくさ、つまり案内やLINEでの導線の問題かもしれません。ボットの中身を直す前に、そこを疑います。次の期間との比較で、告知や施策の効果も読めます。

削減時間

チャットボットが現場の手間をどれだけ減らしたかの推計です。判断に使うのは「続けるか」より、「その時間を何に振り向けるか」です。減った時間で担当者が別の仕事に回れたのか、それとも数字だけが減って現場の忙しさは変わっていないのか。承認者と現場で認識が違うなら、その差がそのまま議題になります。

ギブアップ率

ボットが役に立てず、利用者が離脱した、あるいは有人対応に回った割合です。高ければボットが悪いと読みがちですが、そうとは限りません。そもそもボットの守備範囲外の質問が多いのかもしれず、その場合は「答えさせる」のではなく「人につなぐ」設計を見直すほうが正解です。カテゴリ別の内訳と一緒に読んでください。

回答満足度

エンドユーザーが実際につけた評価に基づく値です。使えるのは、改善の効果を確かめる場面です。ナレッジを直した翌期に、該当カテゴリの満足度が動いたか。逆に、評価の数が少ないと値は安定しません。その場合、この欄は載りません(後述)。

カテゴリ別の内訳

質問を分類し、営業時間なのか返品なのか、想定外の話題なのかを見えるようにしたものです。ここから決まるのは、どこに手間をかけるかです。件数の多いカテゴリの精度を上げるのが最も割に合います。想定外の話題が目立つなら、サービス案内の側に伝わっていないことがあるという知らせです。

改善提案(最大3件)

ナレッジに対する具体的な提案です。この質問が繰り返し失敗している、この回答は古い、この話題には元資料自体がない、といった内容になります。提案は30件ではなく3件です。上限は意図的なものです。30項目のリストは棚にしまわれ、3項目なら実行されます。

「削減時間」は前提つきの数字で、PDFにもそう書いてある

スライドで「削減時間」を見せられて、この数字はどこから来たのかと思ったことがある方は多いでしょう。このレポートでは計算式を隠しません。標準では、対応した1問合せあたり3分の手間を省けたと数えます。そして計算式(問い合わせ件数×1件あたりの分数)はPDF上に印刷されます。

3分は測定値ではなく、出発点の仮定です。営業時間を聞くだけの質問には多すぎ、以前なら電話と調べものが必要だった質問には少なすぎるはずです。そのため、レポート作成時にこの値は変更できます。実際に社内で計ってみた時間があれば、それを使ってください。

出所のわからない数字を信じてもらうより、仮定に異論を唱えてもらうほうがいいと考えています。財務担当の方が2分のほうが実態に近いとおっしゃるなら、2分に変える。PDFにも2分と印刷されます。

前提を変えたときは、変えたこと自体を会議で口にしてください。「標準の3分を2分に直しています」と自分から言えば、数字は守りに入らずに済みます。代理店がクライアントに見せる場合も同じです。前提が印刷されたPDFを渡し、その前提を一緒に決めることが、月額費用の説明そのものになります。数字が多少小さくなっても、根拠を説明できる数字のほうが、更新の場では強いのです。

数字を信頼してもらうための設計

数字の信頼性のために、次の点を設計に組み込んでいます。

お客様ご自身で、期間を選んで作成する。 対象期間を決めてレポートを作成し、PDFを出力します。

前提は見えて、変えられる。 削減時間の計算に使う1問合せあたりの分数などは画面上で確認・調整でき、計算式はPDFに印刷されます。

個人情報は分析の前にマスクする。 お客様のメッセージは、AIがカテゴリや提案を作る前に個人情報がマスクされます。マスクが先で、分析はマスク後のテキストに対して行われます。データの保管と処理の全体像はAPPI対応とデータ所在地のガイドをご覧ください。保管は日本国内サーバーですが、AIの処理には外部のAI APIを利用しており、データが国外に出ないとは申しません。

期間は日本時間で確定する。 集計期間はJSTで計算します。月といえば事業の実感どおりの月であり、日付の境目がずれることはありません。

根拠が足りない指標は載せない。 評価の件数が少なすぎて満足度について何も言えないなら、満足度の欄は省かれます。ギブアップ率を裏づけられないときも同様です。空白を推測で埋めることはしません。欄が欠けた短いレポートのほうが、一部を作り物で埋めた完成形に見えるレポートより役に立ちます。この設計だけは、最も強く擁護したい点です。

3つの改善提案を、学習データの変更に落とす

提案の欄は多くの人が飛ばし、そして最も元が取れる部分です。良い会議は、レポートを判決ではなく議題として扱います。提案は、次の3種類のどれかに振り分けるところから始めます。

• 元資料がない:その話題を書いた文書自体が存在しない。担当部署に書いてもらうか、FAQを新しく起こします。
• 元資料が古い、または食い違っている:料金、営業日、手順などの更新漏れ。出典側を直します。ボット側で言い回しをいじっても解決しません。
• そもそも人が答えるべき質問:個別の事情が絡む相談など。回答を作り込むより、有人対応に引き継ぐ導線を整えます。

振り分けたら、誰が直すか、いつまでに直すかを決めます。修正はFAQの追加、出典の差し替え、回答の書き直しといった学習データの変更になります。FAQを表計算シートで管理している場合は、シートの更新をそのまま反映する方法がスプレッドシート自動同期の記事にまとめてあります。直した内容が、次の会議までにボットへ届いていることが大切です。

次の期間のレポートで、そのカテゴリのギブアップ率や満足度が動いたかを確かめます。この手順がなければ、レポートは少し見栄えのいいスクリーンショットで終わります。あれば、毎月ボットが賢くなる仕組みになります。導入後に伸び悩むチームには、まさにこのループが欠けていることが多く、パターンはチャットボット導入が頓挫するパターンで書いています。

迷ったときの読み順

数字が多くて迷うときは、次の順に読むと会議が散らかりません。まず件数で「使われているか」を確かめ、次にカテゴリ別内訳で「何が聞かれているか」を見ます。そのうえでギブアップ率で「どこで詰まっているか」を確認し、最後に改善提案で「何を直すか」を決めます。削減時間は、結論を強めるために最初に見せたくなりますが、仮定に基づく数字なので最後に添えるほうが誠実です。

会議での使い方:30分の進め方の例

レポートは、配って終わりにせず、議題として使います。一例です。最初の5分で、件数とカテゴリ別内訳から「使われ方」を共有します。次の10分でギブアップ率と満足度を見て、失敗している場所を確認します。その次の10分で3つの提案を振り分け、担当と期限を決めます。最後の5分は、削減時間の前提(1問合せあたりの分数)を今の実態に合わせてよいか、承認者と現場で確認します。決裁者が出席するなら、この最後の確認が信頼の土台になります。数字を疑われる前に、前提を自分から見せるためです。

このレポートでは分からないこと

限界を先に書いておくほうが、打ち合わせの手間を省けます。

• 削減時間は仮定に基づく推計です。 1問合せあたりの分数を変えれば、結果も比例して変わります。時間測定の結果として社内で扱うのは避け、前提とセットで示してください。
• 期間が短い、または件数が少ないと、値は安定しません。 立ち上げ直後の1か月の数字を、そのまま傾向として読むのは危険です。何期か並べて見てください。
• 載っていない欄には意味があります。 根拠が足りない指標は省かれます。欄がないのは「悪かった」ではなく「言えるだけの材料がなかった」という意味です。
• 分析の正確さを保証するものではありません。 件数は会話データから数えたもので、カテゴリや提案はAI分析の結果です。数字は前提とセットで読み、気になる点は元の会話で確かめてください。
• チャットボットが対応した範囲の報告です。 ある会話が売上にいくら結びついたかは、他所にデータがない限りわかりません。

自分で作る月次レポートとの違い

代理店であれば、管理画面の数字から毎月クライアント向けのレポートをすでにお作りかもしれません。そのテンプレートと、20社で回すときの工数は代理店向け月次レポート自動化で扱っています。手作りのレポートは柔軟で、物語の組み立てを自分で決められます。

AI分析レポートはそれとは別物です。構成が標準化され、前提が印刷された資料です。両方を使う代理店もあるでしょう。手作りは関係づくりのため、分析レポートはその裏づけとして。日々のやり取りの担当者ではなく、決裁者が判断する場面でも役立ちます。

どんな会社に向いているか

向くのは2つの場面です。1つは、チャットボットの費用を出す人と運用する人が別である会社。もう1つは、管理画面を見ないクライアントに月額費用を説明しなければならない代理店です。毎朝管理画面を自分で確認している2人チームなら、正式なPDFはまだ要らないでしょう。

自社の場合にどんなレポートになるかを見たいときは、無料トライアルから始めるか、お問い合わせください。この水準の報告が、いまの運用に合うかどうかを率直にお伝えします。

よくある質問

よくある質問

AI分析レポートは自分で作成して出力できますか。

はい。お客様ご自身で対象期間を選んでレポートを作成し、PDFを出力できます。

「削減時間」はどう計算していますか。

対応した問合せ件数に1件あたりの分数を掛けた推計です。標準は3分で、レポート作成時に変更でき、計算式はPDFに印刷されます。時間測定の結果ではなく、仮定としてお読みください。

データが足りない指標はどうなりますか。

その欄は省かれます。たとえば評価の件数が少ない場合、満足度は載せません。裏づけられない値を推測で埋めることはしません。

お客様の個人情報はAIに送られますか。

分析の前に個人情報をマスクするため、分析はマスク後のテキストに対して行われます。データは日本国内サーバーに保管されますが、AI処理には外部のAI APIを利用しており、データが国外に出ないとは申しません。

レポートの数字の前提を変えられますか。

1問合せあたりの分数などの前提は表示され、変更できます。計算式はPDFに印刷されるため、どの前提で出した数字かを読み手が確認できます。

集計期間はどのタイムゾーンですか。

日本標準時(JST)です。

自分で作る月次レポートとの違いは何ですか。

自作のレポートは柔軟で、自社の語り口を込められます。AI分析レポートは構成が標準化され、前提(計算式)が明示された資料です。代理店では両方を使い分けることもできます。