引き継ぎが防ぐための失敗パターン

実際にどれだけ確信しているかにかかわらず常に答えるAIエージェントは、いずれ請求に関する紛争、安全に関する質問、あるいはアカウント固有のエッジケースに対して、確信に満ちた、もっともらしく聞こえるが実は間違っているテキストで答えることになります。そのたった一つの悪い回答は、良い回答12個分よりも多くの信頼を失わせます ― 顧客は経験を平均しません。「チャット」が何か嘘を教えた瞬間を覚えているのです。

モデルにどれだけ確信があるかを尋ね、ある数値を下回ったら引き継ぐ ― そうしたくなるものです。私たちはそうしません。研究（Xiong et al., ICLR 2024）によれば、モデルが自己申告する確信度は一貫して過大であり、メッセージに隠された指示ひとつで「完全に確信している」と申告させることもできます。iNTELIGENCIA VIVAでは、引き継ぎを決めるのはコードが確認するルールであり、AIが自分について書く数値ではありません。

何が引き継ぎのきっかけになるのか

会話がチームの担当者に渡るのは、訪問者が求めたとき、危機の兆候があるとき、訪問者が苛立ちを見せたとき、回答が提供されたナレッジに基づいていないとき、またはAIが役に立つ回答を出せなかったときです。引き継ぎには会話の完全な要約が付きます。訪問者が何を尋ねたか、AIがすでに何を試したか、なぜ止まったか。担当者はゼロから始める必要がありません。

その時点でチームの誰も対応できない場合 ― 営業時間外、オンラインの担当者がいない、あるいは担当者のいないチャットの場合 ― AIは訪問者を待たせたままにはしません。はっきりとそう伝え、ビジネスの他のチャネルを案内するか、わかる範囲で手助けを続けます。

そのためにWebhookイベント`handoff.requested`があります。独自のエスカレーション（特定の担当者への通知、別システムでのチケット作成）を組みたいビジネスは、固定のタイムアウトではなく、会話が担当者に渡ったまさにその瞬間にフックできます。

実際にあなたが調整できること

万能の基準はありません ― 一般的な商品の質問に答えるビジネスは、誤った回答が実害につながるアカウント固有の請求案件を扱うビジネスよりも許容範囲が広くて構いません。振る舞いを決めるのはあなた自身です。アシスタントへの指示（決して答えてはいけないこと、常に担当者に渡すケース）、営業時間、そしてチャットの向こうに人がいるかどうかです。

AIに、より良く、より新しいナレッジソースを与えることが最も効果的な手段です。本当に良い資料を持つアシスタントは、より多くの実際の質問でそれを根拠にでき、安全のための余裕を緩めることなく、引き継ぎを減らせます。

実際に重要な指標

解決率は虚栄の数字ではありません ― iNTELIGENCIA VIVAでは、それは文字通りあなたが課金される対象です。なぜなら解決とは、人間が介入することなくAIが終わらせた会話だからです。その整合は意図的なものです: つまり、インセンティブは、正確さにかかわらずどれだけ頻繁に答えるかを最大化することではなく、AIが自分が扱う質問に対して正直に優れていることに向けられています。