概要

カスタマーエージェントに、一括テスト(バッチテスト)機能が搭載されました(パブリックベータ)。管理者は変更を本番環境に展開する前に、一連の質問を用いてAIエージェントをテストし、すべての回答の品質を確認し、その結果に基づいてエージェントに直接指導(コーチング)を行うことができます。

現在、管理者が変更を本番環境に反映する前に、AIエージェントがさまざまな質問に対してどのように動作するかを確認するための体系的な方法はありません。バッチテストにより、管理者は本番導入前にカスタマーエージェントに対する信頼性を確立するための再現性のある手法を得られるほか、回答が不十分な場合にそれを改善するための体系的な改善サイクルも確保できます。

仕組み・使い方

1. テストセットを作成する

まず、テストセットを作成します。質問を手動で追加するか、テーマから生成します(テーマは、受信トレイやヘルプデスクでの最近の実際の会話から自動的に抽出されます)。テーマが表示されるには、類似したトピックに関する会話が5件以上必要です。

2. セグメントを選択する

次に、セグメントを選択します。テスト対象を特定のセグメントに絞り込み、特定の対象層に対してエージェントがどのように機能するかを確認します。

3. テストを実行する

次に、テストを実行します。カスタマーエージェントは、セット内のすべての質問に対して応答を生成します。

4. 回答を確認する

テストの実行が完了したら、回答を確認します。各Q&Aペアについて、「Looks good」または「Looks bad」のいずれかを指定してください。不適切な項目には「コーチエージェント」ボタンと、任意の「メモを入力」フィールドが表示され、レビュー担当者はそのエージェントを直ちに修正するか、メモを残すかを選択できます。メモは、後でまとめてコーチングを行う際や、コーチング権限を持つチームメンバーと共有する際に役立ちます。

5. コーチングと反復

コーチングアクションは、結果ビューから直接開くことができます。管理者はエージェントの知識や動作を修正し、テストを再実行して、改善が確認できたかを確認します。

対象

「カスタマーエージェント」は、HubSpot Content Hub ProfessionalおよびEnterprise、Data Hub ProfessionalおよびEnterprise、Marketing Hub ProfessionalおよびEnterprise、Sales Hub ProfessionalおよびEnterprise、Service Hub ProfessionalおよびEnterprise、HubSpot Smart CRM ProfessionalおよびEnterprise、およびHubSpot Creditsで利用可能です。

対象

CMS Hub Professional/Enterprise、Core Seats Enterprise Hub、Core Seats Professional Hub、Hubspot Credits Committed Hub、Marketing Hub Professional/Enterprise、Data Hub Professional/Enterprise、Sales Hub Professional/Enterprise、Service Hub Professional/Enterprise

株式会社100の視点

活用シーン

問い合わせ対応をカスタマーエージェント(AIによる自動応答の仕組み)に任せているお客さまが、本番反映前に応答品質をまとめて検証したい場面で役立ちます。受信トレイやヘルプデスクの実際の会話からテーマを自動抽出できるため、よくある質問パターンを人手で洗い出す手間を減らせます。セグメント単位でテスト対象を絞り込める点は、製品カテゴリや顧客層ごとに応答傾向が異なる企業での品質確認に向いています。「Looks good/Looks bad」の判定とコーチング機能を組み合わせることで、改善の履歴を残しながら反復的にチューニングする運用がしやすくなります。

気になる点

• テーマ生成には類似トピックの会話が5件以上必要とのことで、立ち上げ初期や問い合わせ件数の少ない部門では自動生成の恩恵を受けにくいと見られます。
• 判定基準が「Looks good/Looks bad」の二値のみで、どの程度の精度で合格としたかといった定量的な基準は現時点では不明です。承認フローの中でこの結果をエビデンスとして扱う場合、判定の粒度が粗く感じられる可能性があります。
• コーチングやメモの共有はチーム内での運用が前提となっており、部門をまたいで回答方針を擦り合わせる際の権限設計やレビュー担当者の役割分担は別途検討が必要になりそうです。
• パブリックベータのため、テストセットの保存形式や結果の履歴管理の仕様が正式リリース時に変更される可能性がある点は留意が必要です。

今後への期待

現状は目視での「良い/悪い」判定が中心のようですので、正式リリースまでにスコアリングの自動化や、判定結果をレポートとして経営層や関連部門に共有できる仕組みが加われば、品質管理としての説得力が増すと考えられます。また、テーマ抽出の閾値(5件以上)を業種や問い合わせ量に応じて調整できるようになると、より幅広い規模のお客さまが活用しやすくなりそうです。コーチング内容の変更履歴が版管理のように残る機能があれば、改善サイクルの振り返りにも役立つと期待されます。

※ この記事はHubSpot製品の最新情報ページをもとに作成しています。最新の情報はHubSpot製品の最新情報でご確認ください。