CLOVA Developer Center βには、スキルの利用状況を解析するためのツール CLOVA Analytics が用意されています。
CLOVA Analyticsは、CLOVA Developer Center βにログインした状態でスキル設定画面を開き、各スキルの 統計 欄に表示された 確認 をクリックすると表示されます。
ここでは、画面の基本操作と、各解析項目について説明します。
各画面に共通する操作について説明します。
Move To ドロップダウンリストで表示するスキルを切り替えることができます。スキル設定画面に戻ってスキルを選択し直す必要はありません。
表示期間 ドロップダウンリストで、表示する集計期間を選択します。ここでは各表示期間の詳細について説明します。
※ サマリー画面に本機能はありません。
前日の集計結果を表示します。
7日前から前日までの集計結果を表示します。
30日前から前日までの集計結果を表示します。
表示期間の開始日と終了日を任意に指定します。表示できる期間は最大1年間です。日付はカレンダーで指定するか、YYYY.MM.DD の形式でフィールドに直接入力することが可能です。
グラフに表示する単位を「日」「時間」で切り替えることができます。
※ サマリー画面に本機能はありません。
メモ
CLOVA Analyticsには、次の解析項目が用意されています。
スキル設定画面でスキルを選択すると、最初に サマリー 画面に遷移します。ここでは前日と過去7日間について、最新データの概要を把握することができます。
LaunchRequest
や、「終了して」等のSessionEndedRequest
を含むすべてのユーザー発話の数を表します。前日の集計結果を表示します。
7日前から前日までの集計結果を表示します。
メモ
サマリー画面の前日および過去7日間の集計は、1時間ごとの集計値の合計を表示しており、延べの数値となります。
セッション 画面では、スキルが実行された回数や、ユーザー毎の平均実行回数などを確認することができます。セッション数とは、セッションIDに基づいた、スキルが実行された回数を表します。
通常、1往復の対話で完結するユーザーリクエストはそのたびにセッションIDが変わりますが、マルチターン対話は同じセッションIDを維持してリクエストを処理します。
例えば、ピザを注文するスキルの場合、「ねぇCLOVA、ピザボットを起動して」→「ペパロニピザを頼んで」→「1枚注文して」→「終了して」という一連のマルチターン対話は、セッション数1としてカウントされます。
スキルが実行された回数を棒グラフで表示します。
セッション数をユニークユーザー数で割った平均値を折れ線グラフで表示します。
セッション数のデバイス別の内訳を棒グラフで表示します。
ユーザー 画面では、ユーザー数や、ユーザーが使用したデバイスの種類などを確認することができます。
ユーザーIDに基づいたユーザー数を棒グラフで表示します。
使用されたユーザー別のCLOVAデバイスの数を棒グラフで表示します。
ユーザーがどのタイプのCLOVAデバイスでスキルを利用したかの構成比が帯グラフで表示されます。
メモ
デバイス数はユーザーの識別子とデバイスの識別子の掛け合わせを表します。つまり、1つのユーザーIDで2つのCLOVAデバイスを使用すると、ユーザー数は1、デバイス数は2としてカウントされます。そのため、ユーザー数とデバイス数は一致しない場合があります。
発話 画面では、発話数やインテント分類時の精度が低い発話などを確認することができます。
ユーザーが発話した数の合計を棒グラフで表示します。
発話には、「ねぇCLOVA、<スキル名>を起動して」等のLaunchRequest
、対話モデルで定義したインテントのIntentRequest
、「終了して」等のSessionEndedRequest
が含まれます。
総発話数をユニークユーザー数で割った平均値を折れ線グラフで表示します。
※ 本項目は、選択した表示期間にかかわらず前日分のデータを表示します。
インテント分類時の精度が低い発話は、スキルの開発時に想定していなかった発話をユーザーがした場合に表示されます。発話内容とユーザー数、発話数がリスト表示されます。
ここに表示されている全ての発話が誤ったインテントに分類されているわけではありませんが、これらに対応するためにサンプル発話を充実させるなど、対話モデルの設計を見直すことを推奨します。
例えば、ピザを注文するスキルで、ピザのサイズをS、M、Lサイズで指定することを想定している会話を設計したとします。このときに、対話モデル構築時には想定していなかった「二人前」という入力をユーザーが発話した場合には、正しいインテントに分類することができません。こういった想定していない発話がこの「インテント分類時の精度が低い発話」に表示されます。ここに表示された発話を元に対話モデルを改善してください。
インテント ページでは、各インテントの利用状況を確認できます。
インテント別のユニークユーザー数の和を棒グラフで表示します。例えば1人のユーザーがインテントAを1回、インテントBを2回発話した場合、この値は2となります。
LaunchRequest
およびSessionEndedRequest
を含まないため、ユーザーページの「ユーザー数」の数値とは一致しない場合があります。
インテント毎の総発話数を棒グラフで表示します。
LaunchRequest
およびSessionEndedRequest
を含まないため、発話ページの「発話数」の数値とは一致しない場合があります。
インテント別の発話数の内訳を、円グラフとリストで表示します。