Clova Analyticsを使用する

Clova Developer Center βには、スキルの利用状況を解析するためのツール Clova Analytics が用意されています。

Clova Analyticsは、Clova Developer Center βにログインした状態でスキル設定画面を開き、各スキルの 統計 欄に表示された 確認 をクリックすると表示されます。

ここでは、画面の基本操作と、各解析項目について説明します。

  • 基本操作
  • 解析項目
    • サマリー
    • セッション
    • ユーザー
    • 発話
    • インテント

基本操作

各画面に共通する操作について説明します。

Move to

Move To ドロップダウンリストで表示するスキルを切り替えることができます。スキル設定画面に戻ってスキルを選択し直す必要はありません。

表示期間

表示期間 ドロップダウンリストで、表示する集計期間を選択します。ここでは各表示期間の詳細について説明します。
※ サマリー画面に本機能はありません。

前日

前日の集計結果を表示します。

  • 例：10月1日に閲覧 → 9月30日の集計結果

過去7日間

7日前から前日までの集計結果を表示します。

  • 例：10月1日に閲覧 → 9月24日～9月30日の集計結果

過去30日間

30日前から前日までの集計結果を表示します。

  • 例：10月1日に閲覧 → 9月1日～9月30日の集計結果

カスタム

表示期間の開始日と終了日を任意に指定します。表示できる期間は最大1年間です。日付はカレンダーで指定するか、YYYY.MM.DD の形式でフィールドに直接入力することが可能です。

時間単位

グラフに表示する単位を「日」「時間」で切り替えることができます。
※ サマリー画面に本機能はありません。

メモ

  • Clova Analyticsの時間表示は、すべて日本時間（UTC+9）です。
  • 集計はリアルタイムではなく、一定の時刻に前日分の集計を行って結果を画面に反映します。そのため、Clova Analyticsを表示した時点の実際の数値と、画面上の数値は一致しない場合があります。

解析項目

Clova Analyticsには、次の解析項目が用意されています。

  • サマリー
  • セッション
  • ユーザー
  • 発話
  • インテント

サマリー

スキル設定画面でスキルを選択すると、最初に サマリー 画面に遷移します。ここでは前日と過去7日間について、最新データの概要を把握することができます。

  • セッション数 とは、スキルが実行された回数を表します。
  • ユーザー数 とは、ユーザーIDに基づいたユニークユーザー数を表します。
  • 発話数 とは、「ねぇClova、<スキル名>を起動して」等のLaunchRequestや、「終了して」等のSessionEndedRequestを含むすべてのユーザー発話の数を表します。

前日

前日の集計結果を表示します。

  • セッション
    • 合計：セッション数の合計（前日比）
    • 平均値：1時間毎の平均セッション数
    • 最大値：期間中の1時間毎のセッション数で一番大きい値
  • ユーザー
    • 合計：ユーザー数の合計（前日比）
    • 平均値：1時間毎の平均ユーザー数
    • 最大値：期間中の1時間毎のユーザー数で一番大きい値
  • 発話
    • 合計：発話数の合計（前日比）
    • 平均値：1時間毎の平均発話数
    • 最大値：期間中の1時間毎の発話数で一番大きい値

過去7日間

7日前から前日までの集計結果を表示します。

  • セッション
    • 合計：セッション数の合計（前週比）
    • 平均値：1日毎の平均セッション数
    • 最大値：期間中の1日毎のセッション数で一番大きい値
  • ユーザー
    • 合計：ユーザー数の合計（前週比）
    • 平均値：1日毎の平均ユーザー数
    • 最大値：期間中の1日毎のユーザー数で一番大きい値
  • 発話
    • 合計：発話数の合計（前週比）
    • 平均値：1日毎の平均発話数
    • 最大値：期間中の1日毎の発話数で一番大きい値
  • 過去7日間に使われたインテント（上位10件）
    ユニークユーザー数に基づき、過去7日間で使用されたインテントの上位10件の割合を円グラフで表示します。スキルに含まれるインテントが10個以上ある場合は、10位以下を「その他」として合算して表示します。

メモ

サマリー画面の前日および過去7日間の集計は、1時間ごとの集計値の合計を表示しており、延べの数値となります。

セッション

セッション 画面では、スキルが実行された回数や、ユーザー毎の平均実行回数などを確認することができます。セッション数とは、セッションIDに基づいた、スキルが実行された回数を表します。

通常、1往復の対話で完結するユーザーリクエストはそのたびにセッションIDが変わりますが、マルチターン対話は同じセッションIDを維持してリクエストを処理します。

例えば、ピザを注文するスキルの場合、「ねぇClova、ピザボットを起動して」→「ペパロニピザを頼んで」→「1枚注文して」→「終了して」という一連のマルチターン対話は、セッション数1としてカウントされます。

セッション数

スキルが実行された回数を棒グラフで表示します。

1ユーザーあたりの平均セッション数

セッション数をユニークユーザー数で割った平均値を折れ線グラフで表示します。

デバイス別のセッション数

セッション数のデバイス別の内訳を棒グラフで表示します。

ユーザー

ユーザー 画面では、ユーザー数や、ユーザーが使用したデバイスの種類などを確認することができます。

ユーザー数

ユーザーIDに基づいたユーザー数を棒グラフで表示します。

デバイス数

使用されたユーザー別のClovaデバイスの数を棒グラフで表示します。

ユーザーの利用デバイス内訳

ユーザーがどのタイプのClovaデバイスでスキルを利用したかの構成比が帯グラフで表示されます。

メモ

デバイス数はユーザーの識別子とデバイスの識別子の掛け合わせを表します。つまり、1つのユーザーIDで2つのClovaデバイスを使用すると、ユーザー数は1、デバイス数は2としてカウントされます。そのため、ユーザー数とデバイス数は一致しない場合があります。

発話

発話 画面では、発話数やインテント分類時の精度が低い発話などを確認することができます。

発話数

ユーザーが発話した数の合計を棒グラフで表示します。 発話には、「ねぇClova、<スキル名>を起動して」等のLaunchRequest、対話モデルで定義したインテントのIntentRequest、「終了して」等のSessionEndedRequestが含まれます。

1ユーザーあたりの平均発話数

総発話数をユニークユーザー数で割った平均値を折れ線グラフで表示します。

インテント分類時の精度が低い発話(前日分)

※ 本項目は、選択した表示期間にかかわらず前日分のデータを表示します。

インテント分類時の精度が低い発話は、スキルの開発時に想定していなかった発話をユーザーがした場合に表示されます。発話内容とユーザー数、発話数がリスト表示されます。

ここに表示されている全ての発話が誤ったインテントに分類されているわけではありませんが、これらに対応するためにサンプル発話を充実させるなど、対話モデルの設計を見直すことを推奨します。

例えば、ピザを注文するスキルで、ピザのサイズをS、M、Lサイズで指定することを想定している会話を設計したとします。このときに、対話モデル構築時には想定していなかった「二人前」という入力をユーザーが発話した場合には、正しいインテントに分類することができません。こういった想定していない発話がこの「インテント分類時の精度が低い発話」に表示されます。ここに表示された発話を元に対話モデルを改善してください。

インテント

インテント ページでは、各インテントの利用状況を確認できます。

ユーザー毎の利用インテント数

インテント別のユニークユーザー数の和を棒グラフで表示します。例えば1人のユーザーがインテントAを1回、インテントBを2回発話した場合、この値は2となります。 LaunchRequestおよびSessionEndedRequestを含まないため、ユーザーページの「ユーザー数」の数値とは一致しない場合があります。

利用インテント数

インテント毎の総発話数を棒グラフで表示します。 LaunchRequestおよびSessionEndedRequestを含まないため、発話ページの「発話数」の数値とは一致しない場合があります。

発話のインテント内訳

インテント別の発話数の内訳を、円グラフとリストで表示します。