Il contenuto di questa pagina è tradotto automaticamente. Zoom non ne garantisce l’accuratezza.
Page cover
For the complete documentation index, see llms.txt. This page is also available as Markdown.

Analisi e reportistica

Esplora i report di Zoom Virtual Agent, le metriche della Dashboard, i filtri e gli approfondimenti sul coinvolgimento.

Analisi e reportistica per Zoom Virtual Agent

Gli amministratori possono creare un'unica sottoscrizione contenente i diversi report descritti in questa sezione. Possono filtrare le sottoscrizioni per agenti specifici, gruppi di agenti o tipi di report come Panoramica, Prestazioni dell'agente virtuale, Prestazioni della conoscenza, Approfondimento query, Dettagli conversazione e Sondaggi sul coinvolgimento dei consumatori. I destinatari ricevono un'unica e-mail con tutti i report selezionati, etichettati per tipo di report e ambito dell'agente.

Le sottoscrizioni ai report ora offrono una cadenza di consegna estesa, copertura della Dashboard e contenuti e-mail. Gli amministratori possono scegliere qualsiasi giorno della settimana per la consegna settimanale oppure passare alla consegna giornaliera. È disponibile una selezione più ampia di dashboard incluse nella sottoscrizione, e il modello di e-mail del report è stato rivisto per includere più metriche e un riepilogo generato dall'IA.

I filtri del Dashboard supportano anche la precisione per fascia oraria e le viste salvate. Oltre agli intervalli di date, gli amministratori possono impostare orari di inizio e fine all'ora e al minuto per isolare una finestra come un singolo turno di lavoro o un periodo di traffico intenso, e sono inoltre Disponibile anche gli intervalli di date relativi. Un Dashboard filtrato può essere salvato come vista denominata che acquisisce i relativi filtri e le selezioni dei grafici per un riutilizzo rapido, e una vista salvata può essere condivisa con tutti gli utenti sull'account.

Il Dizionario dei dati fornisce definizioni trasparenti delle metriche per le analisi di Virtual Agent

Le analisi di Zoom Virtual Agent includono un Dizionario dei dati integrato. Gli amministratori possono sfogliare dataset e report per comprendere definizioni delle metriche, calcoli, filtri e indicazioni interpretative. Le definizioni possono essere esportate e condivise, contribuendo a chiarire i KPI e a favorire l'adozione tra i team.

Le metriche della Dashboard supportano il drill-down diretto e i tooltip delle colonne

Gli amministratori possono fare clic su qualsiasi metrica nella Dashboard di Zoom Virtual Agent per approfondire le conversazioni sottostanti. I filtri attivi della dashboard vengono applicati automaticamente, così puoi passare dall'elenco delle conversazioni a una singola trascrizione e tornare indietro senza perdere il contesto. Ogni tabella del report aggiunge anche tooltip alle intestazioni di colonna. Passa il mouse su una metrica per vederne la definizione e un collegamento diretto alla voce completa del Dizionario dei dati.

Il report Prestazioni dell'agente virtuale dettaglia gli esiti di Strumento, Skill e latenza durante il coinvolgimento dell'utente finale

Il report Prestazioni dell'agente virtuale fornisce dati per i principali indicatori di prestazione dell'agente IA.

  • Metriche principali: Numero totale e univoco di strumenti richiamati, numero totale e univoco di skill richiamate, metriche di latenza (latenza del primo token P90/P50), tendenza della latenza, tasso di contenimento, tasso di escalation, utilizzo del coinvolgimento e risparmio sui costi.

    • Metrica di avvio: Una nuova metrica avanzata che misura quando e come vengono avviate le interazioni, offrendo una visibilità più chiara su come gli utenti possono inserire l'esperienza di Virtual Agent. Questa metrica aiuta gli amministratori a valutare le prestazioni del punto di ingresso, valutare le strategie di Instradamento e comprendere come le modifiche ai workflow o alle superfici di ingresso influenzino il comportamento complessivo delle interazioni.

    • Metriche totali dei messaggi: Fornisce conteggi aggregati di tutti i messaggi scambiati tra le interazioni di Zoom Virtual Agent e Zoom AI Expert Assist. Queste metriche aiutano gli amministratori ad analizzare il volume conversazionale, confrontare i modelli di messaggio tra i canali e comprendere meglio il carico multimodale sui flussi di lavoro di assistenza basati sull'IA.

    • Guardrail: Una vista aggregata dell'attività dei guardrail di sicurezza back-end, inclusi il numero totale di violazioni, il tasso di violazione ogni 1.000 interazioni, una ripartizione per categoria e un andamento nel tempo. L'apertura dell'aggregato mostra le conversazioni interessate nel report Dettagli conversazione, prefiltrate in base alla categoria di guardrail selezionata. La reportistica dei guardrail copre sia la voce sia la chat.

  • Filtri: Intervallo di date, tipo di agente (voce, chat, chatbot) e agente IA specifico.

    • Gruppi di argomenti sono inoltre disponibili come filtro e dimensione di visualizzazione nei report di analisi, consentendo ai supervisori di visualizzare i dati sulle prestazioni a livello di categoria aziendale.

  • Caso d'uso: Aiuta gli amministratori a valutare l'efficienza dell'agente IA, monitorare l'utilizzo di strumenti e skill e tracciare le tendenze di latenza e contenimento per migliorare le prestazioni e il ROI.

Nota

Il report dell'agente IA dispone di un'impostazione di risparmio sui costi che influisce sulle prestazioni dell'agente virtuale in base a un costo token predefinito.

Il report Prestazioni della conoscenza fornisce dettagli su come gli articoli della knowledge base vengono usati durante le interazioni

Questo report offre una panoramica su come gli articoli della tua Knowledge Base contribuiscono a risolvere i problemi dei tuoi clienti.

  • Metriche principali: interazioni assistite dalla conoscenza, tasso di interazioni assistite dalla conoscenza, articoli citati e media di articoli citati per interazione.

  • Filtri: Intervallo di date, tipo di agente (voce, chat, chatbot), agente IA specifico e fonte dell'articolo.

    • Il filtro della fonte dell'articolo ha due valori — suggerito dall'IA e aggiunto manualmente — e ogni riga dell'articolo mostra un'etichetta di origine, così gli amministratori possono verificare quanto contribuisce il motore di raccomandazione.

  • Caso d'uso: Aiuta gli amministratori a valutare l'efficacia dei contenuti della knowledge base e a ottimizzarli per migliorare i tassi di risoluzione.

  • Badge KB attivo/inattivo: Questa funzionalità aggiunge un'icona in stile badge agli articoli della KB che sono stati sostituiti o aggiornati. Sia la versione precedente sia quella nuova rimangono visibili nel report ZVA con chiari indicatori di stato che mostrano se ciascun articolo è attivo o inattivo.

La tabella degli articoli include un Contenimento colonna che mostra il tasso di contenimento di ciascun articolo nelle interazioni in chat e vocali. Il tasso è il numero di interazioni contenute che hanno utilizzato l'articolo diviso per tutte le interazioni che lo hanno utilizzato. Questo mostra agli amministratori quali articoli aiutano realmente a risolvere i problemi, non solo quali vengono recuperati dall'agente.

Gli amministratori possono anche vedere perché gli utenti finali hanno valutato un articolo come non utile. Il Distribuzione dei motivi di non utilità widget, sotto analisi e report > Prestazioni della conoscenza, suddivide gli invii non utili in base al motivo selezionato dall'utente finale. La selezione di un motivo nel grafico filtra la visualizzazione, così gli amministratori possono individuare perché articoli specifici hanno prestazioni inferiori e dare priorità agli aggiornamenti dei contenuti.

Il report Query Insight offre una vista dettagliata delle query dei consumatori gestite dagli agenti virtuali

Questo report fornisce una vista a colpo d'occhio dei dati delle query, inclusi volume delle query, copertura delle corrispondenze, collegamento con l'interazione ed esiti a livello di argomento.

  • Metriche principali: Query totali, media di query per interazione, argomenti popolari, argomenti risolti, argomenti escalati e tendenze di corrispondenza delle query.

  • Filtri: Intervallo di date, tipo di agente (voce, chat, chatbot), agente AI, tipo di corrispondenza della query, articolo, argomento, esito dell'interazione, base di conoscenza e lingua.

  • Caso d'uso: Aiuta gli amministratori e gli analisti a comprendere il comportamento delle query, valutare la copertura degli argomenti e identificare aree di miglioramento della qualità delle risposte e delle prestazioni dell'automazione.

Zoom Virtual Agent analisi offre anche i Topic Groups, una gerarchia a due livelli che organizza automaticamente i topic granulari in categorie allineate al Business come "Fatturazione e Pagamenti" o "Spedizione e Consegna." I supervisori possono identificare a colpo d'occhio i principali fattori di contatto tramite il livello di categoria, mantenendo la possibilità di analizzare più a fondo topic specifici.

Le regole di redazione configurate nelle preferenze del tenant di Zoom Virtual Agent ora si applicano in modo uniforme a tutto il dashboard Query Insights, inclusi l'elenco delle query e le viste di approfondimento. In precedenza queste sezioni mostravano enunciati grezzi indipendentemente dal set di regole configurato; ora rispettano lo stesso set di regole di redazione del resto del prodotto.

Analisi di confronto: Mostra due segmenti di dati fianco a fianco

Gli amministratori possono confrontare due segmenti di dati direttamente all'interno delle dashboard di Zoom Virtual Agent, senza esportare o cambiare schermata. Da qualsiasi report, fai clic su Compare, Seleziona un insieme di filtri e il dashboard viene rielaborato in un layout a due coorti, così puoi leggere i due segmenti uno rispetto all'altro. Le analisi di confronto funzionano insieme alle funzionalità di drill-down e cross-filtering della dashboard.

Il cross-filtering ricalcola le visualizzazioni della dashboard per dimensione

I supervisori possono fare clic su un valore dimensionale nelle pagine Query Insights, Conversation Details, Knowledge Performance e Agent Performance per applicare il cross-filtering a ogni visualizzazione della pagina. I valori cliccabili includono topic, agenti, strumenti o segmenti del grafico.

Un chip di filtro Mostra la selezione attiva e può essere cancellato facendo clic x, selezionando di nuovo il valore oppure facendo clic all'esterno di esso. Più cross-filtro possono essere combinati tra loro e con le impostazioni esistenti della barra dei filtri per mostrare risultati intersecati. Passando il mouse su un elemento filtrabile viene mostrato un cursore a forma di puntatore e un tooltip che anteprima l'azione.

Il report Conversation Details fornisce informazioni sulle conversazioni basate sulle interazioni per gli agenti virtuali

La reportistica Conversation Details fornisce dati per i principali indicatori di interazione dell'agente AI.

  • Metriche principali: Interazioni totali, interazioni multi-turno, durata media e totale dell'interazione e log delle interazioni con metadati (topic, strumenti, skill, motivi di escalation e rispondenti). Per distribuzioni multiistanza, il report aggiunge anche un Istanza colonna che identifica quale istanza ha gestito ciascuna interazione.

  • Filtri: Intervallo di date, tipo di agente (voce, chat, chatbot), agente AI, strumento, esito dell'interazione, ultimo rispondente, skill, topic, trigger della guardrail per trasferimento accettato (solo voce) e per fine dell'agente AI (solo voce) e — per distribuzioni multiistanza — istanza e gruppo di istanze.

  • Caso d'uso: Consente agli amministratori di analizzare la qualità delle interazioni, monitorare le prestazioni dell'agente AI e della skill e rivedere il comportamento a livello di conversazione per l'ottimizzazione, la supervisione operativa e la reportistica interna.

Quando una conversazione attiva una guardrail di sicurezza back-end, il report Conversation Details la contrassegna con un badge guardrail sull'interazione interessata e con un gruppo che Mostra quali categorie di guardrail si sono attivate e in quale turno. Gli amministratori possono filtrare l'elenco delle interazioni per categoria di violazione — ad esempio, reati violenti, abuso dell'Interprete di codice, privacy o diffamazione — per esaminare solo le conversazioni che hanno attivato una regola. Queste sono le guardrail di sicurezza back-end di Zoom, non le guardrail che un amministratore scrive in Agent Guidance.

Conversation Details include anche una barra di visualizzazione configurabile nella parte superiore del dashboard. Puoi creare le tue visualizzazioni per le variabili — sia di sistema sia personalizzate — scegliendo tra grafici a torta, a barre e a linee. Le visualizzazioni possono essere aggiunte, spostate e ridimensionate, e le tue Impostazioni vengono mantenute a livello di account per la tua sessione successiva. I grafici ancorati rispettano i filtri attivi della pagina, offrendoti una visione chiara della distribuzione delle variabili proprio dove ti serve.

Il report Consumer Engagement Surveys presenta il feedback dei consumatori raccolto dai sondaggi post-interazione in Zoom Virtual Agent

Questo report raccoglie il feedback dei sondaggi post-interazione per misurare la soddisfazione dei consumatori, il successo della risoluzione e le opportunità di miglioramento.

  • Metriche principali: Assegnato all'agente, avvii, risposte, tasso di risposta, tasso di completamento, andamento degli avvii, risposte alle domande del sondaggio e distribuzione del feedback in testo libero.

  • Filtri: Intervallo di date, agente AI e bot (incluse le varianti se ne esistono più di una).

  • Caso d'uso: Consente agli amministratori di valutare il sentiment dei consumatori, misurare le prestazioni del chatbot e identificare opportunità per migliorare la qualità dell'interazione e la soddisfazione degli utenti.

Le metriche di risoluzione implicita deducono gli esiti dei clienti dal comportamento dell'interazione

Gli amministratori possono valutare le prestazioni dell'agente virtuale con la risoluzione implicita, che deduce automaticamente la risoluzione e la soddisfazione dell'utente in base al comportamento reale, come il completamento del flusso di lavoro e i livelli di coinvolgimento.

Questa metrica offre un'alternativa ai sondaggi tradizionali quando i tassi di risposta CSAT espliciti sono bassi. Funziona anche insieme alle metriche basate sui sondaggi esistenti, anziché sostituirle. I dati di risoluzione implicita sono disponibili nel Zoom web portal, API o nei report scaricabili, aiutando gli amministratori a ottimizzare l'efficacia di Zoom Virtual Agent.

La logica che determina la risoluzione implicita è stata migliorata per leggere le conversazioni con maggiore precisione, riducendo le classificazioni errate in entrambe le direzioni. Di conseguenza, il tasso di risoluzione riflette con maggiore accuratezza gli esiti effettivi. Gli amministratori potrebbero notare un lieve cambiamento nelle metriche man mano che il miglioramento entra in vigore.

Anche le analisi di Zoom Virtual Agent riportano un risolto senza ritorno metrica tra voce e chat. Un'interazione viene conteggiata come risolta senza ritorno quando è contenuta e lo stesso cliente non torna entro la finestra di ritorno definita. Poiché abbina il contenimento a ciò che fa il cliente dopo, questa metrica offre agli amministratori un segnale più forte di vera risoluzione rispetto al solo contenimento.

Il registro delle interazioni fornisce una registrazione dettagliata di ciascuna interazione dell'agente AI e dell'agente vocale, inclusi esiti, durata e trascrizioni per la revisione

Il registro delle interazioni fornisce una vista dettagliata di ogni interazione gestita dai tuoi agenti AI o vocali. Ti aiuta ad analizzare come è stata gestita ciascuna conversazione, se è stata contenuta dall'AI o inoltrata a un agente in tempo reale, e le principali metriche di performance di quell'interazione.

Questo report è prezioso per supervisori, amministratori e analisti che necessitano di visibilità sull'efficacia dell'agente, sull'esperienza del cliente e sulle prestazioni del sistema.

Colonne chiave nel registro delle interazioni

  • ID interazione: Un identificativo univoco per ciascuna interazione. Puoi usare questo ID per cercare e rivedere conversazioni specifiche.

  • canale: Indica se l'interazione è arrivata tramite un agente di chat o un agente vocale.

  • Origine: Mostra il punto di ingresso, ad esempio Zoom centro di contatto, da cui è stata avviata l'interazione.

  • Consumatore: Il cliente o l'utente finale che ha avviato l'interazione. Potrebbe apparire come un numero di telefono per le chiamate vocali o come un Nome utente per le sessioni di chat.

  • Agente IA: Identifica quale agente AI ha gestito l'interazione.

  • Strumento / skill / argomento / articolo: Mostra quali strumenti, skill o risorse di conoscenza l'agente AI ha utilizzato durante l'interazione, come "get ticket status" o "Agent Transfer Request".

  • Esito dell'interazione: Il risultato finale dell'interazione. "Containment" significa che l'agente AI ha risolto il problema senza escalation. "Escalation" indica che l'interazione è stata trasferita a un agente umano. I motivi dell'escalation vengono mostrati quando applicabile, ad esempio "Escalated by design" o "Escalation requested".

  • Ora di inizio / Ora di fine: Le marche temporali di inizio e fine dell'interazione.

  • Ultimo rispondente: Indica chi ha completato l'interazione, l'agente AI o un agente umano dopo l'escalation.

  • Durata dell'interazione: Il tempo totale in cui è durata l'interazione.

  • Turni di interazione: Il numero di scambi avanti e indietro tra l'agente AI e il cliente.

  • Durata interattiva: Per quanto tempo il cliente è stato coinvolto nell'interazione, il che è particolarmente utile per le chiamate vocali.

  • Trasferimento accettato / agente AI uscito: Mostra se il trasferimento a un agente umano è riuscito e se l'agente AI ha lasciato l'interazione.

Questa reportistica supporta auditabilità, revisione e formazione fornendo tracce di audit che possono migliorare le prestazioni sia dell'AI sia dell'agente umano.

Ad esempio, se l'IT Helpdesk Agent mostra un numero elevato di escalation per le attività di creazione dei ticket, i supervisori possono esaminare le trascrizioni per identificare perché gli utenti stanno richiedendo un agente umano e aggiornare la configurazione dell'AI o i dati di formazione.

Agent Tracing fornisce visibilità passo passo sul processo decisionale dell’agente virtuale

Quando esaminano un'interazione, gli amministratori possono usare Agent Tracing per vedere l'intera catena decisionale, dall'elaborazione dell'input fino alla risposta finale. Questo supporta la risoluzione dei problemi, la revisione Quality Assurance e l'ottimizzazione delle prestazioni.

Agent Tracing fornisce una traccia unificata e leggibile dall'uomo collegata a un'interazione specifica. Include una trascrizione completa del cliente insieme alle azioni del sistema. Ogni fase della pipeline è contrassegnata da timestamp con durate di inizio e fine.

Agent Tracing include:

  • Acquisizione dell'input

  • Classificazione dell'intento/NLU

  • Fasi di ricerca e recupero (ad es. riscrittura delle query e selezione delle fonti)

  • Inferenza LLM

  • Chiamate a strumenti/funzioni

  • Rendering della risposta

Agent Tracing fornisce anche riepiloghi a livello di interazione che velocizzano la risoluzione dei problemi. Un riepilogo delle chiamate agli strumenti elenca ogni strumento invocato durante l'interazione, con il relativo stato di successo o fallimento, così gli admin non devono più scorrere la traccia turno per turno per trovare una chiamata specifica. Un riepilogo delle variabili offre una vista consolidata di ogni variabile impostata durante la stessa interazione. Insieme, questi riepiloghi mettono in evidenza, a colpo d'occhio, le esecuzioni degli script, le attivazioni delle skill e il percorso complessivo dell'interazione.

Agent Tracing acquisisce inoltre informazioni dettagliate di tracing e debug per gli strumenti integrati, inclusi lo strumento SMS, lo strumento e-mail, salva risposta e termina conversazione. Per ogni invocazione dello strumento, la traccia registra il motivo per cui lo strumento è stato selezionato, i parametri di input passati, l'output della risoluzione delle variabili, lo stato di esecuzione ed eventuali errori restituiti. La traccia mostra anche perché una conversazione è terminata, incluso se è stata attivata da un'istruzione o da un timeout dopo i tentativi di sollecito.

Nota

Puoi trovare Agent Tracing all'interno delle analisi di Zoom Virtual Agent. È accessibile dal registro delle interazioni quando si esaminano le singole interazioni.

Per convalidare le modifiche dell'agente prima della distribuzione, consulta la sezione Valutazione qui sotto.

La valutazione convalida le modifiche dell'agente prima della distribuzione tramite test di scenario e confronto tra versioni

Quando si modifica la configurazione, le indicazioni, le Skill o gli Strumenti di un agente, gli admin devono verificare che tali modifiche non degradino le prestazioni prima della pubblicazione in produzione. La valutazione fornisce per questo un ambiente di test strutturato.

Gli admin possono eseguire valutazioni su qualsiasi versione dell'agente pubblicata o storica, non solo sulla bozza corrente. Le valutazioni vengono eseguite in sola lettura rispetto allo snapshot della versione selezionata, così la versione Attiva dell'agente non viene modificata. Ciò ancora i risultati a una configurazione specifica e nota.

Puoi quindi valutare due versioni dell'agente affiancandole usando lo stesso set di scenari. I risultati servono a mostrare metriche per versione (come i tassi di successo degli scenari, i punteggi di corrispondenza del comportamento e altro ancora), così gli admin possono vedere esattamente dove le prestazioni sono cambiate tra le versioni. Una vista dettagliata della trascrizione consente agli admin di esaminare i singoli casi di test per vedere in che cosa differiscono le risposte.

Prima dell'esecuzione di una valutazione, il sistema convalida l'integrità dei casi di test. Ciò include il controllo di strumenti mancanti, variabili non definite o incongruenze di schema. Questo evita esecuzioni di valutazione inutili ed elimina i falsi negativi causati da errori di configurazione anziché dal comportamento reale dell'agente.

La valutazione supporta gli sforzi degli amministratori per apportare modifiche all'agente pronte per la produzione, il che può aiutare ad accelerare i cicli di iterazione e gestire il rischio. Insieme ad Agent Tracing, crea un flusso di lavoro diagnostico e di convalida robusto.

La Dashboard ZVA Receptionist offre alle implementazioni più piccole una vista delle prestazioni su un unico schermo

Per le implementazioni più piccole di ZVA Receptionist che non hanno bisogno dell'intera suite di analisi, una Dashboard su un unico schermo presenta le prestazioni in linguaggio semplice. Ogni valore è aggregato dalle metriche esistenti, quindi non è richiesta alcuna nuova strumentazione. Una riga principale mostra le chiamate gestite, il tempo telefonico gestito (espresso in ore) e il risparmio sui costi. Un anello di contenimento si abbina a un conteggio delle escalation e a un link "Leggi queste conversazioni" che consente di passare direttamente alle interazioni sottostanti. La Dashboard mostra anche i principali motivi per cui le persone hanno chiamato e una ripartizione degli esiti risolto/non risolto, mentre una tabella per agente e un registro delle conversazioni semplificato completano lo schermo — il tutto delimitato da un'unica riga di filtri.

Ultimo aggiornamento

È stato utile?