Diagrammi e flussi di dati
Diagrammi e flussi di dati di Zoom AI per Zoom Workplace, Webinar ed Eventi
Le funzionalità di IA di Zoom coprono un'ampia gamma di prodotti, servizi e flussi di lavoro, il che ნიშნავს che nessun singolo diagramma può rappresentare in modo ragionevole o completo come funziona l'IA nell'intera piattaforma Zoom. Funzionalità diverse si basano su input, percorsi di elaborazione, comportamenti di archiviazione, interazioni con i modelli e output diversi. Alcune operano solo su dati live ed effimeri durante un'interazione attiva, mentre altre creano artefatti conservati che in seguito possono supportare ulteriori funzionalità. Alcune funzioni rimangono interamente all'interno dell'ambiente di prima parte di Zoom, mentre altre si basano sull'architettura IA federata di Zoom e, in alcuni casi, su sistemi esterni connessi. Per rendere questo sistema dinamico ed esteso più facile da comprendere, questa pagina presenta una serie di diagrammi anziché affidarsi a un unico modello visivo. Ognuno mette in evidenza un diverso livello, percorso o schema di funzionalità all'interno della più ampia piattaforma Zoom AI. In fondo a queste sezioni ci sono tabelle che delineano quali funzionalità sono applicabili, il prodotto associato e lo stato di conservazione degli artefatti. Le sezioni successive esaminano poi singolarmente alcune funzionalità di prodotto su misura, offrendo spiegazioni più mirate su come funzionano tali capacità specifiche.
La sequenza inizia qui sotto con una panoramica semplificata di Zoom AI nella sua forma più basilare, mostrando la piattaforma in uno stato centrato sulla prima parte che utilizza l'architettura standard del modello federato di Zoom ma non introduce ancora integrazioni aziendali di terze parti o sorgenti di dati dei clienti esterni oltre ai fornitori di modelli di IA di terze parti di Zoom. Da lì, i diagrammi introducono gradualmente parti più specializzate della piattaforma, tra cui le opzioni dell'approccio IA di Zoom, la trasformazione dell'audio live in artefatti utilizzabili dall'IA e i modi in cui tali artefatti possono in seguito supportare altre funzionalità e flussi di lavoro. Presi insieme, questi diagrammi hanno lo scopo di rendere un sistema molto complesso più accessibile, scomponendolo in viste più piccole e facili da seguire che riflettono come le diverse parti della piattaforma IA di Zoom funzionano nella pratica.
Zoom AI
Il diagramma sopra presenta la piattaforma IA di Zoom in forma semplificata, mostrando la piattaforma in uno dei suoi stati più fondamentali. Illustra come diverse parti dell'architettura più ampia di prodotti e servizi di Zoom nota come backend Web di Zoom — incluse aree come Riunioni, Telefono, centro di contatto, riconoscimento vocale automatico e altre offerte di Zoom — confluiscano nella piattaforma Zoom più ampia e contribuiscano al corpo di contenuti accessibili agli utenti che può supportare funzionalità IA a valle.
Un concetto centrale in questo diagramma è contenuti degli utenti Zoom. Si riferisce ai contenuti generati attraverso le interazioni di un utente con i prodotti e servizi Zoom che in seguito possono servire come input, contesto o artefatti per esperienze basate sull'IA. A seconda del prodotto e della funzionalità coinvolti, ciò può includere materiali come messaggi di Zoom Chat, riepiloghi della riunione, trascrizioni, documenti Canvas, My Notes, registrazioni e altri artefatti simili rivolti all'utente. Questi materiali costituiscono un importante livello contestuale che può supportare in seguito recupero, ragionamento, sintesi e proseguimento assistiti dall'IA.
Alcuni di questi contenuti possono anche essere preparati per un futuro utilizzo da parte dell'IA tramite infrastrutture di recupero come il recupero indicizzato o moduli di generazione aumentata dal recupero. In questi casi, gli artefatti pertinenti possono essere ingeriti e indicizzati in modo da poter essere individuati e utilizzati più efficientemente in query o processi IA successivi. Ciò aiuta Zoom AI a lavorare non solo con interazioni live, ma anche con contesti conservati e materiali precedenti generati dagli utenti nell'intera piattaforma Zoom.
Infine, il diagramma introduce anche Zoom AI Zoom AI stesso come livello IA condiviso che opera in tutto questo ecosistema più ampio. In questa vista semplificata, Zoom AI è mostrato attraverso l'approccio federato standard di Zoom, nel quale Zoom può utilizzare sia modelli ospitati da Zoom eseguiti all'interno della propria infrastruttura sia selezionati fornitori di modelli IA di terze parti quando appropriato per il compito da svolgere. Questo modello federato consente a Zoom di instradare i compiti di IA attraverso l'ambiente di modello disponibile più adatto, mantenendo al contempo un'esperienza IA unificata su tutta la piattaforma.
Approcci al modello di servizio di Zoom AI
Il diagramma sopra illustra i tre approcci IA di Zoom: l'Approccio Federato, Modelli Ospitati da Zoom Plus (ZM+) e Solo Modelli Gestiti da Zoom (ZMO). Insieme, questi rappresentano i tre modi principali in cui Zoom fornisce servizi IA ai clienti, offrendo ciascuno un diverso equilibrio tra ampiezza delle funzionalità, flessibilità del modello e controllo dei dati.
L'Approccio Federato è l'approccio standard e più completo di Zoom. Consente a Zoom di lavorare con più fornitori di IA, inclusi modelli ospitati da Zoom e partner di modelli di terze parti selezionati, così le attività possono essere instradate verso il modello più adatto alla richiesta. ZM+ offre un modello di distribuzione più controllato utilizzando istanze di modelli dedicate gestite da Zoom, mentre ZMO mantiene l'elaborazione IA solo all'interno dei modelli ospitati da Zoom, offrendo il percorso di modello più restrittivo e controllato ma con un set di funzionalità più limitato.
Ai fini di questa pagina, i diagrammi che seguono illustrano generalmente l'approccio federato, poiché riflette l'approccio standard di Zoom e la visione più ampia delle funzionalità di Zoom AI. Le organizzazioni che utilizzano ZM+ o ZMO possono spesso interpretare gli stessi diagrammi rimuovendo mentalmente i fornitori di modelli IA di terze parti e concentrandosi sulle restanti porzioni del flusso gestite da Zoom.
Per ulteriori informazioni, fare riferimento alla pagina Modelli IA di Zoom, Elaborazione, Archiviazione e Utilizzo.
Funzionalità multimediali live e artefatti
Il diagramma sopra illustra come le interazioni multimediali live—come riunioni e chiamate telefoniche—possano produrre funzionalità e artefatti IA a valle in tutta la piattaforma Zoom. In ciascun caso, l'audio live entra in Zoom attraverso il punto di connessione associato a quel prodotto o servizio. Per le riunioni, questo è generalmente il Multimedia Router (MMR). Per la telefonia, l'audio in genere entra tramite zone SIP.
Una volta acquisito l'audio, viene instradato al servizio di Zoom per il Riconoscimento Vocale Automatico (ASR) che converte l'audio live in dati speech-to-text. Questi dati speech-to-text possono essere utilizzati in vari modi a seconda delle impostazioni e delle funzionalità abilitate. In alcuni casi, vengono consegnati immediatamente agli utenti come sottotitoli in tempo reale. Nei contesti supportati, possono anche essere passati al servizio di Traduzione in tempo reale di Zoom, che traduce l'output speech-to-text in sottotitoli tradotti per i partecipanti in altre lingue.
I dati speech-to-text possono anche supportare funzionalità più persistenti o derivate. Se la trascrizione è abilitata, o se un utente sta usando My Notes, il servizio ASR può produrre una trascrizione al termine della sessione live. Se però la conservazione della trascrizione non è abilitata, i dati speech-to-text utilizzati durante l'interazione non vengono conservati come trascrizione persistente. Anche in questi casi, Zoom AI può comunque usare i dati speech-to-text in modo effimero durante la sessione per supportare funzionalità IA in tempo reale.
Per esempio, un utente potrebbe porre domande in riunione tramite Zoom AI durante una riunione. In questo caso, Zoom AI può usare i dati speech-to-text live della riunione per interpretare la domanda dell'utente e generare una risposta pertinente basata sulla conversazione in corso.
Una distinzione chiave in questo flusso è che Zoom AI non conserva necessariamente una trascrizione della conversazione semplicemente perché i dati speech-to-text sono stati utilizzati durante la sessione. A meno che la conservazione della trascrizione non sia specificamente abilitata, o che i dati vengano conservati tramite una Funzionalità come, i dati speech-to-text stessi possono rimanere effimeri. Allo stesso tempo, alcuni artefatti a valle prodotti da quei dati possono persistere. Per esempio, se un utente pone domande durante una riunione, la conversazione IA risultante o le note correlate possono successivamente rimanere disponibili come artefatto conservato anche quando non viene prodotta una trascrizione persistente. My NotesAlcuni artefatti conservati possono anche diventare la base per ulteriori artefatti e flussi di lavoro a valle. Un riepilogo della riunione, un riepilogo del webinar, un riepilogo della chiamata o le My Notes di un utente possono essere convertiti in un documento Zoom Canvas, dove può continuare a essere modificato, ampliato e usato come artefatto di lavoro. A loro volta, quei documenti risultanti possono successivamente servire come contesto per altre funzionalità IA o flussi di lavoro discussi altrove in questo documento. In questo modo, l'audio live può dare origine non solo a funzionalità IA immediate, ma anche a una catena di artefatti conservati che continuano a supportare lavori assistiti dall'IA successivi nell'intera piattaforma Zoom.
Alcuni artefatti conservati possono anche diventare la base per ulteriori artefatti e flussi di lavoro a valle. Un riepilogo della riunione, un riepilogo del webinar, un riepilogo della chiamata o le My Notes di un utente possono essere convertiti in un documento Zoom Canvas, dove può continuare a essere modificato, ampliato e usato come artefatto di lavoro. A loro volta, quei documenti risultanti possono successivamente servire come contesto per altre funzionalità IA o flussi di lavoro discussi altrove in questo documento. In questo modo, l'audio live può dare origine non solo a funzionalità IA immediate, ma anche a una catena di artefatti conservati che continuano a supportare lavori assistiti dall'IA successivi nell'intera piattaforma Zoom. Zoom Canvas documento, dove può continuare a essere modificato, ampliato e usato come artefatto di lavoro. A loro volta, quei documenti risultanti possono successivamente servire come contesto per altre funzionalità IA o flussi di lavoro discussi altrove in questo documento. In questo modo, l'audio live può dare origine non solo a funzionalità IA immediate, ma anche a una catena di artefatti conservati che continuano a supportare lavori assistiti dall'IA successivi nell'intera piattaforma Zoom.
Questo diagramma si applica alle seguenti funzionalità:
Sottotitoli in tempo reale
Sottotitoli speech-to-text in tempo reale per sessioni live.
Riunioni, Webinar
Non conservato
Sottotitoli tradotti
Sottotitoli tradotti in tempo reale generati da dati speech-to-text in diretta.
Riunioni, Webinar
Non conservato
Trascrizioni
Registrazioni testuali conservate del contenuto speech-to-text della riunione.
Riunioni, telefono
Conservato
riepilogo della riunione
Riepilogo generato dall'IA dei punti chiave della discussione della riunione, delle decisioni e delle azioni da intraprendere.
Riunioni
Conservato
Riepilogo webinar
Riepilogo generato dall'IA dei contenuti chiave del webinar condivisi dopo la sessione.
webinar
Conservato
Riepilogo della chiamata
Riepilogo post-chiamare generato dall'IA dei dettagli chiave e delle azioni da intraprendere.
pagina Phone
Conservato
My Notes
Note personali, trascrizione e contesto della riunione conservati per riferimento e follow-up successivi.
Riunioni
Conservato
Attività di follow-up
Azioni di follow-up suggerite dall'AI in base ai dettagli della conversazione.
Zoom Tasks
Conservato
Prioritizzazione della segreteria telefonica
Classificazione basata sull'AI delle segreterie telefoniche in base all'importanza definita dall'utente.
pagina Phone
Conservato
Domande della riunione
Risposte AI alle domande della riunione usando il contesto live della riunione.
Riunioni
Conservato
Domande del webinar
Risposte AI alle domande del webinar usando il contesto live del webinar.
webinar
Conservato
Domande sulla chiamata (chiamare)
Risposte AI alle domande della chiamare usando il contesto live della chiamare.
pagina Phone
Conservato
Funzionalità di registrazione
Il diagramma sopra illustra come Zoom AI supporta le funzionalità AI basate sulla registrazione operando sulla registrazione completata dopo che la sessione live è terminata. Come per altre esperienze Zoom basate su audio, i contenuti multimediali originali entrano attraverso l'infrastruttura associata al prodotto in uso, come ad esempio la MMR per le riunioni oppure il relativo zona SIP per la telefonia. Nell'ambito di questo flusso, la registrazione viene creata e inviata al servizio di registrazione di Zoom, dove la registrazione completata viene quindi archiviata nell'archiviazione dei contenuti di Zoom.
Una volta finalizzata la registrazione, l'audio associato a quella registrazione viene inviato al servizio di Zoom per la trascrizione. Riconoscimento Vocale Automatico (ASR) Questo processo produce una trascrizione specifica della registrazione, che può differire dai dati speech-to-text generati durante la sessione dal vivo stessa. In altre parole, la trascrizione associata a una registrazione completata viene generata come parte del flusso di elaborazione successivo alla registrazione, anziché essere semplicemente copiata dal livello di interazione dal vivo.
Dopo che la trascrizione della registrazione è stata prodotta, può quindi essere inviata a Zoom AI per un'analisi aggiuntiva. In questa fase, Zoom AI elabora la trascrizione per identificare artefatti di registrazione di livello superiore, come riepiloghi, momenti salienti, capitoli e altre rappresentazioni strutturate della conversazione. Questa analisi viene eseguita utilizzando il livello di elaborazione AI di Zoom, inclusi i modelli ospitati da Zoom, ove applicabile, per trasformare la trascrizione grezza della registrazione in output post-riunione o post-chiamare più utilizzabili.
Una volta completata quell'analisi, gli artefatti generati dall'AI risultanti vengono associati alla registrazione stessa. Questo consente agli utenti che visualizzano una registrazione di vedere non solo la registrazione e la trascrizione, ma anche i livelli aggiuntivi generati dall'AI che rendono il contenuto più facile da navigare e comprendere. In questo modo, il diagramma mostra come una registrazione completata possa diventare la base per una seconda fase di elaborazione AI, producendo funzionalità di registrazione arricchite che vanno oltre il supporto multimediale originale archiviato.
Questo diagramma si applica alle seguenti funzionalità:
registrazione smart
Momenti salienti, capitoli e riepiloghi generati dall'AI per le riunioni registrate
Riunioni
Conservato
Genera titoli, descrizioni e tag
Titoli, descrizioni e tag generati dall'AI per i clip.
Clip
Conservato
Creazione di contenuti con IA per registrazioni e video
Utilizza le trascrizioni delle registrazioni Evento per generare contenuti scritti e frammenti video selezionati dall'AI dai momenti chiave della sessione.
Zoom Events
Conservato
Funzionalità AI derivate
Il diagramma sopra illustra come funzionalità di IA derivate opera utilizzando il contenuto Disponibile dell’utente come contesto per attività e output successivi assistiti dall’IA. In questi casi, Zoom AI non funziona più solo a partire dai dati di interazione in tempo reale. Invece, attinge ad artefatti che esistono già nell’ambiente di contenuti più ampio dell’utente per rispondere a una domanda, sintetizzare informazioni o aiutare a produrre un nuovo risultato.
A seconda dell'attività, questo materiale contestuale può includere elementi come messaggi chat, riassunti di riunione, My Notes, trascrizioni, documenti di Zoom Canvas, presentazioni di Zoom Slide, documenti di Zoom Paper, contenuti di Zoom Mail o Zoom Calendar, dati e-mail o di calendario di terze parti connessi oppure file caricati dall'utente per supportare una richiesta specifica. In questo modo, Zoom AI utilizza artefatti Zoom creati in precedenza, insieme a dati a livello personale integrati quando disponibili, per aiutare a raggiungere l'obiettivo finale richiesto da un utente.
Il diagramma riflette anche che questo processo può a sua volta generare contenuto del nuovo utente. Ad esempio, Zoom AI può utilizzare materiali esistenti per creare un nuovo Zoom Sheet, un documento Zoom Canvas, un deck di Zoom Slide o un documento Zoom Paper. Una volta creati, questi nuovi artefatti diventano parte del più ampio repository di contenuti dell’utente e possono in seguito essere riutilizzati come contesto per future funzioni e workflow assistiti dall’IA. Questo crea una progressione stratificata in cui i contenuti precedenti dell’utente possono fornire Assistenza agli output successivi, e tali output possono a loro volta diventare nuovi artefatti contestuali nel tempo.
Lo stesso schema può comparire anche in altre interfacce di Zoom. In ambienti come Zoom hub o il gruppo chat AI, gli utenti possono porre domande sulla piattaforma o interagire con documenti e materiali disponibili tramite la suite di produttività AI di Zoom. In quei casi, Zoom AI sta nuovamente lavorando a partire da artefatti esistenti accessibili all'utente per fornire recupero, sintesi, risposta alle domande o follow-through, mostrando come le funzionalità AI derivate estendano il valore dei contenuti precedenti a nuovi compiti e risultati.
Nota
Caricamenti di file locali dell'utente possono essere disattivati.
Questo diagramma si applica alle seguenti funzionalità:
Generazione di contenuti
La generazione di contenuti utilizza l'AI per creare, rifinire, riassumere e organizzare documenti, presentazioni, fogli di calcolo e altri output a partire da prompt in linguaggio naturale.
Canvas, Fogli, Paper, Diapositive
Conservato
gruppo chat AI
Assistenza conversazionale AI per porre domande, generare contenuti e lavorare nel contesto Zoom disponibile.
gruppo chat AI
Conservato
Poni domande
Risposte generate dall'AI basate sui documenti e sui materiali selezionati in Zoom hub.
hub
Conservato
Funzionalità generative e di composizione
Il diagramma sopra illustra come funzionalità generative e di composizione operare all'interno della piattaforma Zoom AI. A differenza delle funzionalità di IA derivate, che si basano su contenuti utente preesistenti per aiutare a raggiungere un compito o un output successivo, le funzionalità generative e di composizione sono spesso guidate più direttamente dall'input immediato dell'utente. In molti casi, queste funzionalità non dipendono da artefatti Zoom conservati già archiviati altrove nell'ambiente dei contenuti dell'utente. Invece, sono alimentate principalmente da prompt diretti dell'utente, query, file caricati o dai contenuti immediati sullo schermo associati all'esperienza del prodotto attiva.
Questa distinzione è particolarmente importante per le funzionalità che funzionano a partire dai contenuti visibili nel contesto corrente dell’utente anziché da artefatti precedentemente indicizzati o conservati. Ad esempio, quando un utente riassume un thread di chat, riassume un'e-mail o chiede a Zoom AI di redigere una risposta a un'e-mail, il contenuto rilevante viene in genere preso dal contesto client Attiva e inserito in un payload della richiesta per l'elaborazione di Zoom AI. In altre parole, Zoom non sta necessariamente recuperando quel contenuto da un repository separato lato server per portare a termine l'attività. Invece, le informazioni rilevanti dal thread Attiva, dall'insieme di messaggi o da un altro contesto dell'interfaccia visibile vengono convertite in forma testuale e inviate a Zoom AI dall'app Zoom Workplace, così che il servizio possa eseguire l'elaborazione del linguaggio naturale, la sintesi o la generazione.
Il diagramma include anche casi d’uso generativi che si basano principalmente su istruzioni dirette dell’utente invece che su materiale di origine testuale. Ad esempio, quando un utente richiede la generazione di immagini, l’utente descrive l’output desiderato tramite un prompt e il modello genera l’immagine in base a tale descrizione. In alcuni contesti di prodotto, come Zoom Whiteboard, questa generazione di immagini può dipendere da fornitori di modelli AI di terze parti. In altri contesti, Zoom può utilizzare i propri modelli ospitati. Ad esempio, la generazione dell’immagine per lo sfondo virtuale di Zoom può basarsi su un modello ospitato da Zoom che utilizza embedding e relativa elaborazione per generare output visivi, con il contenuto risultante che passa attraverso controlli di moderazione prima di essere restituito all’utente.
Nel loro insieme, il diagramma mostra che le funzionalità generative e di composizione spesso dipendono meno dagli artefatti conservati e più dall’intento immediato dell’utente, dal contesto client-side Attiva o dai materiali di supporto caricati. In questo modo, rappresentano un altro importante modo di funzionamento di Zoom AI: non solo recuperare e ragionare tra i contenuti precedenti, ma anche generare nuovi output direttamente dalla richiesta attuale dell’utente e dal contesto circostante.
Questo diagramma si applica alle seguenti funzionalità:
sfondo virtuale
Utilizza l'IA per creare immagini di sfondo virtuale personalizzate a partire dai prompt dell'utente per l'uso nelle sessioni Zoom.
Riunioni, Eventi, webinar
Conservato (se salvato)
Generazione immagini
Usa l'IA per trasformare disegni su lavagna o grezzi artefatti visivi in output visivi più rifiniti, renderizzati o stilizzati.
lavagna
Conservato (se salvato)
Generazione immagini
Usa l'IA per creare immagini con il marchio e altre risorse visive per gli eventi, come intestazioni, immagini della sessione e materiali relativi all'expo.
Eventi
Conservato (se salvato)
Generazione di contenuti
Usa l'IA per generare contenuti della lavagna sullo schermo, come testo, post-it, tabelle, mappe mentali e altri elementi visivi strutturati, a partire dai prompt dell'utente.
lavagna
Conservato (se salvato)
Generazione di contenuti
Usa l'IA per generare contenuti scritti dell'Evento, come descrizioni, dettagli della sessione, biografie dei relatori e annunci nella hall.
Eventi
Conservato (se salvato)
composizione e-mail
Usa l'IA per redigere e perfezionare contenuti e-mail, inclusi il corpo del messaggio, le righe dell'oggetto e le risposte.
Conservato (se inviato)
Composizione chat
Usa l'IA per redigere e revisionare messaggi in chat in base ai prompt dell'utente e al contesto di conversazione disponibile.
chat
Conservato (se inviato)
Riepilogo e-mail
Utilizza l'IA per riassumere i contenuti principali di un'e-mail o di un thread di e-mail.
Non conservato
Messaggio, Discussione, Riepilogo documento
Utilizza l'IA per riassumere i messaggi della chat, i thread di conversazione e i documenti allegati supportati o i contenuti di Canvas collegati.
chat
Non conservato
Caricamento intelligente
Estrae i dettagli dell'Evento dai file caricati per creare automaticamente sessioni, relatori e domande personalizzate.
Zoom Events
Conservato (se salvato)
My Notes
Le mie note in Zoom Meetings
Il diagramma sopra mostra come, all'interno di Zoom Meetings, My Notes utilizzi il percorso audio esistente della riunione invece di fare affidamento su altro audio presente sul Dispositivo dell'utente. Quando My Notes è abilitato durante una riunione Zoom, accede all'audio condiviso della riunione instradato tramite la sessione Multi-Media Router (MMR) della riunione. Tale audio viene quindi elaborato dal servizio di riconoscimento vocale automatico (ASR) di Zoom per generare una trascrizione, che viene consegnata al Dispositivo dell'utente e può successivamente supportare la generazione di note post-riunione.
In questo flusso, la trascrizione si basa specificamente sull'audio della riunione Zoom associato a quella sessione di riunione. Non si basa su audio del dispositivo locale non correlato al di fuori della riunione stessa. Dopo la conclusione della riunione, la trascrizione e le note risultanti possono rimanere Disponibile secondo le Impostazioni di conservazione applicabili dell'utente, mentre l'audio del dispositivo sottostante utilizzato per la trascrizione non viene conservato dopo il completamento dell'elaborazione.
Le mie note al di fuori di Zoom Meetings
Il diagramma sopra mostra come, al di fuori di Zoom Meetings, My Notes operi attraverso l’audio del dispositivo locale dell’utente anziché tramite una sessione di riunione Zoom condivisa. Se abilitato durante una riunione di terze parti o una discussione di persona, My Notes può usare l’Access a livello di sistema operativo al microfono dell’utente e, ove applicabile, all’audio del sistema per acquisire l’audio locale disponibile su quel Dispositivo. Questo audio viene quindi instradato tramite una sessione MMR a utente singolo ed elaborato dal servizio di Riconoscimento automatico del parlato (ASR) di Zoom per generare una trascrizione, che viene consegnata al Dispositivo dell’utente e può successivamente supportare la generazione di note post-riunione.
Ciò significa che, al di fuori di Zoom Meetings, la trascrizione si basa esclusivamente sull’audio trasmesso dal Dispositivo locale dell’utente anziché su un flusso audio condiviso di riunione Zoom. My Notes può anche invitare l’utente a iniziare una nuova nota quando viene rilevata attività del microfono del Dispositivo, contribuendo a far emergere la Funzionalità in situazioni come riunioni di terze parti, registrazioni basate su browser o altri flussi di lavoro attivi sul microfono. Come nel flusso in riunione, l’audio utilizzato per la trascrizione non viene conservato dopo il completamento della trascrizione, mentre le note e le trascrizioni risultanti possono rimanere salvate nell’account dell’utente in base alle Impostazioni di conservazione applicabili.
ZoomMate
Il diagramma sopra illustra come ZoomMate funziona come superficie di lavoro principale all’interno di Zoom Workplace, operando nel punto in cui contesto dell’utente, conoscenza connessa e capacità di esecuzione si incontrano. Piuttosto che esistere solo come assistente autonomo, ZoomMate si colloca al centro di un ambiente di lavoro più ampio in cui gli utenti possono cercare, ragionare, creare e agire sui materiali e sui sistemi che supportano il loro lavoro quotidiano.
Una parte importante di questo Ruolo deriva dall’Access di ZoomMate a contenuti Zoom di prima parte. Questo può includere elementi come riepiloghi, My Notes, registrazioni, documenti Canvas, messaggi di chat e altri materiali generati dall’utente creati all’interno della piattaforma Zoom. Questi elementi aiutano a fornire a ZoomMate il contesto di cui ha bisogno per rispondere alle domande, sintetizzare informazioni, generare output e supportare il seguito. ZoomMate può anche utilizzare memoria, consentendo di incorporare preferenze utente pertinenti o dettagli relativi al lavoro quando aiuta a completare un'attività.
Il diagramma mostra anche come ZoomMate si estenda oltre i contenuti nativi di Zoom integrandosi con fonti di conoscenza di terze parti. Ad esempio, servizi di Archiviazione su cloud collegati come Google Drive o OneDrive possono fungere da repository esterni di informazioni accessibili all'utente. Quando queste fonti vengono integrate, Zoom può indicizzare i contenuti approvati per supportare il recupero tra tali materiali, consentendo a ZoomMate di usare ricerca agentica per operare sia sui contenuti di Zoom sia sulla conoscenza di terze parti collegata. In questo modo, ZoomMate può cercare non solo all'interno di ciò che esiste in Zoom, ma anche tra i documenti e i materiali a cui un utente è autorizzato ad accedere nelle piattaforme esterne collegate.
Altre fonti di dati personali, come e-mail e calendario (escluse le e-mail con crittografia end-to-end), possono anche supportare ZoomMate, ma funzionano in modo diverso. Piuttosto che essere indicizzate, queste fonti generalmente comunicano con ZoomMate tramite il recupero diretto basato su API. Ciò le rende utili per attività come individuare il contesto pertinente delle e-mail, rivedere le informazioni del calendario o aiutare a Pianificare eventi, senza trattarle come parte del livello di recupero indicizzato utilizzato per una ricerca più ampia dei documenti.
Il diagramma riflette inoltre che ZoomMate può connettersi a una gamma più ampia di servizi e connettori di terze parti che supportano l’esecuzione di azioni oltre all’accesso alle conoscenze. Questi possono includere sistemi come Jira, HubSpot, ServiceNow, Workday e altre piattaforme Business connesse. Attraverso queste connessioni, ZoomMate può eseguire attività agentiche per conto dell’utente, come creare o aggiornare record, recuperare informazioni da servizi esterni o eseguire altre azioni connesse all’interno di quei sistemi. Questo rende ZoomMate più di una semplice superficie di recupero e sintesi; funziona anche come livello di esecuzione che può aiutare a trasformare il contesto in azione.
Questa stessa base aiuta anche ad alimentare agenti e flussi di lavoro all’interno dell’ambiente ZoomMate. Gli agenti possono usare lo stesso contesto sottostante, i percorsi di recupero e i sistemi connessi per fornire un’assistenza più dinamica, basata sul ragionamento, aiutando gli utenti a portare a termine attività più ampie e multi-step con maggiore continuità e adattabilità. I flussi di lavoro, al contrario, possono fornire un’automazione più strutturata e ripetibile, consentendo agli utenti di definire processi ricorrenti che operano sui contenuti Zoom e, dove supportato, sui sistemi esterni connessi. In questo modo, ZoomMate funge non solo da interfaccia conversazionale, ma anche da punto di orchestrazione sia per l’attività agentica dinamica sia per un’automazione più strutturata.
Sandbox può anche supportare alcune delle capacità di esecuzione più avanzate di ZoomMate. Per attività che richiedono esecuzione di codice, generazione di file, automazione o altri processi più sofisticati, ZoomMate può usare un ambiente sandbox separato invece di basarsi solo sull'elaborazione conversazionale standard. Questa sandbox gira sull'infrastruttura AWS di Zoom e fornisce un livello di esecuzione isolato e di breve durata per compiti di maggiore complessità, aiutando ZoomMate a portare a termine alcune operazioni in un ambiente più controllato. In questo modo, la stessa base più ampia di ZoomMate che supporta retrieval, reasoning, agenti e workflow può anche supportare l'esecuzione di attività più avanzate quando il lavoro richiesto lo richiede.
Infine, il diagramma non Mostra ogni componente sottostante che aiuta ad alimentare ZoomMate. Non Mostra esplicitamente livelli di capacità fondamentali come le competenze, o altre strutture di supporto che fanno parte dell'infrastruttura e del design più ampi di Zoom AI. Quegli elementi si presume operino all'interno del sistema di IA sottostante che abilita il comportamento di ZoomMate. Lo scopo di questo diagramma è invece quello di rappresentare il contesto principale, la conoscenza e le superfici di azione attraverso cui ZoomMate funziona come superficie di lavoro unificata su Zoom e sui sistemi connessi.
Connessioni e indicizzazione di terze parti di ZoomMate
Il diagramma sopra illustra due parti correlate ma distinte dell'architettura dei dati di terze parti di ZoomMate. La prima riguarda come ZoomMate si connette ad applicazioni e servizi di terze parti supportati in modo da poter recuperare informazioni o agire all'interno di quei sistemi. La seconda riguarda come alcune origini di contenuti di terze parti supportate possano essere ingerite e indicizzate, così che ZoomMate possa successivamente recuperare quel contenuto in modo più efficiente tramite generazione aumentata dal recupero.
ZoomMate può connettersi direttamente ad applicazioni e servizi di terze parti supportati
Una parte del diagramma mostra come ZoomMate si connette ad applicazioni di terze parti supportate come Jira, Confluence, Salesforce, ServiceNow, Workday, piattaforme di archiviazione su cloud e altri sistemi aziendali esterni. Queste connessioni consentono a ZoomMate di operare oltre i contenuti nativi di Zoom interagendo con strumenti che memorizzano dati aziendali o supportano il lavoro operativo al di fuori della piattaforma Zoom.
Queste connessioni sono stabilite tramite una connessione TLS attraverso modelli di accesso autorizzati, come integrazioni basate su API o connessioni basate su MCP. In entrambi i casi, ZoomMate opera all'interno delle autorizzazioni concesse dal servizio connesso, per consentire a ZoomMate di recuperare informazioni pertinenti da quei sistemi e, dove supportato, di agire al loro interno per conto dell'utente. Ad esempio, ZoomMate può recuperare i dettagli da un problema Jira, cercare una pagina Confluence, aggiornare una voce in ServiceNow e registrare l'aggiornamento, oppure usare un altro sistema connesso come parte dell'esecuzione di un'attività più ampia.
Questo modello di connessione diretta è particolarmente importante per le attività che dipendono dallo stato corrente del sistema o dall'accesso in tempo reale a strumenti di terze parti. In questi casi, ZoomMate può usare l'applicazione connessa come endpoint di servizio attivo invece che solo come archivio di contenuti indicizzati in precedenza.
ZoomMate può indicizzare contenuti approvati di terze parti per un successivo recupero
Una seconda parte del diagramma mostra come ZoomMate possa acquisire e indicizzare contenuti da fonti di terze parti supportate, in modo che il materiale possa essere recuperato in seguito nell'ambito di una ricerca o di una risposta assistita dall'IA. Questo modello di recupero indicizzato è particolarmente rilevante per i repository di contenuti connessi, come i sistemi di Archiviazione su cloud, le knowledge base, le piattaforme documentali e altre fonti supportate in cui ZoomMate potrebbe dover cercare in una quantità più ampia di contenuti esterni conservati.
Una volta che una fonte supportata è collegata e approvata per l'indicizzazione, ZoomMate può recuperare contenuti da quella fonte e prepararli per una ricerca successiva. Questo processo di preparazione può includere la suddivisione di file o registri più grandi in unità più piccole e l'aggiunta di metadati come origine, ora di aggiornamento, proprietà e informazioni di Autorizzazione. Questi contenuti vengono quindi scritti nel livello di indicizzazione di Zoom, così da poter essere ricercati in seguito sia tramite corrispondenza esatta sia tramite recupero basato sul significato.
Quando un utente invia una richiesta che dipende da contenuti indicizzati di terze parti, ZoomMate può cercare tali materiali indicizzati, valutare quali risultati siano più pertinenti e applicare le informazioni di Autorizzazione associate alla fonte originale in modo che solo i contenuti autorizzati siano idonei a comparire. I contenuti autorizzati più pertinenti possono quindi essere passati al livello IA di ZoomMate come contesto di supporto per la risposta. In questo modo, il diagramma mostra come i contenuti indicizzati di terze parti possano aiutare ZoomMate a produrre risposte basate su reali materiali Business connessi, anziché fare affidamento solo sulla conoscenza generale del modello.
Avatar personalizzati
Creazione dell'avatar
Il diagramma qui sopra illustra come viene creato un avatar personalizzato a partire da un video e da una voce registrati dall'utente. Il processo inizia quando all'utente viene presentato uno script e viene chiesto di registrare sé stesso mentre lo legge. Questo passaggio di registrazione guidata consente a Zoom di acquisire il materiale audiovisivo necessario per generare sia l'aspetto dell'avatar dell'utente sia il modello vocale associato utilizzato in successivi output basati sull'avatar.
Dopo che l'utente completa la registrazione, i componenti audio e video vengono elaborati attraverso percorsi diversi. L'audio viene inviato a un servizio di terze parti che genera una somiglianza vocale basata sul parlato registrato dell'utente. Una volta completata l'elaborazione, il servizio di terze parti restituisce a Zoom un identificativo vocale univoco. Zoom memorizza questo identificativo come riferimento vocale dell'utente, così da poterlo utilizzare in seguito durante la generazione di clip basate sull'avatar o di altri output supportati che si basano su quella voce sintetizzata.
Nello stesso tempo, il componente video viene inviato a un modulo di generazione avatar ospitato da Zoom, dove Zoom elabora il materiale visivo registrato per creare la rappresentazione dell'avatar dell'utente. Il risultato è un modello di avatar che Zoom memorizza per un uso futuro. Presi insieme, questi due output conservati — l'identificativo vocale memorizzato e il modello di avatar memorizzato — consentono a Zoom di generare in futuro clip o contenuti multimediali basati sull'avatar che riflettano sia l'aspetto dell'utente sia la sua voce sintetizzata.
Creazione di clip
Il diagramma sopra illustra come viene creata una clip di avatar personalizzato a partire dall'avatar salvato di un utente e dal profilo vocale sintetizzato. Il processo inizia quando l'utente carica lo script che l'avatar dovrà presentare. Questo script funge da contenuto sorgente per la clip generata. Da lì, il backend web di Zoom coordina due input paralleli necessari per creare l'output finale. Per prima cosa, invia l'identificativo vocale salvato dell'utente insieme allo script al servizio di generazione vocale di terze parti, che produce l'audio della clip usando la voce sintetizzata dell'utente. In secondo luogo, invia il template dell'avatar salvato dell'utente al modulo di generazione dell'avatar di Zoom, in modo che il componente visivo della clip possa essere preparato usando la somiglianza dell'avatar creata in precedenza dall'utente. Una volta che il servizio di generazione vocale di terze parti ha prodotto l'audio, tale audio viene restituito a Zoom e passato al modulo di generazione dell'avatar. Il modulo di generazione dell'avatar combina quindi il template dell'avatar salvato con l'audio vocale generato, sincronizzando i movimenti del viso e della bocca dell'avatar con il contenuto parlato. Dopo che questo processo di sincronizzazione labiale e rendering è completo, Zoom produce la clip finale dell'avatar e la restituisce all'utente.
Dizionario personalizzato
Il diagramma sopra illustra come la Funzionalità Dizionario personalizzato aiuti a migliorare l'accuratezza degli output di Zoom basati sul parlato fornendo al servizio di Riconoscimento Automatico del Parlato (ASR) di Zoom un contesto lessicale aggiuntivo. Questa Funzionalità è progettata per supportare parole, abbreviazioni, gergo, nomi di prodotto o terminologia specializzata che possono essere specifici di un'azienda, di un settore, di un team o di una regione e che altrimenti potrebbero non essere riconosciuti o resi correttamente durante la trascrizione.
Il processo inizia quando un amministratore dell'account crea e salva un dizionario personalizzato nel Zoom web portal. Quel dizionario contiene l'elenco di parole o frasi approvate che l'Organizzazione desidera che Zoom riconosca con maggiore precisione. Una volta salvato il dizionario a livello di account, diventa Disponibile per l'uso nei contesti supportati di riunione e di elaborazione del parlato.
Quando un utente avvia in seguito una riunione, il servizio AASR di Zoom può ricevere il dizionario personalizzato dell'account come parte del proprio contesto di elaborazione. Man mano che il servizio ASR converte l'audio in tempo reale in dati da parlato a testo, può confrontare il parlato percepito con il dizionario personalizzato e tentare di mappare i suoni riconosciuti ai termini memorizzati. Ciò fornisce all'ASR una guida aggiuntiva su quali parole cercare, su come alcuni termini potrebbero essere scritti e su come dovrebbero essere interpretate abbreviazioni o linguaggio specializzato.
Il risultato è che l'output iniziale da parlato a testo può riflettere con maggiore precisione la terminologia effettivamente usata nella riunione. Questa maggiore accuratezza può quindi estendersi agli artefatti downstream derivati dalla conversazione. Ad esempio, se in seguito viene generato un riepilogo della riunione, sottotitoli, una trascrizione o un altro asset basato su dati da parlato a testo, tali output possono riflettere una rappresentazione più accurata delle parole pronunciate durante la riunione, aiutando a migliorare la qualità e l'utilità dell'artefatto generato dall'IA risultante.
Modelli personalizzati per il riepilogo della riunione
Il diagramma sopra illustra come i riepiloghi personalizzati della riunione vengono generati da un modello definito dall'utente o dall'account. Il processo inizia quando un modello viene creato e salvato in Zoom. A livello di account, un amministratore può definire un modello personalizzato di riepilogo della riunione per l'uso organizzativo. A livello individuale, un utente può creare un modello personale di riepilogo della riunione in base alle proprie preferenze. Una volta creato, il modello selezionato viene archiviato così può essere applicato durante la generazione successiva del riepilogo.
Quando una riunione si conclude, Zoom AI può usare i dati speech-to-text della riunione per generare un riepilogo della riunione che segue la struttura e l'enfasi del modello personalizzato scelto. Se il modello personalizzato è stato selezionato prima che il riepilogo della riunione fosse generato, Zoom AI applica quel modello direttamente durante la creazione del riepilogo. Ciò consente al risultato di riflettere il formato specifico, le sezioni o le priorità definiti nel modello, anziché solo una struttura di riepilogo predefinita.
Se un modello personalizzato non è stato selezionato prima che il riepilogo fosse generato per la prima volta, Zoom può applicare quel modello in un secondo momento solo se la trascrizione della riunione è stata conservata. In tal caso, Zoom AI può rielaborare la trascrizione conservata usando la configurazione del modello e produrre un nuovo riepilogo allineato a quella struttura. Se però la trascrizione non è stata conservata, Zoom non ha a disposizione la trascrizione sottostante per la rielaborazione, il che significa che il modello personalizzato non può essere applicato a posteriori.
Isolamento audio personale
Il diagramma sopra illustra come Isolamento audio personale funziona usando un'impronta vocale archiviata localmente sul Dispositivo dell'utente per distinguere il parlato dell'utente dal Rumore di sottofondo circostante. Il processo inizia quando l'utente registra un campione vocale tramite la Funzionalità Isolamento audio personale nell'app Zoom Workplace. Tale registrazione viene usata per creare un'impronta vocale locale che aiuta l'applicazione a riconoscere le caratteristiche vocali dell'utente. Questa impronta vocale rimane sulla macchina locale e non viene trasmessa al cloud Zoom.
Quando l'utente parla successivamente durante una riunione in un ambiente con Rumore di sottofondo, l'app Zoom Workplace usa quell'impronta vocale archiviata localmente per aiutare a identificare i modelli di parlato dell'utente e separarli dai suoni circostanti. Ciò consente all'applicazione di usare la Funzionalità rimuovi rumore di fondo e di isolare la voce dell'utente in modo più efficace prima che l'audio venga inoltrato lungo il flusso della riunione.
Di conseguenza, l'audio trasmesso al cloud Zoom è l'audio della riunione rifinito con il Rumore di sottofondo filtrato nella misura supportata dalla Funzionalità. L'impronta vocale sottostante dell'utente non viene inviata all'infrastruttura cloud di Zoom. In questo modo, Isolamento audio personale opera come una Funzionalità di elaborazione a livello di Dispositivo locale che migliora la chiarezza dell'audio prima che l'audio pulito venga trasmesso nella sessione Zoom in diretta.
Ultimo aggiornamento
È stato utile?