Características del algoritmo

Transcripción en directo

La función de transcripción en directo de Zoom sirve como una tecnología central que permite muchas funciones del conjunto integral de soluciones de IA para el lugar de trabajo de Zoom, incluidas muchas funciones de AI Companion. Al convertir audio en tiempo real en datos de texto estructurados y fáciles de buscar, la transcripción en directo crea la capa fundamental que impulsa resúmenes inteligentes de reuniones, extracción automatizada de elementos de acción, análisis de sentimientos y flujos de trabajo avanzados de colaboración en todo el ecosistema de Zoom Workplace.

Cuando la transcripción en directo está habilitada, el audio en directo de sesiones como reuniones, seminarios web o llamadas telefónicas se transmite al servicio de reconocimiento automático de voz de Zoom, que convierte el habla en texto y distribuye la transcripción dinámica a las aplicaciones de Zoom Workplace de los participantes correspondientes. Los participantes pueden ver la transcripción en tiempo real, acceder a segmentos mediante subtítulos y utilizar AI Companion para hacer preguntas durante la reunión en directo. Después de que termina la sesión, si la transcripción se conserva, AI Companion puede utilizarla más adelante para funciones que dependen de la transcripción, como resúmenes de reuniones, consultas posteriores a la reunión y seguimientos adaptados al contexto, etc.

La transcripción en directo funciona de manera independiente de los modelos de lenguaje grandes, y en su lugar se basa en la tecnología de reconocimiento automático de voz de Zoom para convertir audio a texto. Sin embargo, la salida de texto estructurado generada por la transcripción en directo sirve como dato de entrada crítico para los modelos de lenguaje grandes que impulsan las funciones avanzadas de AI Companion, lo que permite a estos modelos analizar el contenido de la conversación y generar información inteligente.

Consulte el Centro de soporte de Zoom para obtener más información sobre cómo la transcripción en directo impulsa funciones como las de AI Companion preguntas durante la reunión y Resumen de la reunióny funciones que no son de AI Companion, como subtítulos automatizados.

Transcripción en directo local

A partir de la versión 6.5.3 de la aplicación Zoom Workplace, los usuarios ahora pueden acceder a la transcripción en directo local en el Dispositivo, que procesa el audio directamente en su Dispositivo, en lugar de usar el procesamiento basado en la nube. Aunque esta opción está diseñada para proporcionar mayor privacidad y menor latencia, las transcripciones generadas mediante el procesamiento local no pueden ser utilizadas por las funciones de AI Companion, que requieren datos de transcripción basados en la nube para funcionar.

Traducción en directo (subtítulos)

La función de traducción en directo de Zoom funciona como una extensión de la función de transcripción en directo, donde la transcripción en directo original sirve como base para el proceso de traducción. Los datos de la transcripción en directo se transmiten desde el módulo de transcripción en directo al módulo de traducción en directo de Zoom, que procesa la transcripción en el idioma de origen detectado y la traduce al idioma o idiomas de destino solicitados por el usuario. A continuación, las transcripciones traducidas se devuelven al servicio de transcripción en directo, que distribuye el contenido localizado a los participantes de la reunión a través de sus aplicaciones de Zoom Workplace, lo que permite una comunicación multilingüe en tiempo real sin interrumpir el flujo natural de la conversación.

Consulta el Centro de soporte de Zoom para obtener más información sobre usando subtítulos traducidos.

Aislamiento de audio personalizado

El aislamiento de audio personalizado aprovecha la huella de voz de un usuario para diferenciar su voz y suprimir Ruido de fondo, incluso en entornos abiertos. Los usuarios autorizan a Zoom a crear una huella de voz, que captura las características únicas y los matices de sus patrones de voz. El usuario también puede elegir subir una grabación de su voz. La huella de voz del usuario permite a Zoom filtrar e aislar de forma inteligente la voz del usuario del audio ambiental de fondo detectado por su micrófono. La tecnología suprime eficazmente sonidos ambientales como conversaciones en una cafetería, aspiradoras, perros ladrando o conversaciones de otras personas dentro del alcance del micrófono, lo que ayuda a garantizar que solo la voz del usuario se transmita de forma destacada.

Consulta el Centro de soporte de Zoom para obtener más información sobre usando aislamiento de audio personalizado.