> For the complete documentation index, see [llms.txt](https://library.zoom.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://library.zoom.com/technical-library/zh/ai-whitepaper/diagrams.md). # 图表与数据流 Zoom 的 AI 功能涵盖范围广泛，涉及多种产品、服务和工作流，这意味着没有任何一张单独的图表能够合理地或完整地呈现 AI 如何在整个 Zoom 平台上运作。不同的功能依赖于不同的输入、处理路径、存储行为、模型交互和输出。有些功能只在一次活动交互期间处理实时的临时数据，而另一些则会创建可保留的产物，之后还能支持更多功能。有些功能完全运行在 Zoom 的第一方环境中，而另一些则依赖 Zoom 的联邦式 AI 架构，在某些情况下还会连接外部系统。为了让这个动态且庞大的系统更易于理解，本页面提供了一系列图表，而不是依赖单一的视觉模型。每张图都突出展示了更广泛的 Zoom AI 平台中的不同层、路径或功能模式。在这些部分的底部有表格，概述了哪些功能适用、它们所对应的产品，以及其产物保留状态。后续部分则会逐一 بررسی某些定制化产品功能，对这些特定能力如何运作提供更聚焦的解释。 下方的序列首先从 Zoom AI 最基础形式的简化概览开始，展示的是一个以第一方为中心的状态；该状态使用 Zoom 的标准联邦式模型架构，但尚未引入第三方商业版集成或外部客户数据源，除了 Zoom 的第三方 AI 模型提供商之外。接下来，这些图表会逐步引入平台中更专业的部分，包括 Zoom 的 AI 方法选项、将实时音频转换为 AI 可用产物的过程，以及这些产物日后如何支持其他功能和工作流。综合来看，这些图表旨在通过拆分为更小、更易理解的视图来让一个高度复杂的系统更易于接近，反映 Zoom 的 AI 平台各部分在实践中的运作方式。 ## **Zoom AI**

Zoom AI 的简单概览

上方图表以简化形式展示了 Zoom 的 AI 平台，呈现的是该平台最基础的状态之一。它说明了 Zoom 更广泛的产品和服务架构中被称为 Zoom Web 后端的不同部分——包括会议、电话、呼叫中心、自动语音识别以及其他 Zoom 产品——如何汇入更大的 Zoom 平台，并为可供用户访问、能够支持下游 AI 功能的内容集合做出贡献。 此图中的一个核心概念是 **Zoom 用户内容**。这指的是通过用户与 Zoom 产品和服务的交互所生成的内容，这些内容之后可能会作为 AI 驱动体验的输入、上下文或产物。根据所涉及的产品和功能，这些内容可以包括 Zoom 聊天消息、会议摘要、转写文字、Canvas 文档、我的笔记、录制内容以及其他类似的面向用户的产物。这些材料构成了重要的上下文层，可支持后续的 AI 辅助检索、推理、摘要和跟进。 其中一些内容也可能通过检索基础设施为未来的 AI 使用做好准备，例如索引检索或检索增强生成模块。在这些情况下，相关产物可以被摄取并建立索引，从而在后续的 AI 查询或流程中更高效地定位和使用。这有助于 Zoom AI 不仅处理实时交互，还能在整个平台范围内使用保留的上下文和先前由用户生成的材料。 最后，该图还引入了 **Zoom AI** 其自身作为贯穿这一更广泛生态系统的共享 AI 层。在这个简化视图中，Zoom AI 通过 Zoom 的标准联邦式方法呈现，其中 Zoom 可以根据具体任务需要，使用运行在 Zoom 自有基础设施中的 Zoom 托管模型，以及精选的第三方 AI 模型提供商。这种联邦式模型使 Zoom 能够将 AI 任务路由到最合适的可用模型环境，同时在整个平台上保持统一的 AI 体验。 ## Zoom AI 服务模型方法

Zoom 的 AI 方法概览，包括联邦式、ZM+ 和 ZMO

上方图表展示了 Zoom 的三种 AI 方法：联邦式方法、Zoom 托管模型增强版（ZM+）以及仅使用 Zoom 托管模型（ZMO）。合在一起，这三种方式代表了 Zoom 向客户提供 AI 服务的三种主要途径，每一种都在功能广度、模型灵活性和数据控制之间提供了不同的平衡。 联邦式方法是 Zoom 的标准且功能最完整的方法。它允许 Zoom 与多个 AI 提供商协作，包括 Zoom 托管模型以及精选的第三方模型合作伙伴，因此任务可以被路由到最适合请求的模型。ZM+ 通过使用 Zoom 管理的专用模型实例，提供了更受控的部署模型；而 ZMO 则仅将 AI 处理保留在 Zoom 托管模型中，提供最严格、最受控的模型路径，但功能集也更有限。 就本页面而言，后续图表通常展示的是联邦式方法，因为它反映了 Zoom 的标准方法，也是对 Zoom AI 功能最广泛的视图。使用 ZM+ 或 ZMO 的组织通常可以通过在 ذهن中移除第三方 AI 模型提供商，并专注于流程中剩余的由 Zoom 管理的部分，来解读这些相同的图表。 有关更多信息，请参阅 Zoom AI 模型、处理、存储和使用页面。 ## 实时媒体功能与产物

概述实时媒体如何转换为支持 Zoom AI 功能的语音转文本数据

上方图表说明了实时媒体交互——例如会议和电话呼叫——如何在 Zoom 平台上产生下游的 AI 驱动功能和产物。在每种情况下，实时音频都会通过与该产品或服务相关的连接点进入 Zoom。对于会议，这通常是 **多媒体路由器（MMR）**。对于电话通讯，音频通常通过 **SIP 区域**. 进入。音频被接收后，会被路由到 Zoom 的 **自动语音识别（ASR）** 服务，该服务会将实时音频转换为 **语音转文本数据**。根据启用的设置和功能，这些语音转文本数据可以通过多种方式使用。在某些情况下，它会立即以 **实时字幕**的形式交付给用户。在受支持的上下文中，它还可能被传递给 Zoom 的 **实时翻译** 服务，该服务会将语音转文本输出翻译为其他语言参会者可见的翻译字幕。 语音转文本数据也可以支持更持久或衍生的功能。如果启用了 **转写** ，或者用户正在使用 **我的笔记**，ASR 服务可以在实时会议结束后生成一份转写文字。不过，如果未启用转写保留，则交互期间使用的语音转文本数据不会作为持久性转写文字保留。即便如此，Zoom AI 仍可在会议期间临时使用这些语音转文本数据来支持实时 AI 功能。 例如，用户可能会在会议期间通过 Zoom AI 提出 **会议内问题** 。在这种情况下，Zoom AI 可以使用会议中的实时语音转文本数据来理解用户的问题，并生成与正在进行的对话相关的答案。 在这一流程中，一个关键区别是，仅仅因为会议期间使用了语音转文本数据，Zoom AI 并不一定会保留对话的转写文字。除非专门启用了转写保留，或者数据正在通过诸如 **我的笔记**我的笔记 等功能进行保留，否则语音转文本数据本身可能仍然是临时的。与此同时，由这些数据产生的某些下游产物可能会持续保留。例如，如果用户在会议期间提问，即使未生成持久性转写文字，所形成的 AI 对话或相关笔记日后仍可在线作为保留产物存在。 **Zoom Canvas** 文档，并且可以继续被编辑、扩展并作为工作产物使用。反过来，这些生成的文档日后也可能作为本文其他地方讨论的其他 AI 功能或工作流的上下文。通过这种方式，实时音频不仅可以带来即时的 AI 功能，还可以形成一连串可保留的产物，持续支持 Zoom 平台上的后续 AI 辅助工作。 此图适用于以下功能： | 功能/特性 | 描述 | 产品 | 产物保留 | | :-------: | :--------------------------: | :--------: | :--: | | 实时字幕 | 适用于实时会议的实时语音转文本字幕。 | 会议、网络研讨会 | 未保留 | | 翻译字幕 | 由实时语音转文字数据生成的实时翻译字幕。 | 会议、网络研讨会 | 未保留 | | 转写文字 | 会议语音转文字内容的保留文本记录。 | 会议、电话 | 已保留 | | 会议摘要 | AI生成的会议讨论要点、决策和行动项摘要。 | 会议 | 已保留 | | 网络研讨会摘要 | 在会议后分享的关键网络研讨会内容的AI生成摘要。 | 网络研讨会 | 已保留 | | 呼叫摘要 | AI生成的呼叫后关键细节和行动项摘要。 | 电话 | 已保留 | | 我的笔记 | 个人笔记、转写文字和会议上下文会保留以供日后参考和跟进。 | 会议 | 已保留 | | 后续任务 | 基于对话细节的 AI 建议后续操作。 | Zoom Tasks | 已保留 | | 语音信箱优先级排序 | 根据用户定义的重要性对语音留言进行基于 AI 的排序。 | 电话 | 已保留 | | 会议问题 | 使用实时会议上下文对会议问题的 AI 回答。 | 会议 | 已保留 | | 网络研讨会问题 | 使用实时网络研讨会上下文对网络研讨会问题的 AI 回答。 | 网络研讨会 | 已保留 | | 呼叫问题 | 使用实时呼叫上下文对呼叫问题的 AI 回答。 | 电话 | 已保留 | ## 录制功能

概述 Zoom 如何处理录制内容和 AI 功能

上图说明了 Zoom AI 如何支持 **基于录制的 AI 功能** 通过在实时会议结束后对已完成的录制进行处理来实现。与其他基于音频的 Zoom 体验一样，原始媒体会通过与所用产品相关的基础设施进入——例如 **MMR** 用于会议，或者相关的 **SIP 区域** 用于电话通讯。作为该流程的一部分，录制会被创建并发送到 Zoom 的录制服务，在那里，完成的录制随后会存储在 Zoom 内容存储中。 一旦录制完成，与该录制相关的音频会发送到 Zoom 的 **自动语音识别（ASR）** 转写服务。此过程会生成 **特定于录制的转写文字**，这可能与在直播会议本身期间生成的语音转文字数据不同。换句话说，与已完成录制相关的转写文字是作为录制后处理流程的一部分生成的，而不是简单地从实时交互层复制而来。 在录制转写文字生成后，随后可以将其提交给 **Zoom AI** 用于进一步分析。在此阶段，Zoom AI 会处理转写文字，以识别更高层级的录制产物，例如摘要、亮点、章节以及对对话的其他结构化表示。此分析使用 Zoom 的 AI 处理层执行，在适用情况下还包括由 Zoom 托管的模型，以将原始录制转写文字转换为更易使用的会后或呼叫后输出。 一旦该分析完成，生成的 AI 产物就会与录制本身关联起来。这使得查看录制内容的用户不仅能看到录制和转写文字，还能看到额外的 AI 生成层，从而让内容更易于浏览和理解。通过这种方式，该图展示了已完成的录制如何成为第二阶段 AI 处理的基础，从而生成超出原始存储媒体的增强型录制功能。 此图适用于以下功能： | 功能/特性 | 描述 | 产品 | 产物保留 | | :--------------: | :-----------------------------------------------: | :---------: | :--: | | 智能录制 | 用于录制会议的 AI 生成亮点、章节和摘要 | 会议 | 已保留 | | 生成标题、描述和标签 | 适用于片段的 AI 生成标题、描述和标签。 | 片段 | 已保留 | | 用于录音和视频的 AI 内容创作 | 使用事件 & 活动 &直播录制转写文字来生成书面内容，并从关键会议时刻生成 AI 策划的视频片段。 | Zoom Events | 已保留 | ## 衍生 AI 功能

Zoom 处理衍生 AI 内容生成功能的概述

上图说明了如何 **衍生式 AI 功能** 通过使用在线用户内容作为后续 AI 辅助任务和输出的上下文来进行操作。在这些情况下，Zoom AI 不再只基于实时交互数据运行。相反，它会利用用户更广泛的内容环境中已经存在的资料，以回答问题、综合信息，或帮助生成新的结果。 根据任务的不同，这些相关的上下文材料可能包括诸如 聊天消息、会议摘要、我的笔记、文字记录、Zoom Canvas 文档、Zoom Slide decks、Zoom Paper 文档、Zoom Mail 或 Zoom Calendar 内容、已连接的第三方 电子邮件或日历数据，或用户为支持特定请求而上传的文件等工件。通过这种方式，Zoom AI 会在可用的情况下使用先前创建的 Zoom 工件，并结合集成的个人级数据，帮助实现用户所请求的最终目标。 该图还反映出，这一过程本身也可以生成 **新用户内容**。例如，Zoom AI 可能会使用现有材料创建新的 Zoom Sheet、Zoom Canvas 文档、Zoom Slide deck 或 Zoom Paper 文档。一旦创建，这些新工件就会成为用户更广泛内容存储库的一部分，并且之后也可能再次作为未来 AI 辅助功能和工作流的上下文使用。这形成了一种层层递进的过程，其中较早的用户内容可以支持后续输出，而这些输出随着时间推移又可以反过来成为新的上下文工件。 同样的模式也可能出现在其他 Zoom 界面中。在诸如 **Zoom 中心** 或 **AI 聊天讨论小组/面板**，用户可能会在平台上提问，或与通过 Zoom 的 AI 提升生产力套件在线提供的文档和材料进行交互。在这些情况下，Zoom AI 再次基于现有的用户可访问资产运行，以提供检索、综合、问答或后续跟进，展示了衍生 AI 功能如何将先前内容的价值延伸到新的任务和结果中。 {% hint style="info" %} **注意** 本地用户文件上传 [可以禁用](https://support.zoom.com/hc/en/article?id=zm_kb\&sysparm_article=KB0077150). {% endhint %} 此图适用于以下功能： | 功能/特性 | 描述 | 产品 | 产物保留 | | :----------: | :-----------------------------------------------: | :------------------------: | :--: | | 内容生成 | 内容生成使用 AI 来创建、完善、总结和组织文档、演示文稿、电子表格及其他输出，基于自然语言提示。 | Canvas、Sheets、Paper、Slides | 已保留 | | AI 聊天讨论小组/面板 | 用于提问、生成内容以及在在线 Zoom 上下文中跨场景工作的对话式 AI 辅助。 | AI 聊天讨论小组/面板 | 已保留 | | 提出问题 | 基于 Zoom 中心中所选文档和材料生成的 AI 答案。 | 中心 | 已保留 | ## 生成和组合特性

Zoom 处理生成式和组合式 AI 请求的概述

上图说明了如何 **生成和合成功能** 在 Zoom AI 平台内运行。与依赖预先存在的用户内容来帮助实现后续任务或输出的衍生 AI 功能不同，生成和组合功能通常更多地直接由用户的即时输入驱动。在许多情况下，这些功能并不依赖于已保留的 Zoom 资产，这些资产已存储在用户内容环境中的其他位置。相反，它们主要由直接的用户提示、查询、上传的文件，或与当前产品体验相关的即时屏幕内容提供支持。 这种区分对于那些基于用户当前上下文中可见内容而工作、而不是基于先前已索引或保留的工件而工作的功能尤为重要。例如，当用户总结聊天线程、总结电子邮件，或要求 Zoom AI 为电子邮件起草回复时，相关内容通常取自有效客户端上下文，并打包成发送给 Zoom AI 处理的请求载荷。换句话说，Zoom 不一定是从单独的服务器端存储库中检索该内容来完成任务。相反，来自有效线程、消息集或其他可见界面上下文的相关信息会转换为文本形式，并从 Zoom Workplace应用提交给 Zoom AI，以便该服务能够执行自然语言处理、摘要或生成。 该图表还包含生成式用例，这些用例主要依赖直接的用户指令，而不是文本源材料。例如，当用户请求图像生成时，用户通过提示（prompt）描述所期望的输出，模型会基于该描述生成图像。在某些产品场景中，例如 Zoom Whiteboard，这种图像生成可能依赖第三方 AI 模型提供商。在其他场景中，Zoom 可能会使用其自有的托管模型。例如，Zoom 的虚拟背景图像生成可以依赖于由 Zoom 托管的模型，该模型使用嵌入（embeddings）及相关处理来生成视觉输出，生成的内容在返回给用户之前会经过审核控制。 合起来看，这张图表明，生成和组合功能往往较少依赖于保留的工件，而更多依赖于即时的用户意图、有效的客户端上下文或上传的支持材料。这样一来，它们就代表了 Zoom AI 运行的另一种主要模式：不仅跨先前内容进行检索和推理，还直接根据用户的当前请求及其周围上下文生成新的输出。 此图适用于以下功能： | 功能/特性 | 描述 | 产品 | 产物保留 | | :--------: | :------------------------------------------------: | :---------: | :-------: | | 虚拟背景 | 使用 AI 根据用户提示创建自定义虚拟背景图像，以便在 Zoom Sessions 中使用。 | 会议、活动、网络研讨会 | 保留（如果已保存） | | 图像生成 | 使用 AI 将白板绘图或粗略的视觉素材转化为更精致、渲染过或风格化的视觉输出。 | 白板 | 保留（如果已保存） | | 图像生成 | 使用 AI 为事件 & 活动 &直播创建品牌化图片和其他视觉素材，例如页眉、会议图片和展会相关材料。 | 事件 & 活动 &直播 | 保留（如果已保存） | | 内容生成 | 使用 AI 根据用户提示生成屏幕上的白板内容，例如文本、便签、表格、思维导图以及其他结构化视觉元素。 | 白板 | 保留（如果已保存） | | 内容生成 | 使用 AI 生成事件 & 活动 &直播书面内容，例如描述、会议详情、演讲者简介和大堂公告。 | 事件 & 活动 &直播 | 保留（如果已保存） | | 电子邮件撰写功能 | 使用 AI 起草和完善电子邮件内容，包括正文、主题行和回复。 | 电子邮件 | 保留（如果已发送） | | 聊天撰写 | 使用 AI 根据用户提示和在线对话上下文起草和修改聊天消息。 | 聊天 | 保留（如果已发送） | | 电子邮件摘要 | 使用 AI 总结电子邮件或电子邮件线程的关键内容。 | 电子邮件 | 未保留 | | 消息、线程、文档摘要 | 使用 AI 总结聊天消息、对话线程以及受支持的附件文档或链接的 Canvas 内容。 | 聊天 | 未保留 | | 智能上传 | 从上传的文件中提取事件 & 活动 &直播 详细信息，以自动构建会议、演讲者和自定义问题。 | Zoom Events | 保留（如果已保存） | ## 我的笔记 ### Zoom Meetings 中的我的笔记

Zoom 会议中我的笔记数据流概览

上图显示，在 Zoom Meetings 中，我的笔记使用会议现有的音频路径，而不是依赖于用户设备上显示的其他音频。当在 Zoom 会议期间启用我的笔记时，它会访问通过会议的 Multi-Media Router (MMR) 会议路由的共享会议音频。然后，该音频会由 Zoom 的自动语音识别 (ASR) 服务处理，以生成转写文字，随后传送到用户设备，并可在之后支持会后笔记生成。 在此流程中，转写明确基于与该会议会议相关联的 Zoom 会议音频。它并非基于会议本身之外的不相关本地设备音频。会议结束后，生成的转写文字和笔记可根据用户适用的保留设置继续保持在线，而用于转写的底层音频在处理完成后不会被保留。 ### Zoom Meetings 之外的我的笔记

Zoom Meetings 之外的 My Notes 数据流概述

上方图示展示了在 Zoom Meetings 之外，My Notes 如何通过用户的本地设备音频运行，而不是通过共享的 Zoom 会议会话运行。如果在第三方会议或面对面讨论期间启用，My Notes 可以使用操作系统级别对用户麦克风的访问权限，并在适用时使用系统音频来捕获该设备上可用的本地音频。然后，这些音频会通过单用户 MMR 会议进行路由，并由 Zoom 的自动语音识别（ASR）服务处理以生成转写文字，随后转写文字会传送到用户的设备，并可在之后支持会后笔记生成。 这意味着，在 Zoom Meetings 之外，转写完全基于从用户本地设备传输的音频，而不是来自共享的 Zoom 会议音频流。My Notes 还可能在检测到设备麦克风活动时提示用户开始新的笔记，帮助在第三方会议、基于浏览器的录制或其他麦克风活动工作流等场景中显示该功能/特性。与会议内流程一样，用于转写的音频在转写完成后不会保留，而生成的笔记和转写文字可以根据适用的保留设置保存在用户的账户中。 ## ZoomMate

ZoomMate 数据流概述

上图说明了如何 **ZoomMate 在 Zoom Workplace 中充当主要工作界面**，在用户上下文、关联知识和执行能力汇聚的节点上运行。与其仅仅作为一个独立助手，ZoomMate 位于更广泛的工作环境中心，在该环境中，用户可以跨支撑其日常工作的材料和系统进行搜索、推理、创建和执行。 这一角色的重要部分来自 ZoomMate 对 **第一方 Zoom 内容**。这可以包括摘要、My Notes、录音、Canvas 文档、聊天消息以及在 Zoom 平台上创建的其他用户生成材料。这些内容有助于为 ZoomMate 提供其回答问题、综合信息、生成输出并支持后续跟进所需的上下文。ZoomMate 还可以使用 **记忆**，使其在帮助完成任务时能够纳入相关的用户偏好或与工作相关的细节。 该图还展示了 ZoomMate 如何通过集成 **第三方知识来源**。例如，已连接的云存储服务，如 Google Drive 或 OneDrive，可作为用户可访问信息的外部存储库。当这些来源集成后，Zoom 可以为已批准的内容建立索引，以支持对这些材料的检索，从而使 ZoomMate 能够使用 **代理式搜索** 在 Zoom 内容和已连接的第三方知识之间进行工作。这样，ZoomMate 不仅可以搜索 Zoom 内部现有的内容，还可以搜索用户有权在已连接外部平台中访问的文档和材料。 其他个人数据来源，例如 **电子邮件和日历** （不包括端到端加密电子邮件），也可以支持 ZoomMate，但它们的运作方式不同。这些来源通常不会被建立索引，而是通过直接基于 API 的检索与 ZoomMate 通信。这使它们适用于查找相关电子邮件上下文、查看日历信息或帮助安排事件等任务，而不会将其视为用于更广泛文档搜索的索引检索层的一部分。 该图还表明，ZoomMate 还可以连接更广泛的 **第三方服务和连接器** ，这些服务和连接器既支持执行操作，也支持获取知识。这些可能包括 Jira、HubSpot、ServiceNow、Workday 以及其他已连接的商业平台。通过这些连接，ZoomMate 可以执行 **代理式任务** ，代表用户执行任务，例如创建或更新记录、从外部服务检索信息，或在这些系统中执行其他相关操作。这使 ZoomMate 不仅仅是一个检索和综合界面；它还作为一个执行层发挥作用，帮助将上下文转化为行动。 同样的基础也有助于支持 **智能体** 和 **工作流** 在 ZoomMate 环境中。智能体可以使用相同的底层上下文、检索路径和已连接系统，提供更动态、基于推理的辅助，帮助用户以更强的连续性和适应性完成更广泛的多步骤任务。相比之下，工作流可以提供更结构化、可重复的自动化，使用户能够定义在 Zoom 内容以及在支持的情况下于已连接外部系统中运行的重复性流程。通过这种方式，ZoomMate 不仅作为对话界面存在，也作为动态代理式活动和更结构化自动化的编排点。 **Sandbox** 还可以支持 ZoomMate 的一些更高级的执行能力。对于需要代码执行、文件生成、自动化或其他更复杂处理的任务，ZoomMate 可以使用单独的沙箱环境，而不是仅依赖标准的对话处理。该沙箱运行在 Zoom 的 AWS 基础设施上，并为更高复杂度的任务提供一个短暂、隔离的执行层，帮助 ZoomMate 在更受控的环境中执行某些操作。通过这种方式，支持检索、推理、智能体和工作流的更广泛 ZoomMate 基础，同样也可以在请求的工作需要时支持更高级的任务执行。 最后，该图并未展示所有有助于驱动 ZoomMate 的底层组件。它并未明确显示诸如技能之类的基础能力层，或作为 Zoom AI 更广泛基础设施和设计一部分的其他支撑结构。这些元素被假定在支持 ZoomMate 行为的底层 AI 系统中运行。该图的目的在于展示 ZoomMate 作为统一工作界面在 Zoom 和已连接系统之间运作时所依赖的主要上下文、知识和操作界面。 ### ZoomMate 第三方连接与索引

ZoomMate 如何连接到第三方连接和数据来源的概览

上图说明了 ZoomMate 第三方数据架构中两个相关但不同的部分。第一部分是 ZoomMate 如何连接到受支持的第三方应用程序和服务，以便在这些系统中检索信息或采取行动。第二部分是如何摄取并索引某些受支持的第三方内容来源，从而使 ZoomMate 之后能够通过检索增强生成更高效地检索这些内容。 #### ZoomMate 可以直接连接到第三方应用程序和服务 图中的一部分展示了 ZoomMate 如何连接到受支持的第三方应用程序，例如 Jira、Confluence、Salesforce、ServiceNow、Workday、云存储平台以及其他外部商业系统。这些连接使 ZoomMate 能够超越 Zoom 原生内容，通过与存储业务数据或支持 Zoom 平台之外运营工作的工具交互来运行。 这些连接通过 TLS 连接，并借助授权访问模型建立，例如基于 API 的集成或基于 MCP 的连接。无论哪种情况，ZoomMate 都在所连接服务授予的权限范围内运行。这使 ZoomMate 能够从这些系统中检索相关信息，并在支持的情况下代表用户在其中执行操作。例如，ZoomMate 可以检索 Jira 问题的详细信息、搜索 Confluence 页面、更新 ServiceNow 中的记录，或在执行更广泛任务时使用其他已连接系统。 这种直接连接模型对于依赖当前系统状态或实时访问第三方工具的任务尤为重要。在这些情况下，ZoomMate 可以将已连接应用程序用作活动服务端点，而不仅仅是作为先前已建立索引内容的存储库。 #### ZoomMate 可以为已批准的第三方内容建立索引，以便日后检索 图中的第二部分展示了 ZoomMate 如何摄取并索引来自受支持第三方来源的内容，以便这些材料之后可作为搜索或 AI 辅助响应的一部分进行检索。这种索引检索模型最适用于已连接的内容存储库，例如云存储系统、知识库、文档平台以及其他受支持的来源，在这些地方 ZoomMate 可能需要跨更大范围的保留外部内容进行搜索。 一旦某个受支持的来源已连接并获准建立索引，ZoomMate 就可以从该来源检索内容并为后续搜索做准备。此准备过程可能包括将较大的文件或记录拆分为更小的单元，并附加来源、更新时间、所有权和权限信息等元数据。随后，这些内容会写入 Zoom 的索引层，以便之后既可以通过精确匹配，也可以通过基于语义的检索进行搜索。 当用户提交的请求依赖于已建立索引的第三方内容时，ZoomMate 可以搜索这些已索引材料，评估哪些结果最相关，并应用与原始来源相关联的权限信息，从而只有经过授权的内容才有资格显示。随后，最相关的授权内容可以作为支持响应的上下文传递到 ZoomMate 的 AI 层。通过这种方式，该图展示了已索引的第三方内容如何帮助 ZoomMate 生成基于真实已连接业务材料的答案，而不是仅依赖通用模型知识。 ## 自定义头像 ### 头像创建

自定义头像创建流程概览

上图说明了如何根据用户录制的视频和声音创建自定义头像。流程从向用户展示脚本并提示其录制朗读开始。这一引导式录制步骤使 Zoom 能够捕获生成用户头像相貌以及后续基于头像输出中所使用的关联语音模型所需的视听材料。 用户完成录制后，音频和视频组件会通过不同路径进行处理。音频会发送到一个第三方服务，该服务会根据用户录制的语音生成声音相似特征。处理完成后，第三方服务会向 Zoom 返回一个唯一的语音标识符。Zoom 将此标识符存储为用户的语音参考，以便之后在生成基于头像的剪辑或其他依赖该合成语音的受支持输出时使用。 与此同时，视频组件会发送到由 Zoom 托管的头像生成模块，在那里 Zoom 处理录制的视觉材料，以创建用户的头像表示。由此生成一个头像模板，Zoom 会将其存储以供将来使用。综合这两个保留的输出——存储的语音标识符和存储的头像模板——Zoom 便能够生成未来的剪辑或基于头像的媒体，同时呈现用户的相貌和其合成语音。 ### 剪辑创建

自定义头像剪辑创建流程概览

上图说明了如何根据用户存储的头像和合成语音档案创建自定义头像剪辑。流程从用户上传希望头像展示的脚本开始。该脚本作为生成剪辑的源内容。\ \ 随后，Zoom 的 Web 后端协调创建最终输出所需的两个并行输入。首先，它将用户存储的语音标识符与脚本一起发送到第三方语音生成服务，由该服务使用用户的合成语音生成剪辑音频。其次，它将用户存储的头像模板发送到 Zoom 的头像生成模块，以便使用用户先前创建的头像相貌来准备剪辑的视觉组件。\ \ 一旦第三方语音生成服务生成音频，该音频就会返回 Zoom 并传入头像生成模块。然后，头像生成模块将存储的头像模板与生成的语音音频结合起来，使头像的面部和口型动作与所说内容同步。完成这一口型同步和渲染过程后，Zoom 会生成最终的头像剪辑并将其交付给用户。 ## 自定义词典

自定义词典数据流

上图说明了自定义词典功能如何通过为 Zoom 的自动语音识别（ASR）服务提供额外的词汇上下文，来帮助提高基于语音的 Zoom 输出的准确性。该功能旨在支持词语、缩写、行话、产品名称或专业术语，这些内容可能特定于某家公司、行业、团队或地区，并且在转写过程中原本可能无法被正确识别或呈现。 流程始于账户管理员在 Zoom Web门户中创建并存储自定义词典。该词典包含组织希望 Zoom 更准确识别的已批准词语或短语列表。一旦词典在账户级别保存，它就可用于受支持的会议和语音处理场景。 当用户随后开始会议时，Zoom 的 AASR 服务可以在处理上下文中接收该账户的自定义词典。随着 ASR 服务将实时音频转换为语音转文本数据，它可以将识别到的口语与自定义词典进行比对，并尝试将识别到的声音映射到存储的术语。这为 ASR 提供了额外指导，帮助它判断应查找哪些词语、某些术语可能如何拼写，以及应如何解释缩写或专业语言。 其结果是，最初的语音转文本输出能够更准确地反映会议中实际使用的术语。随后，这种改进后的准确性可以延续到从对话派生的下游产物中。例如，如果之后生成会议摘要、字幕、转写文字或其他基于语音转文本数据的资产，这些输出就能更准确地反映会议期间所说的话，从而有助于提高最终 AI 生成产物的质量和实用性。 ## 自定义会议摘要模板

自定义会议摘要模板数据流

上图说明了自定义会议摘要如何根据用户定义或账户定义的模板生成。流程从在 Zoom 中创建并保存模板开始。在账户级别，管理员可以为组织使用定义自定义会议摘要模板。在个人层面，用户可以根据自己的偏好创建个人会议摘要模板。创建后，所选模板会被存储，以便在后续生成摘要时应用。 随着会议结束，Zoom AI 可以使用会议的语音转文本数据生成摘要，使其遵循所选自定义模板的结构和重点。如果在会议摘要生成之前已选择自定义模板，Zoom AI 会在生成摘要时直接应用该模板。这样，最终输出就能反映模板中定义的特定格式、部分或优先级，而不仅仅是默认的摘要结构。 如果在首次生成摘要之前未选择自定义模板，那么只有在保留了会议转写文字的情况下，Zoom 才能稍后应用该模板。在这种情况下，Zoom AI 可以使用模板配置重新处理保留的转写文字，并生成与该结构一致的新摘要。然而，如果转写文字未被保留，Zoom 就没有可供重新处理的底层转写文字，这意味着无法事后应用自定义模板。 ## 个人音频隔离

个人音频隔离如何隔离用户声音的概述

上图说明了如何 **个人音频隔离** 其工作原理是使用存储在用户设备本地的声纹来区分用户的语音与周围的背景噪音。该过程始于用户通过 Zoom Workplace 应用中的个人音频隔离功能/特性录制语音样本。该录音会被用来创建一个本地声纹，帮助应用程序识别用户的声音特征。该声纹会保留在本地机器上，不会传输到 Zoom 云。 当用户之后在存在环境噪音的环境中于会议期间发言时，Zoom Workplace 应用会使用该本地存储的声纹来帮助识别用户的语音模式，并将其与周围声音分离。这样一来，在音频通过会议流程继续传输之前，应用程序就能更有效地减少背景噪音并隔离用户的声音。 因此，传输到 Zoom 云的音频是经过优化的会议音频，其中的环境噪音会在功能/特性支持的范围内被过滤掉。用户的底层声纹本身不会被发送到 Zoom 的云基础设施。通过这种方式，个人音频隔离作为一种本地设备级处理功能/特性运行，在净化后的音频被传输到实时 Zoom 会议之前提升音频清晰度。 --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://library.zoom.com/technical-library/zh/ai-whitepaper/diagrams.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.