> For the complete documentation index, see [llms.txt](https://library.zoom.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://library.zoom.com/technical-library/zh/ai/ai-whitepaper/diagrams.md).

# 图表和数据流

适用于 Zoom Workplace、网络研讨会和活动的 Zoom AI 图表和数据流

Zoom 的 AI 能力涵盖了广泛的产品、服务和工作流，这意味着任何单一图示都无法合理或完整地呈现 AI 如何在整个 Zoom 平台上运作。不同功能依赖不同的输入、处理路径、存储行为、模型交互和输出。有些功能只在活动交互期间对实时的短暂数据进行处理，而另一些则会创建可保留的产物，供后续其他功能使用。有些功能完全在 Zoom 的第一方环境中运行，而另一些则依赖 Zoom 的联邦式 AI 架构，在某些情况下还会连接外部系统。为了让这一动态且庞大的系统更易于理解，本页面使用一系列图示，而不是依赖单一的视觉模型。每个图示都强调更广泛的 Zoom AI 平台中的不同层、路径或功能模式。这些部分的底部附有表格，概述哪些功能适用、它们关联的产品以及其产物保留状态。后续章节则会逐一 بررسی某些定制化产品功能，提供更有针对性的说明，解释这些特定能力如何运作。

下面的序列从 Zoom AI 的简化概览开始，以其最基础的形式展示平台，即以第一方为中心的状态，使用 Zoom 的标准联邦式模型架构，但尚未引入第三方业务集成或外部客户数据源，仅涉及 Zoom 的第三方 AI 模型提供商。随后，这些图示会逐步引入平台中更专门化的部分，包括 Zoom 的 AI 方法选项、将实时音频转换为 AI 可用产物的过程，以及这些产物日后支持其他功能和工作流的方式。综合来看，这些图示旨在通过拆分为更小、更易跟随的视图，使一个高度复杂的系统更易于理解，反映 Zoom 的 AI 平台不同部分在实践中的运作方式。

## **Zoom AI**

<div data-with-frame="true"><figure><img src="https://2325962437-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FctBXUMeBy4rtLMmMkKRG%2Fuploads%2F2U0TxpBDyYeXwPrgYc4C%2Fb7f1f3_UzmpbRMaSQe1r5xsXwWmQg_Zoom-AI-Architecture-v1_0.png?alt=media&amp;token=54f00b3a-833e-4cc7-a2e3-df492d45f26f" alt=""><figcaption><p>Zoom AI 的简要概览</p></figcaption></figure></div>

上图以简化形式展示了 Zoom 的 AI 平台，呈现了该平台最基础的状态之一。图中说明了 Zoom 更广泛的产品与服务架构（称为 Zoom Web 后端）中的不同部分如何汇入更大的 Zoom 平台，并为用户可访问的内容库做出贡献，从而支持后续的 AI 功能。这些部分包括会议、电话、呼叫中心、自动语音识别以及其他 Zoom 产品与服务。

图中的一个核心概念是 **Zoom 用户内容**。它指用户在与 Zoom 产品和服务互动时生成的内容，这些内容之后可能作为 AI 驱动体验的输入、上下文或产物。根据所涉及的产品和功能，这些内容可能包括 Zoom 聊天消息、会议摘要、转写文字、Canvas 文档、我的笔记、录制内容，以及其他类似的面向用户的产物。这些材料构成了重要的上下文层，可支持后续的 AI 辅助检索、推理、摘要和后续处理。

其中一些内容也可能通过检索基础设施为未来的 AI 使用做准备，例如索引检索或检索增强生成模块。在这些情况下，相关产物可以被摄取并建立索引，从而在后续的 AI 查询或处理流程中更高效地被定位和使用。这有助于 Zoom AI 不仅处理实时交互，还能跨平台利用保留的上下文和先前用户生成的材料。

最后，该图还介绍了 **Zoom AI** 本身，它是贯穿这一更广泛生态系统的共享 AI 层。在这一简化视图中，Zoom AI 采用 Zoom 的标准联邦式方案：根据具体任务的需要，Zoom 可以使用运行在 Zoom 自有基础设施中的 Zoom 托管模型，也可以使用经过筛选的第三方 AI 模型提供商。这种联邦式模型使 Zoom 能够通过最适合的可用模型环境处理 AI 任务，同时在整个平台上提供统一的 AI 体验。

## Zoom AI 服务模型方法

<div data-with-frame="true"><figure><img src="https://2325962437-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FctBXUMeBy4rtLMmMkKRG%2Fuploads%2FQp3shGm7hdT8CwqDc05v%2FZoom-AI-Service-Models---v1_1.png?alt=media&amp;token=f9794e05-fe6a-4077-8f32-a1ce53499227" alt=""><figcaption><p>Zoom AI 方法概览，包括联邦式、ZM+ 和 ZMO</p></figcaption></figure></div>

上图展示了 Zoom 的三种 AI 方法：联邦式方法、Zoom 托管模型增强版（ZM+）以及仅 Zoom 托管模型（ZMO）。这三种方式共同构成了 Zoom 向客户提供 AI 服务的三种主要途径，每一种都在功能广度、模型灵活性和数据控制之间提供了不同的平衡。

联邦式方法是 Zoom 的标准且功能最完整的方法。它允许 Zoom 与多个 AI 提供商协作，包括 Zoom 托管模型和选定的第三方模型合作伙伴，以便将任务路由到最适合请求的模型。ZM+ 通过使用由 Zoom 管理的专用模型实例，提供了更受控的部署模型；而 ZMO 仅将 AI 处理保留在 Zoom 托管模型内，提供最受限制且可控的模型路径，但功能集也更有限。

就本页而言，以下图示通常展示的是联邦式方法，因为它反映了 Zoom 的标准方法以及 Zoom AI 功能的最广视角。使用 ZM+ 或 ZMO 的组织通常可以通过在 ذهن中去掉第三方 AI 模型提供商，并聚焦于流程中剩余的 Zoom 管理部分，来理解这些相同的图示。

有关更多信息，请参阅 Zoom AI 模型、处理、存储和使用页面。

## 实时媒体功能与产物

<div data-with-frame="true"><figure><img src="https://2325962437-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FctBXUMeBy4rtLMmMkKRG%2Fuploads%2F1qx2z9BKVCrRDN6aI2wG%2FLive-Media-Features-and-Artifacts-v3_1.png?alt=media&amp;token=3a25dc7c-2a97-4aa2-8fb8-671a24956d3e" alt=""><figcaption><p>实时媒体如何转换为支持 Zoom AI 功能的语音转文字数据概览</p></figcaption></figure></div>

上图展示了实时媒体互动（例如会议和电话呼叫）如何在 Zoom 平台上产生后续的 AI 驱动功能和产物。在每种情况下，实时音频都会通过与相应产品或服务关联的接入点进入 Zoom。对于会议，这通常是 **多媒体路由器 (MMR)**。对于电话通讯，音频通常通过 **SIP 区域**.

接收音频后，系统会将其路由至 Zoom 的 **自动语音识别 (ASR)** 服务，该服务会将实时音频转换为 **语音转文本数据**。根据启用的设置和功能，这些语音转文本数据可用于多种用途。在某些情况下，系统会立即将其作为 **实时字幕**提供给用户。在支持的场景中，系统还可能将其传递给 Zoom 的 **实时翻译** 服务，将语音转文本输出翻译成其他语言的字幕，供参会者查看。

语音转文本数据还可支持更持久或衍生的功能。如果启用了 **转写** ，或者用户正在使用 **我的笔记**，ASR 服务可以在实时会议结束后生成转写文字。不过，如果未启用转写文字保留功能，互动过程中使用的语音转文本数据就不会作为持久化转写文字予以保留。即使在这种情况下，Zoom AI 仍可能在会议期间临时使用语音转文本数据，以支持实时 AI 功能。

例如，用户可能会在会议期间通过 Zoom AI 提出 **会议内问题** 。此时，Zoom AI 可以利用会议中的实时语音转文本数据来理解用户的问题，并根据正在进行的对话生成相关回答。

这一流程中的一个重要区别是，仅仅因为会议期间使用了语音转文本数据，并不意味着 Zoom AI 就一定会保留对话的转写文字。除非专门启用了转写文字保留功能，或数据通过 **我的笔记**等功能予以保留，否则语音转文本数据本身可能只是临时存在。与此同时，根据这些数据生成的某些后续产物可能会被保留。例如，用户在会议期间提出问题后，生成的 AI 对话或相关笔记之后可能会作为保留的产物继续提供，即使没有生成持久化的转写文字也是如此。

某些保留的产物还可以成为生成更多后续产物和工作流的基础。会议摘要、网络研讨会摘要、呼叫摘要或用户的我的笔记，都可以转换为 **Zoom Canvas** 文档，之后可继续编辑、扩展并用作工作材料。随后，这些文档还可作为本文其他部分所述的其他 AI 功能或工作流的上下文。如此一来，实时音频不仅能带来即时的 AI 功能，还能形成一系列持续保留的产物，支持用户在 Zoom 平台上开展后续的 AI 辅助工作。

此图适用于以下功能：

|     功能    |              说明             |     产品     | 产物保留 |
| :-------: | :-------------------------: | :--------: | :--: |
|    实时字幕   |      适用于实时会议的实时语音转文字字幕。     |  会议、网络研讨会  |  不保留 |
|    翻译字幕   |     由实时语音转文字数据生成的实时翻译字幕。    |  会议、网络研讨会  |  不保留 |
|    转写文字   |      保留的会议语音转文字内容文本记录。      |    会议、电话   |  保留的 |
|    会议摘要   |    AI生成的会议讨论要点、决策和行动项摘要。    |     会议     |  保留的 |
|  网络研讨会摘要  |   会议后分享的网络研讨会关键内容的AI生成摘要。   |    网络研讨会   |  保留的 |
|    呼叫摘要   |     呼叫后关键细节和行动项的AI生成摘要。     |     电话     |  保留的 |
|    我的笔记   | 为后续参考和跟进保留的个人笔记、转写文字和会议上下文。 |     会议     |  保留的 |
|    后续任务   |      基于会话详情的 AI 建议后续操作。     | Zoom Tasks |  保留的 |
| 语音信箱优先级排序 | 基于 AI 按用户定义的重要性对语音信箱留言进行排序。 |     电话     |  保留的 |
|    会议问题   |     利用实时会议上下文回答会议问题的 AI。    |     会议     |  保留的 |
|  网络研讨会问题  |  利用实时网络研讨会上下文回答网络研讨会问题的 AI。 |    网络研讨会   |  保留的 |
|    呼叫问题   |     利用实时呼叫上下文回答呼叫问题的 AI。    |     电话     |  保留的 |

## 录制功能

<div data-with-frame="true"><figure><img src="https://2325962437-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FctBXUMeBy4rtLMmMkKRG%2Fuploads%2FQk8rEkziflIo1LRszVES%2FAI-Recording-Features-v1_1.png?alt=media&amp;token=95a406db-cf3c-4172-b92c-8c71f4e41c88" alt=""><figcaption><p>Zoom 如何处理录制内容和 AI 功能概述</p></figcaption></figure></div>

上图展示了 Zoom AI 如何支持 **基于录制内容的 AI 功能** ：在实时会议结束后，对已完成的录制内容进行处理。与 Zoom 的其他音频类体验一样，原始媒体通过所用产品相关的基础设施进入系统，例如会议使用的 **MMR** ，或电话通讯使用的相应 **SIP 区域** 。在这一流程中，系统会生成录制内容并将其发送至 Zoom 的录制服务，随后将完成的录制内容存储在 Zoom 内容存储中。

录制内容完成后，与之关联的音频会发送至 Zoom 的 **自动语音识别 (ASR)** 服务进行转写。此过程会生成一份 **录制内容专属的转写文字**，它可能与实时会议期间生成的语音转文本数据不同。换言之，与已完成录制内容关联的转写文字是在录制后的处理流程中生成的，并非简单地从实时互动层复制而来。

生成录制内容的转写文字后，系统可以将其提交给 **Zoom AI** 进行进一步分析。在这一阶段，Zoom AI 会处理转写文字，以识别更高层次的录制内容产物，例如摘要、重点内容、章节，以及对话的其他结构化呈现形式。此分析通过 Zoom 的 AI 处理层完成，并在适用时使用 Zoom 托管模型，将原始录制转写文字转化为更实用的会后或通话后输出。

当该分析完成后，生成的 AI 产物会与录制本身关联。这使查看录制的用户不仅能看到录制和转写文字，还能看到额外的 AI 生成层，从而更容易浏览和理解内容。这样，该图展示了一个已完成的录制如何成为第二阶段 AI 处理的基础，并生成超越原始存储媒体的增强型录制功能。

此图适用于以下功能：

|       功能       |                        说明                        |      产品     | 产物保留 |
| :------------: | :----------------------------------------------: | :---------: | :--: |
|      智能录制      |             为录制的会议生成 AI 生成的精彩片段、章节和摘要            |      会议     |  保留的 |
|   生成标题、描述和标签   |               为剪辑生成 AI 生成的标题、描述和标签。              |      剪辑     |  保留的 |
| 录制和视频的 AI 内容创作 | 使用 事件 & 活动 &直播 录制转写文字，从关键会议时刻生成书面内容和 AI 筛选的视频片段。 | Zoom Events |  保留的 |

## 衍生 AI 功能

<div data-with-frame="true"><figure><img src="https://2325962437-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FctBXUMeBy4rtLMmMkKRG%2Fuploads%2FmRE1NMTpfCGXF0TbyAzt%2FAI-Derivative-Content-Generation-v3_1.png?alt=media&amp;token=389a8562-e8cc-4a2e-8871-7d8fafac9bdc" alt=""><figcaption><p>Zoom 如何处理衍生 AI 内容生成功能概述</p></figcaption></figure></div>

上图展示了如何 **衍生型 AI 功能** 通过将现有用户内容用作上下文，来执行后续由 AI 辅助的任务并生成相应结果。在这些情况下，Zoom AI 不再只处理实时交互数据，而是会利用用户更广泛内容环境中已有的资料来回答问题、综合信息或协助生成新内容。

根据任务不同，此上下文材料可能包括诸如 聊天消息、会议摘要、我的笔记、文字记录、Zoom Canvas 文档、Zoom 幻灯片放映（Slide decks）、Zoom Paper 文档、Zoom Mail 或 Zoom Calendar 内容，以及已连接的第三方 电子邮件或日历数据，或为支持特定请求而由用户上传的文件。通过这种方式，Zoom AI 会在可用的情况下，使用先前创建的 Zoom 资料（artifacts），并结合集成的个人级数据，来帮助实现用户所请求的最终目标。

该图还反映出，这一过程本身也可以生成 **新的用户内容**。例如，Zoom AI 可以利用现有材料创建新的 Zoom Sheet、Zoom Canvas 文档、Zoom Slide 演示文稿或 Zoom Paper 文档。创建后，这些新资料便会成为用户更广泛内容存储库的一部分，之后也可能再次作为上下文，用于未来由 AI 辅助的功能和工作流。这形成了层层递进的过程：早期的用户内容可以支持后续输出，而这些输出也能随着时间推移，成为新的上下文资料。

同样的模式也可能出现在 Zoom 的其他界面中。例如，在 **Zoom 中心** 或 **AI 聊天面板**等环境中，用户可以在整个平台范围内提问，也可以与 Zoom AI 效率套件提供的文档和材料交互。在这些情况下，Zoom AI 同样会利用用户已有权访问的资料来检索信息、综合内容、回答问题或协助后续操作。这表明，衍生型 AI 功能如何将既有内容的价值延伸至新的任务和成果。

{% hint style="info" %}
**注意**

可禁用 [本地用户文件上传功能](https://support.zoom.com/hc/en/article?id=zm_kb\&sysparm_article=KB0077150).
{% endhint %}

此图适用于以下功能：

|      功能      |                        说明                       |             产品             | 产物保留 |
| :----------: | :---------------------------------------------: | :------------------------: | :--: |
|     内容生成     | 内容生成使用 AI，根据自然语言提示创建、优化、总结并整理文档、演示文稿、电子表格和其他输出。 | Canvas、Sheets、Paper、Slides |  保留的 |
| AI 聊天讨论小组/面板 |      用于提问、生成内容以及在可用的 Zoom 上下文中工作的对话式 AI 辅助。     |        AI 聊天讨论小组/面板        |  保留的 |
|      提问      |           基于 Zoom中心中所选文档和材料的 AI 生成答案。           |             中心             |  保留的 |

## 生成式和合成特性

<div data-with-frame="true"><figure><img src="https://2325962437-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FctBXUMeBy4rtLMmMkKRG%2Fuploads%2FtxyUNKDKQeruF5FlzS2j%2FGenerative-Text-Composition-and-Image-Creation-v2.png?alt=media&amp;token=dc5cdb13-d88d-4f31-8b6d-e629bf5a7e20" alt=""><figcaption><p>Zoom 如何处理生成式和组合式 AI 请求概述</p></figcaption></figure></div>

上图说明了 **生成与创作功能** 如何在 Zoom AI 平台中运行。与依赖既有用户内容来协助完成后续任务或生成结果的衍生型 AI 功能不同，生成与创作功能通常更直接地由用户当前输入驱动。在许多情况下，这些功能并不依赖存储在用户内容环境其他位置的 Zoom 资料，而主要由用户直接输入的提示词、查询、上传的文件，或当前产品体验中屏幕上显示的内容驱动。

这种区别对于那些基于用户当前上下文中可见内容而工作的功能来说尤为重要，而不是基于先前已索引或保留的工件。例如，当用户总结一个聊天线程、总结一封电子邮件，或者要求 Zoom AI 为一封电子邮件起草回复时，相关内容通常取自有效客户端上下文，并打包成请求负载以供 Zoom AI 处理。换句话说，Zoom 并不一定是从单独的服务器端存储库中检索该内容来完成任务。相反，来自有效线程、消息集或其他可见界面上下文的相关信息会转换为文本形式，并从 Zoom Workplace 应用提交给 Zoom AI，以便该服务执行自然语言处理、摘要或生成。

该图表还包括依赖主要通过直接用户指令而非文本源材料的生成式使用场景。例如，当用户请求图像生成时，用户通过提示（prompt）描述所期望的输出，模型会基于该描述生成图像。在某些产品场景中，例如 Zoom Whiteboard，这种图像生成可能依赖第三方 AI 模型提供商。其他场景中，Zoom 可能使用其自有托管模型。例如，Zoom 的虚拟背景图像生成可以依赖一个由 Zoom 托管的模型，该模型使用嵌入（embeddings）和相关处理来生成视觉输出，生成的内容在返回给用户之前会经过审核控制（moderation controls）。

综合来看，该图表显示，生成和组合功能往往较少依赖保留的工件，而更多依赖即时用户意图、有效客户端上下文或上传的支持材料。通过这种方式，它们代表了 Zoom AI 运行的另一种主要模式：不仅检索并跨越先前内容进行推理，还直接基于用户当前请求及其周围上下文生成新的输出。

此图适用于以下功能：

|      功能     |                           说明                          |      产品     |    产物保留   |
| :---------: | :---------------------------------------------------: | :---------: | :-------: |
|     虚拟背景    |      使用 AI 根据用户提示创建自定义虚拟背景图像，供 Zoom Sessions 使用。      | 会议、活动、网络研讨会 | 保留（如果已保存） |
|     图像生成    |        使用 AI 将白板绘图或粗略的视觉素材转换为更精致、渲染过或风格化的视觉输出。        |      白板     | 保留（如果已保存） |
|     图像生成    | 使用 AI 为事件 & 活动 &直播创建品牌化图片和其他视觉素材，例如页眉、会议图片以及与展会相关的材料。 | 事件 & 活动 &直播 | 保留（如果已保存） |
|     内容生成    |    使用 AI 根据用户提示生成屏幕白板内容，例如文本、便签、表格、思维导图以及其他结构化视觉元素。   |      白板     | 保留（如果已保存） |
|     内容生成    |     使用 AI 生成书面事件 & 活动 &直播内容，例如描述、会议详情、演讲者简介和大堂公告。     | 事件 & 活动 &直播 | 保留（如果已保存） |
|   电子邮件撰写功能  |           使用 AI 起草和优化电子邮件内容，包括电子邮件正文、主题行和回复。          |     电子邮件    | 保留（如果已发送） |
|     聊天撰写    |             使用 AI 根据用户提示和现有对话上下文起草和修改聊天消息。            |      聊天     | 保留（如果已发送） |
|    电子邮件摘要   |               使用 AI 总结电子邮件或电子邮件线程的关键信息。               |     电子邮件    |    不保留    |
| 消息、主题串、文档摘要 |      使用 AI 总结聊天消息、对话主题串，以及受支持的附加文档或链接的 Canvas 内容。     |      聊天     |    不保留    |
|     智能上传    |      从上传的文件中提取事件 & 活动 &直播详细信息，以自动创建会议、演讲者和自定义问题。      | Zoom Events | 保留（如果已保存） |

## 我的笔记

### Zoom Meetings 中的我的笔记

<div data-with-frame="true"><figure><img src="https://2325962437-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FctBXUMeBy4rtLMmMkKRG%2Fuploads%2Fmg7c13pX47CwKqywys3d%2FMy-Notes-in-Zoom-Meetings-v4.png?alt=media&amp;token=77beb1fd-a082-47e5-a62b-281247b5cd65" alt=""><figcaption><p>Zoom Meetings 中“我的笔记”数据流概览。</p></figcaption></figure></div>

上图说明了“我的笔记”如何在 Zoom Meetings 中使用会议现有的音频路径进行转写。Zoom 会议期间启用“我的笔记”后，共享会议音频会被输入会议的多媒体路由器 (MMR) 会议会话。随后，Zoom 的自动语音识别 (ASR) 服务会处理这些音频并生成两份转写文字：一份实时转写文字会发送到用户的设备，供会议期间使用；另一份完整转写文字则会提交至 Zoom Web 后端。由于完整转写文字是作为完整会议会话处理，而非逐步流式传输，其内容可能与实时转写文字略有不同。完整转写文字会提交至 Zoom AI，并可结合用户的个人笔记进行丰富，以支持会后笔记生成；该版本会存储在 Zoom 后端，供用户日后使用和检索。

在此流程中，转写依据的是与该会议会话关联的 Zoom 会议音频。会议结束后，用户仍可访问生成的转写文字和笔记，具体取决于用户适用的保留设置；Zoom 不会保留用于转写的原始音频。

### Zoom Phone 中的“我的笔记”

<div data-with-frame="true"><figure><img src="https://2325962437-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FctBXUMeBy4rtLMmMkKRG%2Fuploads%2FtGtHVZxbovmtEl7Ewg8n%2FMy-Notes-in-Zoom-Phone-v2.png?alt=media&amp;token=5041c1de-0c27-4816-8076-9f133c5f33b6" alt=""><figcaption><p>Zoom Phone 中“我的笔记”数据流概览。</p></figcaption></figure></div>

上图说明了“我的笔记”如何在 Zoom Phone 呼叫中使用呼叫现有的音频路径进行转写。Zoom Phone 呼叫期间启用“我的笔记”后，双方参会者的混合音频会输入 Zoom Phone，随后由 Zoom 的自动语音识别 (ASR) 服务处理，并生成实时转写文字和完整转写文字。实时转写文字会发送到“我的笔记”用户的设备，供呼叫期间使用；完整转写文字则会提交至 Zoom Web 后端。与 Zoom Meetings 中的情况一样，完整转写文字可能与实时转写文字略有不同，也可以通过 Zoom AI 结合用户的个人笔记进行丰富，以支持会后笔记生成；该版本会存储在 Zoom 后端，供用户日后使用和检索。

在此流程中，转写依据的是与该呼叫关联的 Zoom Phone 音频。呼叫结束后，用户仍可访问生成的转写文字和笔记，具体取决于用户适用的保留设置。

### Zoom Meetings 外的我的笔记

<div data-with-frame="true"><figure><img src="https://2325962437-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FctBXUMeBy4rtLMmMkKRG%2Fuploads%2FpvARQa4iiO3d7G6BflDe%2FMy-Notes-in-Third-Party-Meetings-v8.png?alt=media&amp;token=c0f83b6c-a8e0-4c34-b29e-e2ea01ebee7e" alt=""><figcaption><p>Zoom 会议外我的笔记数据流概览</p></figcaption></figure></div>

上图说明了“我的笔记”如何在第三方会议和线下会议中通过用户本地设备的音频运行。如果在第三方会议或线下讨论期间启用，“我的笔记”可以通过操作系统级别的访问权限使用用户的麦克风，并在适用情况下使用系统音频，以捕获该设备上可用的本地音频。随后，Zoom 的自动语音识别 (ASR) 服务会处理这些音频并生成两份转写文字：一份实时转写文字会发送到用户的设备，供会议期间使用；另一份完整转写文字则会提交至 Zoom Web 后端。由于完整转写文字是作为完整会议会话处理，而非逐步流式传输，其内容可能与实时转写文字略有不同。完整转写文字会提交至 Zoom AI，并可结合用户的个人笔记进行丰富，以支持会后笔记生成；该版本会存储在 Zoom 后端，供用户日后使用和检索。

这意味着，在第三方会议和线下会议中，转写依据的是从用户本地设备传输的音频，而不是 Zoom 会议的共享音频流。操作系统检测到设备麦克风活动时，“我的笔记”还可能提示用户开始记新笔记，以便在第三方会议、基于浏览器的录制或其他麦克风处于活动状态的工作流程中启用此功能。用户仍可访问生成的笔记和转写文字，具体取决于其适用的保留设置。

## ZoomMate

<div data-with-frame="true"><figure><img src="https://2325962437-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FctBXUMeBy4rtLMmMkKRG%2Fuploads%2FvysqwhYkSz3T5mnjci1c%2FZoomMate-Architecture-minus-Memory-v2.png?alt=media&amp;token=ae9e2f47-4349-426f-bb85-8e92152da77b" alt=""><figcaption><p>ZoomMate 数据流概览</p></figcaption></figure></div>

上图说明了 **ZoomMate 如何在 Zoom Workplace 中充当主要工作界面**，并处于用户上下文、关联知识和执行能力交汇之处。ZoomMate 并非只是一个独立的助手，而是位于更广泛的工作环境中心，用户可以在支持日常工作的材料和系统中进行搜索、推理、创作和操作。

ZoomMate 的这一角色很大程度上源于其对 **Zoom 自有内容**的访问权限。这些内容可以包括摘要、“我的笔记”、录制内容、Canvas 文档、聊天消息，以及在 Zoom 平台各处创建的其他用户生成材料。这些资料为 ZoomMate 提供必要的上下文，以便回答问题、综合信息、生成输出并协助后续操作。ZoomMate 还可以利用 **记忆**，在协助完成任务时纳入相关的用户偏好或工作详情。

该图还展示了 ZoomMate 如何通过集成 **第三方知识来源**，将能力扩展至 Zoom 原生内容之外。例如，Google Drive 或 OneDrive 等关联云存储服务可以充当用户可访问信息的外部存储库。集成这些来源后，Zoom 可以为获准访问的内容建立索引，以便检索这些材料，让 ZoomMate 能够利用 **智能体搜索** 同时处理 Zoom 内容和关联的第三方知识。这样，ZoomMate 不仅可以搜索 Zoom 中已有的内容，还能搜索用户获准在关联外部平台上访问的文档和材料。

其他个人数据来源，例如 **电子邮件和日历** （端到端加密的电子邮件除外），也可以为 ZoomMate 提供支持，但其运作方式有所不同。这些来源通常不会被建立索引，而是通过基于 API 的直接检索与 ZoomMate 交互。因此，它们适用于查找相关电子邮件上下文、查看日历信息或协助安排活动等任务，但不会被视为用于广泛文档搜索的索引检索层的一部分。

该图还显示，ZoomMate 可以连接更多 **第三方服务和连接器** ，以支持知识访问和执行操作。这些系统可能包括 Jira、HubSpot、ServiceNow、Workday 及其他关联的商业平台。通过这些连接，ZoomMate 可以代表用户执行 **智能体任务** ，例如创建或更新记录、从外部服务检索信息，或在这些系统中执行其他关联操作。因此，ZoomMate 不仅是一个检索和综合信息的界面，也是一层执行层，可帮助将上下文转化为行动。

同一基础也为 ZoomMate 环境中的 **智能体** 和 **工作流** 提供支持。智能体可以利用相同的底层上下文、检索路径和关联系统，提供更动态、基于推理的协助，帮助用户以更连贯、更灵活的方式完成更广泛的多步骤任务。相比之下，工作流可以提供更具结构性且可重复的自动化，让用户定义可在 Zoom 内容以及受支持的关联外部系统中运行的定期流程。由此，ZoomMate 不仅是一个对话界面，也是协调动态智能体活动和结构化自动化的枢纽。

**沙盒** 还可以支持 ZoomMate 的一些更高级执行能力。对于需要执行代码、生成文件、自动化或其他更复杂处理的任务，ZoomMate 可以使用独立的沙盒环境，而不只是依赖标准对话处理。该沙盒运行在 Zoom 的 AWS 基础设施上，提供短时、隔离的执行层，用于处理复杂度更高的任务，帮助 ZoomMate 在更可控的环境中执行某些操作。这样，支持检索、推理、智能体和工作流的同一套 ZoomMate 基础架构，也能在任务需要时支持更高级的任务执行。

最后，该图并未描绘支撑 ZoomMate 的每一个底层组件。它没有明确展示诸如技能之类的基础能力层，也没有展示作为 Zoom AI 更广泛基础设施和设计一部分的其他支持结构。这些元素被认为是在支撑 ZoomMate 行为的底层 AI 系统中运行。此图的目的在于展示 ZoomMate 作为一个统一工作界面时所依赖的主要上下文、知识和行动表面，并在 Zoom 及已连接系统之间发挥作用。

### ZoomMate 第三方连接和索引

<figure><img src="https://2325962437-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FctBXUMeBy4rtLMmMkKRG%2Fuploads%2F16AaKIHy9GVIq6srhS4p%2FZoomMate-Third-Party-Connections-v1_1.png?alt=media&amp;token=122bae52-9f9e-49b3-a941-fb4250e600d8" alt="" width="375"><figcaption><p>ZoomMate 连接第三方服务和数据源概览</p></figcaption></figure>

上方图示说明了 ZoomMate 第三方数据架构中两个相关但不同的部分。第一部分是 ZoomMate 如何连接受支持的第三方应用程序和服务，以便从这些系统中检索信息或执行操作。第二部分是某些受支持的第三方内容源如何被摄取并建立索引，以便 ZoomMate 之后可以通过检索增强生成更高效地检索这些内容。

#### <mark style="color:蓝色;">ZoomMate 可以直接连接到第三方应用程序和服务</mark>

图中的一部分显示了 ZoomMate 如何连接到受支持的第三方应用程序，如 Jira、Confluence、Salesforce、ServiceNow、Workday、云存储平台以及其他外部业务系统。这些连接使 ZoomMate 能够通过与存储业务数据或支持运营工作、超越 Zoom 平台之外的工具交互。

这些连接通过经授权的访问模型在 TLS 连接上建立，例如基于 API 的集成或基于 MCP 的连接。无论哪种情况，ZoomMate 都在所连接服务授予的权限范围内运行。这使 ZoomMate 能够从这些系统中检索相关信息，并在受支持时代表用户在其中采取操作。例如，ZoomMate 可能从 Jira 问题中检索详细信息、搜索 Confluence 页面、更新 ServiceNow 中的记录，或使用其他已连接系统作为执行更广泛任务的一部分。

这种直接连接模型对于依赖当前系统状态或对第三方工具实时访问的任务尤为重要。在这些情况下，ZoomMate 可以将已连接应用程序用作活动服务端点，而不仅仅是将其作为先前已编入索引内容的存储库。

#### <mark style="color:蓝色;">ZoomMate 可以将已批准的第三方内容建立索引，以便后续检索</mark>

图中的第二部分显示了 ZoomMate 如何摄取并建立受支持的第三方来源内容索引，以便这些材料之后可作为搜索或 AI 辅助响应的一部分被检索。这种已索引检索模型与连接的内容存储库最相关，例如云存储系统、知识库、文档平台以及其他受支持的来源，在这些来源中，ZoomMate 可能需要跨更大范围的保留外部内容进行搜索。

一旦某个受支持的来源已连接并获批准用于索引，ZoomMate 就可以从该来源检索内容并为后续搜索做好准备。此准备过程可能包括将较大的文件或记录拆分为更小的单元，并附加来源、更新时间、所有权和权限信息等元数据。随后，这些内容会写入 Zoom 的索引层，以便日后既可通过精确匹配，也可通过基于语义的检索进行搜索。

当用户提交一个依赖已索引第三方内容的请求时，ZoomMate 可以搜索这些已索引材料，评估哪些结果最相关，并应用与原始来源关联的权限信息，以确保只有获得授权的内容才有资格显示。然后，最相关的已授权内容可以作为支持性上下文传递到 ZoomMate 的 AI 层，用于生成响应。通过这种方式，图示表明已索引的第三方内容如何帮助 ZoomMate 基于真实的已连接业务材料生成答案，而不是仅仅依赖通用模型知识。

## 自定义虚拟形象

### 头像创建

<div data-with-frame="true"><figure><img src="https://2325962437-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FctBXUMeBy4rtLMmMkKRG%2Fuploads%2FAThLjvKEc1JVanLMyuf8%2Fimage.png?alt=media&amp;token=d62f86b5-43ea-4305-9343-a810938a01cd" alt=""><figcaption><p>自定义头像创建流程概览</p></figcaption></figure></div>

上方图示说明了如何根据用户录制的视频和语音创建自定义头像。流程从向用户展示脚本并提示其录制朗读该脚本开始。这一步引导式录制使 Zoom 能够捕获生成用户头像外观以及后续基于头像输出所使用的相关语音模型所需的视听素材。

用户完成录制后，音频和视频组件会沿不同路径进行处理。音频会发送到一个第三方服务，该服务根据用户录制的语音生成语音相似度模型。处理完成后，第三方服务会向 Zoom 返回一个唯一的语音标识符。Zoom 将此标识符存储为用户的语音引用，以便日后在生成基于头像的剪辑或其他依赖该合成语音的受支持输出时使用。

与此同时，视频组件会发送到 Zoom 托管的头像生成模块，在那里 Zoom 处理录制的视觉素材以创建用户的头像表示。这样会生成一个头像模板，Zoom 会将其存储以备将来使用。综合来看，这两个保留的输出——存储的语音标识符和存储的头像模板——使 Zoom 能够生成未来的剪辑或基于头像的媒体，既体现用户的外观，也体现其合成语音。

### 剪辑创建

<div data-with-frame="true"><figure><img src="https://2325962437-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FctBXUMeBy4rtLMmMkKRG%2Fuploads%2Fj2o9NYXibPtVTyctuHvq%2Fimage14.png?alt=media&amp;token=33174f0b-8f48-4de0-93a1-ee63ad8eac11" alt=""><figcaption><p>自定义头像剪辑创建流程概览</p></figcaption></figure></div>

上方图示说明了如何根据用户存储的头像和合成语音配置文件创建自定义头像剪辑。流程从用户上传希望头像呈现的脚本开始。该脚本作为生成剪辑的源内容。\
\
随后，Zoom 的 Web 后端协调生成最终输出所需的两个并行输入。首先，它将用户存储的语音标识符与脚本一起发送给第三方语音生成服务，后者使用用户的合成语音生成该剪辑的音频。其次，它将用户存储的头像模板发送到 Zoom 的头像生成模块，以便使用用户先前创建的头像外观准备该剪辑的视觉部分。\
\
一旦第三方语音生成服务生成了音频，该音频就会返回到 Zoom，并传入头像生成模块。然后，头像生成模块将存储的头像模板与生成的语音音频结合起来，使头像的面部和口型动作与口语内容同步。在完成这种口型同步和渲染过程后，Zoom 会生成完成的头像剪辑并将其交付给用户。

## 自定义词典

<div data-with-frame="true"><figure><img src="https://2325962437-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FctBXUMeBy4rtLMmMkKRG%2Fuploads%2F4wdZuiAXND1LIsoho6Q8%2F818655_mV1OiRYaRC2-cqN80It6Bw_CAIC-Custom-Dictionary-v5.png?alt=media&amp;token=0eb0a608-e461-49c0-9248-80b0789c9304" alt=""><figcaption><p>自定义词典数据流</p></figcaption></figure></div>

上方图示说明了自定义词典功能如何通过向 Zoom 的自动语音识别（ASR）服务提供额外的词汇上下文，来提高基于语音的 Zoom 输出的准确性。此功能旨在支持可能特定于公司、行业、团队或地区的词语、缩写、术语、产品名称或专业术语，而这些内容在转写过程中否则可能无法被正确识别或呈现。

流程始于账户管理员在 Zoom Web门户中创建并存储自定义词典。该词典包含组织希望 Zoom 更准确识别的已批准词语或短语。词典在账户级别保存后，即可用于受支持的会议和语音处理场景。

当用户之后开始会议时，Zoom 的 AASR 服务可以在其处理上下文中接收该账户的自定义词典。随着 ASR 服务将实时音频转换为语音转文字数据，它可以将识别到的口语与自定义词典进行比较，并尝试将识别到的声音映射到存储的术语。这为 ASR 提供了更多指导，说明应查找哪些词语、某些术语可能如何拼写，以及应如何解释缩写或专业语言。

结果是，最初的语音转文字输出能够更准确地反映会议中实际使用的术语。这种更高的准确性随后可以延续到从对话中生成的下游工件中。例如，如果之后生成会议摘要、字幕、转写文字，或其他基于语音转文字数据的资产，这些输出可以更准确地反映会议期间所说的词语，从而帮助提高最终 AI 生成工件的质量和实用性。

## 自定义会议摘要模板

<div data-with-frame="true"><figure><img src="https://2325962437-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FctBXUMeBy4rtLMmMkKRG%2Fuploads%2Figd7zj6YLNIds7iHCerA%2F786f73_aFTdIy-3TIKILtvQ0oxm2w_CAIC-Meeting-Summary-Templates-v5.png?alt=media&amp;token=0177d9ed-d411-450f-9bae-033ca1f7e928" alt=""><figcaption><p>自定义会议摘要模板数据流概览</p></figcaption></figure></div>

上方图示说明了自定义会议摘要如何根据用户定义或账户定义的模板生成。流程始于在 Zoom 中创建并保存模板。在账户级别，管理员可以为组织使用定义一个自定义会议摘要模板；在个人级别，用户可以根据自己的偏好创建个人会议摘要模板。创建后，所选模板会被存储，以便在后续生成摘要时应用。

会议结束时，Zoom AI 可以使用该会议的语音转文字数据生成一个符合所选自定义模板结构和重点的摘要。如果在生成会议摘要之前已选择自定义模板，则 Zoom AI 会在生成摘要时直接应用该模板。这样，最终输出就可以反映模板中定义的特定格式、章节或优先级，而不只是默认的摘要结构。

如果在首次生成摘要之前未选择自定义模板，那么只有在会议转写文字被保留的情况下，Zoom 才能稍后应用该模板。在这种情况下，Zoom AI 可以使用模板的配置重新处理保留的转写文字，并生成与该结构一致的新摘要。然而，如果转写文字未被保留，Zoom 就没有可供重新处理的底层转写文字，这意味着自定义模板无法在事后应用。

## 实时语音翻译

<div data-with-frame="true"><figure><img src="https://2325962437-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FctBXUMeBy4rtLMmMkKRG%2Fuploads%2FhEoS4i8vNntdOIimBl6g%2F7ca031_FbKGyC4eSZ-mHZ4Ibw-07A_Voice-Translator-Aug-25-update-v3.png?alt=media&amp;token=c5889183-1531-4d96-9455-bd00570140e9" alt=""><figcaption><p>实时语音翻译数据流概览</p></figcaption></figure></div>

上图展示了 **实时语音翻译** 如何通过会议的多媒体路由器（MMR）接收发言者的原始音频。随后，音频通过实时媒体流（RTMS）传送至翻译服务，由该服务处理原始语音并将其翻译成目标语言。接着，服务会生成新的翻译语音流，并通过 RTMS 将其传回 MMR，再送入会议，供正在使用所选语言收听的参会者听取。

## 个人音频隔离

<div data-with-frame="true"><figure><img src="https://2325962437-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FctBXUMeBy4rtLMmMkKRG%2Fuploads%2FiuobcSga2Z6kGJEqFwtO%2Fimage22.png?alt=media&amp;token=387af679-5d1c-4aa0-aa62-9085d334a40b" alt=""><figcaption><p>个人音频隔离如何隔离用户语音的概述</p></figcaption></figure></div>

上图展示了 **个人音频隔离** 如何使用存储在用户设备本地的语音印记，将用户的语音与周围的背景噪音区分开来。此流程始于用户通过 Zoom Workplace 应用中的“个人音频隔离”功能录制语音样本。该录音用于创建本地语音印记，帮助应用程序识别用户的语音特征。此语音印记保留在本地设备上，不会传输到 Zoom 云。

当用户随后在存在环境噪音的环境中于会议期间讲话时，Zoom Workplace 应用会使用本地存储的声纹来帮助识别用户的语音模式，并将其与周围声音分离。这使应用程序能够在音频通过会议流程继续传送之前，更有效地减少背景噪音并隔离用户的语音。

因此，传输到 Zoom 云的音频是经过优化的会议音频，其中的环境噪音会在功能/特性支持的范围内被滤除。用户的底层声纹本身不会发送到 Zoom 的云基础设施。通过这种方式，个人音频隔离作为一项本地设备级处理功能/特性运行，在清理后的音频传输到实时 Zoom 会议之前提升音频清晰度。


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://library.zoom.com/technical-library/zh/ai/ai-whitepaper/diagrams.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.
