> For the complete documentation index, see [llms.txt](https://library.zoom.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://library.zoom.com/technical-library/zh-tw/ai-whitepaper/diagrams.md). # 圖表與資料流程 Zoom 的 AI 功能涵蓋範圍極廣，遍及各種產品、服務與工作流程，這表示沒有任何單一圖表能合理地或完整地呈現 AI 如何在整個 Zoom 平台上運作。不同功能依賴不同的輸入、處理路徑、儲存行為、模型互動與輸出。有些功能只在互動進行中的即時、暫時性資料上運作，而其他功能則會建立可保留的工件，日後可支援額外功能。有些功能完全在 Zoom 的第一方環境內執行，而其他功能則仰賴 Zoom 的聯邦式 AI 架構，在某些情況下還會連結外部系統。為了讓這個動態且龐大的系統更容易理解，本頁以一系列圖表來呈現，而不是依賴單一視覺模型。每一個圖表都聚焦於更廣泛的 Zoom AI 平台中的不同層、路徑或功能模式。這些章節的底部附有表格，概述哪些功能適用、其所屬產品，以及其工件保留狀態。後續章節則會逐一檢視某些客製化產品功能，提供更聚焦的說明，解釋這些特定功能的運作方式。 下方的序列首先以 Zoom AI 最基本形式的簡化概覽開始，展示該平台處於以第一方為中心的狀態，使用 Zoom 的標準聯邦式模型架構，但尚未引入第三方商業整合或外部客戶資料來源，Zoom 的第三方 AI 模型提供者除外。接著，這些圖表逐步引入平台中更專門的部分，包括 Zoom 的 AI 方法選項、將即時音訊轉換為可供 AI 使用的工件，以及這些工件日後如何支援其他功能與工作流程。綜合來看，這些圖表旨在透過拆解成更小、更容易追蹤的視角，讓高度複雜的系統更容易理解，並反映 Zoom AI 平台各部分在實務中的運作方式。 ## **Zoom AI**

Zoom AI 的簡要概覽

上方圖表以簡化形式呈現 Zoom 的 AI 平台，展示平台處於其最基礎狀態之一。它說明了 Zoom 更廣泛的產品與服務架構中名為 Zoom Web backend 的不同部分——包括 Meetings、Phone、Contact Center、自動語音辨識以及其他 Zoom 產品——如何匯入更大的 Zoom 平台，並貢獻可支援下游 AI 功能的使用者可存取內容。 此圖表中的一個核心概念是 **Zoom 使用者內容**。這是指透過使用者與 Zoom 產品及服務互動所產生的內容，之後可作為 AI 驅動體驗的輸入、上下文或工件。依據所涉及的產品與功能不同，這可能包含 Zoom Chat 訊息、會議摘要、逐字稿、Canvas 文件、My Notes、錄音以及其他類似的使用者可見工件。這些材料構成重要的上下文層，可支援後續的 AI 輔助擷取、推理、摘要與後續處理。 部分內容也可能會透過擷取基礎架構，例如索引式擷取或檢索增強生成模組，來為未來的 AI 使用做準備。在這些情況下，相關工件可以被匯入並建立索引，以便之後在 AI 查詢或流程中更有效率地定位與使用。這有助於 Zoom AI 不僅能處理即時互動，也能跨整個平台運用保留的上下文與先前使用者產生的材料。 最後，這張圖表也介紹了 **Zoom AI** 本身作為橫跨此更廣泛生態系統的共享 AI 層。在這個簡化視角中，Zoom AI 透過 Zoom 的標準聯邦式方法呈現，其中 Zoom 可在適當任務下使用兩類模型：在 Zoom 自有基礎架構內執行的 Zoom 主持模型，以及特定第三方 AI 模型提供者。這種聯邦式模型讓 Zoom 能夠依據最適合的可用模型環境路由 AI 任務，同時在整個平台維持一致的 AI 體驗。 ## Zoom AI 服務模型方法

Zoom AI 方法概覽，包括 Federated、ZM+ 與 ZMO

上方圖表說明 Zoom 的三種 AI 方法：Federated Approach、Zoom-Hosted Models Plus（ZM+）與 Zoom-Hosted Models Only（ZMO）。這三者共同代表 Zoom 為客戶提供 AI 服務的三種主要方式，各自提供不同程度的功能廣度、模型彈性與資料控管。 Federated Approach 是 Zoom 的標準且功能最完整的方法。它讓 Zoom 能與多個 AI 提供者合作，包括 Zoom 主持模型與特定第三方模型合作夥伴，因此任務可以路由到最適合該請求的模型。ZM+ 透過使用 Zoom 管理的專用模型執行個體，提供更受控的部署模式；而 ZMO 則將 AI 處理僅限於 Zoom 主持模型，提供最受限制且最受控的模型路徑，但功能集也較為有限。 就本頁而言，後續圖表一般會呈現聯邦式方法，因為它反映了 Zoom 的標準做法，以及 Zoom AI 功能的最廣泛視角。使用 ZM+ 或 ZMO 的組織，通常可以透過在 ذهن中移除第三方 AI 模型提供者，並聚焦於流程中剩餘的 Zoom 管理部分，來解讀這些相同的圖表。 如需更多資訊，請參閱 Zoom AI Models、Processing、Storage 與 Usage 頁面。 ## 即時媒體功能與工件

即時媒體如何轉換為可驅動 Zoom AI 功能的語音轉文字資料概覽

上方圖表說明即時媒體互動——例如會議與電話通話——如何在 Zoom 平台上產生下游 AI 驅動的功能與工件。在每種情況下，即時音訊都會透過與該產品或服務相關的連接點進入 Zoom。對於會議而言，這通常是 **Multimedia Router（MMR）**。對於電話，音訊通常會透過 **SIP 區域**. 一旦音訊被匯入，就會路由至 Zoom 的 **自動語音辨識（ASR）** 服務，將即時音訊轉換為 **語音轉文字資料**。該語音轉文字資料可依啟用的設定與功能，以多種方式使用。在某些情況下，它會立即以 **即時字幕**的形式傳送給使用者。在受支援的情境中，它也可能會傳遞到 Zoom 的 **即時翻譯** 服務，將語音轉文字輸出翻譯為其他語言參與者的翻譯字幕。 語音轉文字資料也可支援更持久或衍生的功能。如果已啟用 **轉錄** ，或使用者正在使用 **My Notes**，ASR 服務便可在即時工作階段結束後產生逐字稿。不過，如果未啟用逐字稿保留，互動期間所使用的語音轉文字資料就不會被保留為持久逐字稿。即使在這些情況下，Zoom AI 仍可能在工作階段期間暫時性地使用語音轉文字資料，以支援即時 AI 功能。 例如，使用者可能會在會議中透過 Zoom AI 提出 **會議內問題** 。在這種情況下，Zoom AI 可以使用會議中的即時語音轉文字資料來理解使用者的問題，並生成與進行中的對話情境相關的答案。 此流程中的一個關鍵區別在於，即使在工作階段中使用了語音轉文字資料，Zoom AI 也不一定會保留對話逐字稿。除非特別啟用逐字稿保留，或資料是透過例如 **My Notes**之類的功能被保留，否則語音轉文字資料本身可能仍維持暫時性。同時，部分由這些資料產生的下游工件可能會被保留。例如，如果使用者在會議期間提出問題，產生的 AI 對話或相關筆記，即使未產生持久逐字稿，日後仍可能作為保留工件可供存取。 某些保留的工件也可以成為額外下游工件與工作流程的基礎。會議摘要、網路研討會摘要、通話摘要或使用者的 My Notes，都可能被轉換為 **Zoom Canvas** 文件，之後可持續編輯、擴充並作為工作工件使用。反過來說，這些產生的文件日後也可能作為本文件其他地方討論的其他 AI 功能或工作流程的上下文。如此一來，即時音訊不僅可導向立即的 AI 功能，也可形成一連串保留工件，持續支援 Zoom 平台上的後續 AI 輔助工作。 此圖表適用於以下功能： | 功能 | 說明 | 產品 | 工件保留 | | :------: | :---------------------------: | :---------------: | :--: | | 即時字幕 | 即時工作階段的即時語音轉文字字幕。 | Meetings、Webinars | 未保留 | | 翻譯字幕 | 根據即時語音轉文字資料產生的即時翻譯字幕。 | Meetings、Webinars | 未保留 | | 逐字稿 | 會議語音轉文字內容的保留文字紀錄。 | Meetings、Phone | 已保留 | | 會議摘要 | AI 生成的會議重點、決策與待辦事項摘要。 | 會議 | 已保留 | | 網路研討會摘要 | 會後 AI 生成的網路研討會重點摘要。 | Webinars | 已保留 | | 通話摘要 | AI 生成的通話後摘要，概述重點細節與待辦事項。 | 電話 | 已保留 | | My Notes | 可保留供日後參考與追蹤的個人筆記、逐字稿與會議上下文。 | 會議 | 已保留 | | 後續任務 | 根據對話細節所建議的 AI 後續行動。 | Zoom 任務 | 已保留 | | 語音信箱優先排序 | 依使用者定義的重要性對語音信箱進行 AI 排序。 | 電話 | 已保留 | | 會議問題 | 使用即時會議上下文回答會議問題的 AI 回答。 | 會議 | 已保留 | | 網路研討會問題 | 使用即時網路研討會上下文回答網路研討會問題的 AI 回答。 | Webinars | 已保留 | | 通話問題 | 使用即時通話上下文回答通話問題的 AI 回答。 | 電話 | 已保留 | ## 錄影功能

Zoom 如何處理錄影與 AI 功能的概覽

上方圖表說明 Zoom AI 如何在即時工作階段結束後，透過處理完成的錄影來支援 **以錄影為基礎的 AI 功能** 。與其他基於音訊的 Zoom 體驗相同，原始媒體會透過與所使用產品相關的基礎架構進入系統——例如 **MMR** 用於會議，或相關的 **SIP 區域** 用於電話。作為此流程的一部分，錄影會被建立並傳送至 Zoom 的錄影服務，之後完成的錄影會儲存在 Zoom 內容儲存中。 一旦錄影定稿，與該錄影相關的音訊就會傳送至 Zoom 的 **自動語音辨識（ASR）** 服務進行轉錄。此流程會產生 **錄影專屬逐字稿**，其可能與即時工作階段期間產生的語音轉文字資料不同。換句話說，與完成錄影相關的逐字稿，是作為後製錄影處理流程的一部分所產生，而不是單純從即時互動層複製而來。 在產生錄影逐字稿之後，它便可以提交至 **Zoom AI** 進行進一步分析。在這個階段，Zoom AI 會處理逐字稿，以辨識更高層次的錄影工件，例如摘要、重點、章節，以及對話的其他結構化呈現。此分析會使用 Zoom 的 AI 處理層執行，包括適用時的 Zoom 主持模型，將原始錄影逐字稿轉換為更易使用的會後或通話後輸出。 完成分析後，產生的 AI 工件會與錄影本身建立關聯。這使得檢視錄影的使用者不僅能看到錄影與逐字稿，也能看到讓內容更容易瀏覽與理解的額外 AI 生成層。如此一來，該圖表說明完成的錄影如何成為第二階段 AI 處理的基礎，產生超越原始儲存媒體的強化錄影功能。 此圖表適用於以下功能： | 功能 | 說明 | 產品 | 工件保留 | | :--------------: | :-------------------------------------: | :---------: | :--: | | 智慧錄影 | 已錄製會議的 AI 生成重點、章節與摘要 | 會議 | 已保留 | | 產生標題、說明與標籤 | 供剪輯使用的 AI 生成標題、說明與標籤。 | 剪輯 | 已保留 | | 錄製內容與影片的 AI 內容建立 | 使用活動錄影逐字稿來生成書面內容，以及來自關鍵會議時刻的 AI 精選影片片段。 | Zoom Events | 已保留 | ## 衍生 AI 功能

Zoom 如何處理衍生 AI 內容生成功能的概覽

上方圖表說明 **衍生 AI 功能** 如何透過使用可用的使用者內容作為後續 AI 輔助任務與輸出的上下文來運作。在這些情況下，Zoom AI 不再只依賴即時互動資料。相反地，它是運用使用者更廣泛內容環境中已存在的工件，來回答問題、綜整資訊或協助產生新結果。 依任務不同，這些上下文材料可能包含聊天訊息、會議摘要、My Notes、逐字稿、Zoom Canvas 文件、Zoom Slide 投影片、Zoom Paper 文件、Zoom Mail 或 Zoom Calendar 內容、已連結的第三方電子郵件或行事曆資料，或使用者上傳以支援特定請求的檔案。如此一來，Zoom AI 會使用先前建立的 Zoom 工件，以及可用的整合個人層級資料，來協助完成使用者要求的最終成果。 此圖表也反映此流程本身可以產生 **新的使用者內容**。例如，Zoom AI 可能會利用既有材料建立新的 Zoom Sheet、Zoom Canvas 文件、Zoom Slide 投影片或 Zoom Paper 文件。一旦建立，這些新工件就會成為使用者更廣泛內容儲存庫的一部分，並且日後可能再次作為未來 AI 輔助功能與工作流程的上下文。如此便形成一種分層式演進：較早的使用者內容可支援後續輸出，而這些輸出又可隨著時間成為新的上下文工件。 相同的模式也可出現在其他 Zoom 介面中。例如在 **Zoom Hub** 或 **AI Chat 面板**，使用者可以在整個平台中提出問題，或與透過 Zoom AI 生產力套件可用的文件與材料互動。在這些情況下，Zoom AI 同樣是根據既有的使用者可存取工件提供檢索、綜整、問答或後續處理，說明衍生 AI 功能如何將既有內容的價值延伸到新的任務與成果中。 {% hint style="info" %} **注意** 本機使用者檔案上傳 [可停用](https://support.zoom.com/hc/en/article?id=zm_kb\&sysparm_article=KB0077150). {% endhint %} 此圖表適用於以下功能： | 功能 | 說明 | 產品 | 工件保留 | | :--------: | :-----------------------------------------: | :------------------------: | :--: | | 內容生成 | 內容生成使用 AI 依自然語言提示建立、修飾、摘要與整理文件、簡報、試算表及其他輸出。 | Canvas、Sheets、Paper、Slides | 已保留 | | AI Chat 面板 | 用於提問、生成內容，以及跨可用 Zoom 上下文工作的對話式 AI 協助。 | AI Chat 面板 | 已保留 | | 提問 | 根據 Zoom Hub 中選取的文件與材料產生的 AI 答案。 | Hub | 已保留 | ## 生成與組合功能

Zoom 如何處理生成與組合 AI 請求的概覽

上方圖表說明 **生成與組合功能** 在 Zoom AI 平台內運作。與仰賴既有使用者內容來協助完成後續任務或輸出的衍生 AI 功能不同，生成與組合功能通常更直接地由使用者的即時輸入驅動。在許多情況下，這些功能不依賴已保留、儲存在使用者內容環境其他位置的 Zoom 工件。相反地，它們主要由直接的使用者提示、查詢、上傳的檔案，或與目前產品體驗相關的即時畫面內容所驅動。 這種區別對於從使用者目前上下文中可見的內容運作，而非從先前索引或保留的工件運作的功能，尤其重要。例如，當使用者摘要聊天串、摘要電子郵件，或請 Zoom AI 撰寫電子郵件回覆時，相關內容通常會從目前的客戶端上下文中擷取，並封裝成供 Zoom AI 處理的請求酬載。換句話說，Zoom 不一定是從另一個伺服器端儲存庫擷取該內容來完成任務。相反地，來自目前串流、訊息集合或其他可見介面上下文的相關資訊，會在 Zoom Workplace 應用程式中轉換為文字形式並提交給 Zoom AI，以便服務執行自然語言處理、摘要或生成。 該圖表也包含主要依賴直接使用者指示，而非文字來源材料的生成用例。例如，當使用者要求生成圖片時，使用者會透過提示描述所需輸出，而模型會根據該描述生成圖片。在某些產品情境中，例如 Zoom Whiteboard，這種圖片生成可能仰賴第三方 AI 模型提供者。在其他情境中，Zoom 可能會使用自己的主持模型。例如，Zoom 的虛擬背景圖片生成可仰賴一個 Zoom 主持模型，該模型使用嵌入與相關處理來生成視覺輸出，且產生的內容會先經過內容審核控制，再回傳給使用者。 綜合來看，該圖表顯示生成與組合功能通常較少依賴保留工件，而更多依賴使用者即時意圖、客戶端即時上下文或上傳的支援材料。如此一來，它們代表了 Zoom AI 運作的另一個主要模式：不僅從先前內容進行檢索與推理，也直接根據使用者目前的請求與周遭上下文生成新輸出。 此圖表適用於以下功能： | 功能 | 說明 | 產品 | 工件保留 | | :-------: | :------------------------------------------------: | :---------------------: | :-------: | | 虛擬背景 | 使用 AI 從使用者提示建立自訂虛擬背景圖片，以供 Zoom 工作階段使用。 | Meetings、Events、Webinar | 已保留（若已儲存） | | 圖片生成 | 使用 AI 將白板繪圖或粗略視覺工件轉換為更精緻、渲染或風格化的視覺輸出。 | 白板 | 已保留（若已儲存） | | 圖片生成 | 使用 AI 為活動建立品牌圖片與其他視覺素材，例如頁首、會議圖片與博覽會相關素材。 | 活動 | 已保留（若已儲存） | | 內容生成 | 使用 AI 根據使用者提示生成螢幕上的白板內容，例如文字、便利貼、表格、心智圖及其他結構化視覺元素。 | 白板 | 已保留（若已儲存） | | 內容生成 | 使用 AI 生成書面活動內容，例如說明、場次細節、講者簡介與大廳公告。 | 活動 | 已保留（若已儲存） | | 電子郵件撰寫 | 使用 AI 撰寫與修訂電子郵件內容，包括內文、主旨與回覆。 | 電子郵件 | 已保留（若已傳送） | | 聊天撰寫 | 根據使用者提示與可用對話上下文，使用 AI 撰寫與修訂聊天訊息。 | 聊天 | 已保留（若已傳送） | | 電子郵件摘要 | 使用 AI 摘要電子郵件或電子郵件串的重點內容。 | 電子郵件 | 未保留 | | 訊息、串、文件摘要 | 使用 AI 摘要聊天訊息、對話串，以及支援的附件文件或連結的 Canvas 內容。 | 聊天 | 未保留 | | 智慧上傳 | 從上傳的檔案中擷取活動詳細資訊，以自動建立場次、講者與自訂問題。 | Zoom Events | 已保留（若已儲存） | ## My Notes ### Zoom Meetings 中的 My Notes

Zoom Meetings 中 My Notes 資料流程概覽

上方圖表顯示，在 Zoom Meetings 內，My Notes 使用會議既有的音訊路徑，而不是依賴使用者裝置上的其他音訊。當 My Notes 在 Zoom Meeting 期間啟用時，它會存取透過會議的 Multi-Media Router（MMR）工作階段路由的共享會議音訊。接著該音訊會經由 Zoom 的自動語音辨識（ASR）服務處理，以生成逐字稿，該逐字稿會傳送到使用者裝置，並可在會後支援筆記生成。 在此流程中，轉錄是特別基於與該會議工作階段相關聯的 Zoom Meeting 音訊。它並不是基於會議本身之外、與會議無關的本機裝置音訊。會議結束後，產生的逐字稿與筆記可依使用者適用的保留設定持續可用，而用於轉錄的底層音訊在處理完成後則不會被保留。 ### Zoom Meetings 之外的 My Notes

Zoom Meetings 之外的 My Notes 資料流程概覽

上方圖表顯示，在 Zoom Meetings 之外，My Notes 是透過使用者本機裝置音訊運作，而不是透過共享的 Zoom 會議工作階段。若在第三方會議或實體討論中啟用，My Notes 可使用作業系統層級的存取權，存取使用者麥克風，以及在適用情況下，存取系統音訊，以擷取該裝置上可用的本機音訊。接著，該音訊會透過單一使用者的 MMR 工作階段路由，並由 Zoom 的自動語音辨識（ASR）服務處理以生成逐字稿，該逐字稿會傳送到使用者裝置，並可在會後支援筆記生成。 這表示在 Zoom Meetings 之外，轉錄是專門基於從使用者本機裝置傳送的音訊，而不是來自共享的 Zoom 會議音訊串流。當偵測到裝置麥克風活動時，My Notes 也可能會提示使用者開始一則新筆記，協助在第三方會議、瀏覽器式錄製或其他麥克風啟用工作流程等情境中顯示此功能。與會內流程相同，用於轉錄的音訊在轉錄完成後不會被保留，而產生的筆記與逐字稿則可依適用的保留設定儲存在使用者帳戶中。 ## ZoomMate

ZoomMate 資料流程概覽

上方圖表說明 **ZoomMate 作為 Zoom Workplace 內的主要工作介面**，在使用者情境、連結知識與執行能力匯聚之處運作。ZoomMate 不只是單獨存在的助理，而是處於更廣泛工作環境的核心，使用者可以在支援其日常工作的材料與系統中進行搜尋、推理、建立內容與採取行動。 這項角色的重要部分來自 ZoomMate 對 **第一方 Zoom 內容**的存取。這可以包含在 Zoom 平台上建立的摘要、My Notes、錄影、Canvas 文件、聊天訊息與其他使用者產生的材料等工件。這些工件可協助為 ZoomMate 提供回答問題、綜整資訊、生成輸出與支援後續處理所需的上下文。ZoomMate 也可以使用 **記憶**，讓它在協助完成任務時納入相關的使用者偏好或工作細節。 圖表也顯示，ZoomMate 透過整合 **第三方知識來源**，將其能力延伸至 Zoom 原生內容之外。例如，Google Drive 或 OneDrive 等已連結的雲端儲存服務可以作為可由使用者存取的外部資訊儲存庫。當這些來源整合後，Zoom 可以索引已核准的內容，以支援跨這些材料的擷取，讓 ZoomMate 能使用 **代理式搜尋** 同時跨越 Zoom 內容與已連結的第三方知識進行工作。如此一來，ZoomMate 不僅能搜尋 Zoom 內部存在的內容，也能搜尋使用者在已連結外部平台中有權存取的文件與材料。 其他個人資料來源，例如 **電子郵件與行事曆** （不含端對端加密電子郵件），也能支援 ZoomMate，但其運作方式不同。這些來源通常不會被索引，而是透過直接的 API 式擷取與 ZoomMate 溝通。這使它們適用於尋找相關電子郵件上下文、檢視行事曆資訊，或協助排程活動等任務，而不會將其視為用於更廣泛文件搜尋的索引擷取層的一部分。 圖表進一步反映 ZoomMate 也可以連接更廣泛的 **第三方服務與連接器** ，這些服務與連接器同時支援採取行動與存取知識。這些可能包括 Jira、HubSpot、ServiceNow、Workday 以及其他已連結的商業平台。透過這些連線，ZoomMate 可以執行 **代理式任務** ，例如代替使用者建立或更新記錄、從外部服務擷取資訊，或在這些系統中執行其他已連結的動作。這使 ZoomMate 不僅是一個檢索與綜整介面；它也作為執行層，協助把上下文轉化為行動。 同樣的基礎也能支援 **代理程式** 與 **工作流程** 在 ZoomMate 環境中。代理程式可以使用相同的底層上下文、擷取路徑與連結系統，提供更動態、以推理為基礎的協助，幫助使用者以更高的連續性與適應性完成更廣泛的多步驟任務。相較之下，工作流程可提供更結構化且可重複的自動化，讓使用者定義可跨 Zoom 內容並在支援情況下跨已連結外部系統運作的常規流程。如此一來，ZoomMate 不僅是對話式介面，也是動態代理式活動與更結構化自動化的編排點。 **Sandbox** 也能支援 ZoomMate 部分更進階的執行能力。對於需要程式碼執行、檔案生成、自動化或其他更複雜處理的任務，ZoomMate 可以使用獨立的沙箱環境，而不僅僅依賴標準對話處理。此沙箱運行於 Zoom 的 AWS 基礎架構上，並提供一個短暫存續、隔離的執行層，用於處理較高複雜度的任務，協助 ZoomMate 在更受控的環境中執行某些操作。如此一來，支援檢索、推理、代理程式與工作流程的更廣泛 ZoomMate 基礎，也能在所需時支援更進階的任務執行。 最後，這張圖表並未描繪所有支援 ZoomMate 的底層元件。它沒有明確顯示像 skills 之類的基礎能力層，或屬於 Zoom AI 更廣泛基礎架構與設計的一部分的其他支援結構。這些元素被視為在支援 ZoomMate 行為的底層 AI 系統中運作。這張圖表的目的則是顯示 ZoomMate 作為整合式工作介面，在 Zoom 與連結系統中所運作的主要上下文、知識與行動介面。 ### ZoomMate 第三方連線與索引

ZoomMate 如何連結第三方連線與資料來源的概覽

上方圖表說明 ZoomMate 第三方資料架構中兩個相關但不同的部分。第一部分是 ZoomMate 如何連接受支援的第三方應用程式與服務，以便在這些系統中擷取資訊或採取行動。第二部分是某些受支援的第三方內容來源如何被匯入並建立索引，使 ZoomMate 日後能透過檢索增強生成更有效率地擷取這些內容。 #### ZoomMate 可以直接連接第三方應用程式與服務 圖中的一部分顯示 ZoomMate 如何連接受支援的第三方應用程式，例如 Jira、Confluence、Salesforce、ServiceNow、Workday、雲端儲存平台及其他外部商業系統。這些連線讓 ZoomMate 能超越 Zoom 原生內容，與儲存商業資料或支援 Zoom 平台以外作業工作的工具互動。 這些連線是透過 TLS 連線，並以授權存取模型建立，例如基於 API 的整合或基於 MCP 的連線。無論哪種情況，ZoomMate 都會在連結服務授予的權限內運作。這使 ZoomMate 能從這些系統擷取相關資訊，並在支援的情況下，代替使用者在其中採取行動。例如，ZoomMate 可能會擷取 Jira 問題的細節、搜尋 Confluence 頁面、更新 ServiceNow 中的記錄，或使用另一個連結系統來完成更廣泛任務的一部分。 這種直接連線模式對於依賴當前系統狀態或即時存取第三方工具的任務尤其重要。在這些情況下，ZoomMate 可以將連結的應用程式視為主動的服務端點，而不只是先前已建立索引內容的儲存庫。 #### ZoomMate 可以索引已核准的第三方內容以供日後擷取 圖中的另一部分顯示 ZoomMate 如何匯入並索引來自受支援第三方來源的內容，以便日後可將這些材料作為搜尋或 AI 輔助回應的一部分來擷取。這種索引式擷取模式最適合雲端儲存系統、知識庫、文件平台及其他受支援來源等連結內容儲存庫，因為 ZoomMate 可能需要跨更大量的保留外部內容進行搜尋。 一旦受支援的來源已連線並核准建立索引，ZoomMate 就能從該來源擷取內容，並為日後搜尋做準備。此準備流程可能包括將較大的檔案或記錄拆分成較小單位，並附加來源、更新時間、擁有者與權限資訊等中繼資料。接著，這些內容會寫入 Zoom 的索引層，以便日後透過精確比對與語意式擷取進行搜尋。 當使用者提交依賴已索引第三方內容的請求時，ZoomMate 可以搜尋這些已索引材料，評估哪些結果最相關，並套用原始來源所關聯的權限資訊，確保只有已授權內容才有資格出現在結果中。最相關的已授權內容接著會作為支援回應的上下文傳遞至 ZoomMate 的 AI 層。如此一來，圖表說明了已索引的第三方內容如何幫助 ZoomMate 產生以實際連結商業材料為基礎的答案，而不只是依賴一般模型知識。 ## 自訂虛擬人像 ### 虛擬人偶建立

自訂虛擬人偶建立流程概覽

上方圖表說明如何根據使用者錄製的影片與聲音建立自訂虛擬人偶。流程開始時，系統會向使用者提供腳本，並提示其錄製自己朗讀該腳本。這個引導式錄製步驟可讓 Zoom 擷取生成使用者虛擬人偶外觀與後續以該虛擬人偶為基礎的輸出所需的影音素材。 使用者完成錄製後，音訊與影片元件會沿不同路徑處理。音訊會送至第三方服務，該服務會根據使用者錄製的語音生成聲音外觀。處理完成後，第三方服務會將唯一的聲音 ID 傳回給 Zoom。Zoom 會將此識別碼儲存為使用者的聲音參考，以便日後生成以虛擬人偶為基礎的片段或其他仰賴該合成聲音的受支援輸出。 同時，影片元件會送至 Zoom 主持的虛擬人偶生成模組，Zoom 在此處理錄製的視覺素材，建立使用者的虛擬人偶呈現。這會產生一個 Zoom 儲存以供日後使用的虛擬人偶範本。綜合來看，這兩個保留的輸出——儲存的聲音識別碼與儲存的虛擬人偶範本——可讓 Zoom 日後生成反映使用者外貌與合成聲音的片段或其他虛擬人偶媒體。 ### 剪輯建立

自訂虛擬人偶剪輯建立流程概覽

上方圖表說明如何根據使用者儲存的虛擬人偶與合成聲音設定檔建立自訂虛擬人偶剪輯。流程開始於使用者上傳希望虛擬人偶呈現的腳本。該腳本作為生成剪輯的來源內容。\ \ 接著，Zoom 的 web backend 會協調建立最終輸出所需的兩個平行輸入。首先，它會將使用者儲存的聲音識別碼連同腳本一併傳送至第三方聲音生成服務，該服務會使用使用者的合成聲音產生剪輯音訊。其次，它會將使用者儲存的虛擬人偶範本傳送至 Zoom 的虛擬人偶生成模組，以便使用者先前建立的虛擬人偶外觀可用於準備剪輯的視覺部分。\ \ 一旦第三方聲音生成服務產生音訊，該音訊就會回傳給 Zoom，並傳入虛擬人偶生成模組。接著，虛擬人偶生成模組會將儲存的虛擬人偶範本與生成的聲音音訊結合，使虛擬人偶的臉部與嘴部動作與口語內容同步。此唇形同步與渲染流程完成後，Zoom 便會產生完成的虛擬人偶剪輯並回傳給使用者。 ## 自訂字典

自訂字典資料流程

上方圖表說明自訂字典功能如何透過向 Zoom 的自動語音辨識（ASR）服務提供額外的詞彙上下文，來提升語音型 Zoom 輸出的準確性。此功能旨在支援可能特定於公司、產業、團隊或地區的字詞、縮寫、行話、產品名稱或專門術語，而這些內容在轉錄時可能無法被正確辨識或呈現。 流程從帳戶管理員在 Zoom web portal 中建立並儲存自訂字典開始。該字典包含組織希望 Zoom 更準確辨識的核准字詞或片語清單。一旦字典在帳戶層級儲存，它就可用於受支援的會議與語音處理情境。 當使用者稍後開始會議時，Zoom 的 ASR 服務可以在其處理上下文中接收該帳戶的自訂字典。當 ASR 服務將即時音訊轉換為語音轉文字資料時，它可以將感知到的語言與自訂字典比對，並嘗試將辨識到的聲音對應到儲存的術語。這會為 ASR 提供更多指引，告訴它要尋找哪些字詞、某些術語可能如何拼寫，以及縮寫或專門語言應如何解讀。 結果就是，初始語音轉文字輸出能更準確地反映會議中實際使用的術語。這種更高的準確度接著也可延伸到由對話衍生的下游工件。例如，如果之後生成會議摘要、字幕、逐字稿或其他基於語音轉文字資料的資產，這些輸出就能更準確地呈現會議中說出的字詞，進而提升最終 AI 生成工件的品質與實用性。 ## 自訂會議摘要範本

自訂會議摘要範本資料流程

上方圖表說明自訂會議摘要如何從使用者定義或帳戶定義的範本生成。流程從範本在 Zoom 中建立並儲存開始。在帳戶層級，管理員可以定義供組織使用的自訂會議摘要範本。在個人層級，使用者可以根據自己的偏好建立個人會議摘要範本。一旦建立，選定的範本就會被儲存，以便日後摘要生成時套用。 當會議結束時，Zoom AI 可以使用該會議的語音轉文字資料，生成符合所選自訂範本結構與重點的摘要。如果在生成會議摘要之前已選取自訂範本，Zoom AI 就會在產生摘要時直接套用該範本。如此一來，最終輸出可反映範本所定義的特定格式、章節或優先順序，而不只是預設的摘要結構。 如果在摘要首次生成之前未選取自訂範本，只有在會議逐字稿已被保留的情況下，Zoom 才能在之後套用該範本。在那種情況下，Zoom AI 可以使用範本設定重新處理保留的逐字稿，並產生符合該結構的新摘要。不過，如果逐字稿未被保留，Zoom 就無法取得可供重新處理的底層逐字稿，因此無法在事後套用自訂範本。 ## 個人音訊隔離

個人音訊隔離如何隔離使用者聲音的總覽

上方圖表說明 **個人音訊隔離** 其運作方式是使用儲存在使用者裝置本機上的聲紋，來區分使用者的語音與周圍背景噪音。當使用者在 Zoom Workplace 應用程式中透過「個人音訊隔離」功能錄製一段語音樣本時，這個程序就會開始。該錄音會用來建立一個本機聲紋，協助應用程式辨識使用者的聲音特徵。此聲紋會保留在本機上，不會傳送到 Zoom 雲端。 當使用者之後在具有環境噪音的環境中於會議期間說話時，Zoom Workplace 應用程式會使用該本機儲存的聲紋，來協助識別使用者的語音模式，並將其與周圍聲音區分開來。這使應用程式能在音訊送往會議流程之前，更有效地降低背景噪音並隔離使用者的聲音。 因此，傳送至 Zoom 雲端的音訊是經過整理的會議音訊，且在此功能支援的範圍內已過濾掉環境噪音。使用者底層的聲紋本身不會傳送至 Zoom 的雲端基礎架構。如此一來，個人音訊隔離可作為一項本機裝置層級的處理功能，在清理後的音訊傳送到即時 Zoom 工作階段之前，提升音訊清晰度。 --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://library.zoom.com/technical-library/zh-tw/ai-whitepaper/diagrams.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.