摘要：近日，QCon全球軟件開發者大會在北京召開，北京中關村科金技術有限公司（以下簡稱“中關村科金”）受邀參加。期間，中關村科金智慧視頻事業部總經理李超接受訪談，分享音視頻中臺建設的思路和挑戰、音視頻與AIGC融合的趨勢等話題。隨著人工智能技術的快速成熟，實時音視頻技術與應用也在不斷完善。近年來，由于消費者的行為模式悄然轉變，遠程業務辦理、線上服務、線上營銷等需求愈發旺盛，音視頻技術發展進程被不斷推進。李超表示，對于大中型銀行而言，隨著銀行整體數字化轉型的迫在眉睫，音視頻業務的必要性越來越高。為了更好的賦能業務部門，部分銀行的科技部門會主動探索音視頻技術，建立一個可控、可重用、可持續化、靈活的音視頻中臺，深入各業務線優化其工作模式、服務方式等，以技術來驅動金融數字化。中關村科金智慧視頻團隊推出了音視頻中臺系統解決方案，深度融入對話式AI技術，以多人音視頻通話和低延時直播等應用系統為主導，構建了更靈活、更可靠、更全面的音視頻中臺，實現對企業內外部溝通全鏈路的全覆蓋，解決內部各部門及員工的視頻應用需求，從而大幅提升企業內部及上下游合作伙伴間的業務處理效率。一、技術推動業務，助力銀行業價值體系重構對于商業銀行來說，建設專屬音視頻中臺而不是借助第三方音視頻工具，能夠有效確保系統和數據的安全，并可依托音視頻工具作為載體開展業務，深入到企業價值創造的各個業務環節中，包括招聘、研發、銷售、客服等。而高品質的融合通訊能力，有助于將現有業務、服務能力遷移至線上，實現業務線上化、智能化。具體而言：合理規劃音視頻框架，實現多場景海量業務高并發。相比于單一的傳統音視頻互動平臺，專屬音視頻框架在通過合理規劃后，可采用前沿的技術框架，拓展性較強，方便多部門共用，實現多業務場景延展，并能承受海量業務的高并發，有效保障業務的穩定性。融合多元化技術，實現服務智能化升級?；谏虡I銀行需求打造的專屬音視頻中臺，由于其自身的可拓展性，更加便于融合人工智能等前沿技術，在多元化的場景中加入虛擬數字人、智能客服、遠程投顧等應用，實現實時互動、遠程協作、智能化展業等要求，提升客戶服務體驗，增強業務辦理效率。前期統籌規劃，實現整體運維降本增效。此外，在音視頻框架建設初期開展科學的統籌規劃，將運維監控等因素充分納入考量范圍，可有效降低運維成本，提升運維效率，保障銀行業務的連續性。當前，建設音視頻中臺的路徑包括自主建設、采用傳統的通用解決方案等。然而，由于銀行的技術儲備、可投入資源和運維能力的參差，從0開始自主建設一個音視頻中臺并不現實。同時，采用傳統的通用解決方案亦存在著諸多挑戰：音視頻中臺不僅需要滿足業務部門之間、客戶與銀行之間、業務部門與技術部門之間多個層級的需求，對于背后的技術框架、高并發能力、靈活程度、可拓展性都提出了相當高的標準。中關村科金音視頻團隊通過深度的行業理解與反復打磨，推出了一套更全面、融合性更高的銀行專屬音視頻中臺技術方案。如中關村科金在為某大型國有銀行建設音視頻中臺時，通過全面提升音視頻中臺技術實力，深化與外部系統的協同能力，將音視頻技術、AI能力和其他能力融合，規劃完善的系統運維能力，達到降本增效、打通內外部業務壁壘的目標。構建統一的音視頻中臺確保業務場景可拓展性并支持高并發協助搭建可供全行統一使用的音視頻中臺，使該銀行在應對新增業務需求時，可以按需在封裝層以組件形式通過SDK、API 等接口進行功能調用。一個穩固健康的底座十分重要，是銀行需要大力建設的部分，如果底座足夠扛住高并發，那么銀行就無需在每次搭建業務時再去考慮底座的健康性、穩定性等方面的問題，減少系統開發成本。私有化部署有效保障數據安全和服務質量區別于提前部署好的互聯網云資源，銀行音視頻方面私有化部署相當于是空白的階段，無論從端口申請、權限審核、包括跨區的訪問、存儲等問題，都必須要單獨構建。中關村科金音視頻中臺通過提供私有化部署能力，為銀行單獨使用而構建，提供對數據、安全性和服務質量的最有效控制。數據不出內網，完全滿足銀行需求。同時可以與已有系統的數據API直接交互，來保障各業務的聯動運營，不存在安全限制等問題。此外，不論是內部系統對接的擴展、以及業務個性化擴展，靈活性高，還可獨享版本管理。全鏈路實時監控實現后期運維降本增效由于音視頻是動態的，所以在監控方面必須能夠實時發現問題，且及時處理，因此基于中關村科金音視頻中臺所具備的全鏈路監控功能，通過對音視頻互動的全鏈路，以及接入節點、網絡狀態、時延狀態、設備狀態等內外部因素進行實時監控，幫助銀行在音視頻系統發生故障時能夠對故障原因進行快速的判斷與修復，顯著提升后期運維效率，并降低運維成本。多重技術融合提升業務辦理效率和服務質量利用人臉比對、活體檢測、OCR識別等技術與音視頻技術融合，形成具有AI能力的音視頻中臺，解決線下業務線上化的身份核實難、互動效率低等問題，更智慧地辦理業務，創造“有溫度、有深度、有廣度“的線上業務場景。中關村科金音視頻中臺除了覆蓋保險遠程雙錄、商戶遠程巡檢、財富遠程投顧、信用卡遠程面簽、三農信貸簽約等多種場景外，也充分發揮了系統互通的能力，讓各系統、各類業務高效簡潔地協作，充分利用實時質檢等應用能力，使得各業務辦理場景在滿足金融服務合規要求的前提下，極大提升了線上業務能力與效率。二、“1+N”創新模式，打好直播技術攻堅戰中關村科金的音視頻中臺在設計之初就秉承著“1+N”的創新模式，使其在技術底座能力不變的基礎上，中臺組件既能獨立又能夠合并，高度可擴展。其中，多人音視頻通話能力支持雙錄、遠程面簽等線上辦理的業務場景，銀行通過搭建視頻中臺來支持用戶的實時音視頻交流；基于音視頻中臺構建的直播平臺使用場景主要在于售前和營銷等場景，面向的是更多客戶對于音視頻信息的接收與互動。區別于常規的企業直播，銀行直播過程中可能會涉及一些金融政策、金融數據、行情分析等內容，需要非常高的安全性和保密性，因此對直播的平臺、設備都有一定的要求。中關村科金團隊通過深度調研銀行業應用直播的目的后，發現大多數銀行希望通過直播這種小而輕、集中化的觸達方式豐富營銷拓展模式，增加受眾提升轉化，降低獲客成本和客戶流失率，提升用戶數據利用率，以便更好地經營私域流量，提升業務辦理效率。越大的系統周期越長，無論是決策周期還是系統建設周期，有的甚至需要耗時一年，而銀行需要能夠局部、快速上線并使用的直播系統。這種快速上線的直播系統在技術架構、保持通用化、支持對接行方系統的靈活性、不破壞產品形態等方面存在著諸多挑戰，同時需要面對銀行技術環境復雜、培訓流程繁瑣、實時審核要求高、運營商故障因素、服務器故障訪問異常、網絡/磁盤IO壓力大等問題。舉個例子，在部署方面，銀行對安全要求很高，會劃分出多個內部的區域，區域之間不能直接互通，必須走代理方式。但代理轉發音視頻數據會造成大量的內部帶寬占用，多層區域轉發更不可行。為此，中關村科金把音視頻傳輸服務拿到了K8s外，部署到外層的區域。由于音視頻數據流都是基于UDP端口，會暴露公網IP地址，中關村科金還會考慮更多的安全策略；音視頻中臺的其它部分，部署在內部的區域，通過代理方式訪問，包括Redis等中間件；混流服務也在K8s內的容器內，中關村科金發現對于大數據量的音視頻，K8s內的代理轉換有性能問題，也是進行了專項的優化。在功能方面，中關村科金采用的是SFU傳輸模型，用于支持高并發傳輸；在音視頻處理上，可支持萬路視頻混流，并可自定義混流模板；除音視頻的相關功能外，還提供智能播報、白板畫筆、屏幕共享、虛擬背景、遠程協助、即時消息等多種互動能力；為了應對國產化節奏，音視頻中臺支持信創環境和國密；同時在斷網重連機制，優化QoS抗網弱，編解碼，多端適配和優化等多方面都有改進。在存儲方面，中關村科金采用的是分布式存儲，并且需要保證幾個備份，對于文件的動態管理來說就會變得很復雜。常規的磁盤存儲不能滿足大量實時音視頻的要求，標準的分布式存儲也并不是專門為大文件而設計的，粒度過小會產生大量的網絡請求，操作系統核心層面需要調整，為此中關村科金做了很多優化，如調整緩存策略，采用冷熱存儲等。中關村科金音視頻中臺的解決方案中，除了高并發、高可用、動態擴縮容等技術保障外，還支持了“雙中心雙活”和“兩地三中心”兩種解決方案。雙中心雙活方案可以實現當兩個機房同時工作時，其中一個線路機房掛掉后可以動態切換到另一個機房去繼續工作，同時要保證同一個房間里的用戶都落在一個機房里，來保證雙中心雙活的策略；兩地三中心是指在兩個城市部署三個業務處理中心，即：生產中心、同城容災中心、異地容災中心，以此最大程度保證業務的連續運行。在基礎音視頻能力上進行靈活擴展，疊加AI、虛擬人、云計算等能力，實現了一對多的靈活對接?！?+N”的創新服務模式，使得各業務線無需再投入技術研發成本，只需專注精細化設計各自的業務能力，打造更加精細化的“技術+業務”的服務體系。三、技術廠商需重視互動性，音視頻+AI是趨勢從圖文到視頻，音視頻產業跨越了傳統的單點接收屏障，通過直播和互動的方式無限地接近人們。多元的算力、云原生、AI等能力與音視頻的不斷融合，推動著音視頻廠商不斷增強互動性，在低延遲、編解碼、硬件結合等方面優化。而AIGC、數字人的興起，也證明了實時音視頻與AI的深度融合的確能夠帶來更深層次的提升。對于直播這種強交互形式，工具+運營+內容缺一不可，而企業最缺乏的是內容和運營，數字人+AIGC恰好可以彌補，如主播助手，彈幕機器人，虛擬主播等。李超表示，中關村科金目前正在圍繞對話式AI、實時音視頻、數字人，結合前沿的AIGC等技術對這種虛實結合的實時互動進行探索，通過機器人智能實現文本、圖片、音視頻等多模態高質量內容的自動生成，以數字人為呈現形式，依托視頻+直播的方式與用戶進行互動。以數字人為例，在直播過程中使用數字人主播可以彌補真人主播的時間精力有限、人員流動性大等問題。數字人主播可以做到24小時全天候直播，保持永不疲憊的狀態。因此，中關村科金在原有音視頻能力平臺的基礎上，以多模態人機交互為核心，融合ASR、TTS、NLP等多項AI能力，打造了數字人主播。通過深度學習，數字人可以更自然的和真人交互。比如數字人主播在介紹產品同時還會不定時的與用戶進行互動，幫助企業吸引新用戶群體，拉近與用戶的距離。對于音視頻技術發展的展望，李超坦言：未來，實時音視頻將成為連接虛擬世界和現實世界、內容生產和消費的橋梁，在技術方面，將會強調更高要求的實時性和沉浸性。而通過數字人視頻、數字人直播等形式，企業能夠以更豐富、更輕松的形式獲客和承載業務，綻放更多的想象力和可能性，對于提升業務價值來說是一個強有力的推手。