【資料圖】
國家互聯網信息辦公室發布境內深度合成服務算法備案清單，百度阿里騰訊字節訊飛等在列。6 月20 日，國家互聯網信息辦公室發布境內深度合成服務算法備案清單（2023 年6 月），其中包括美團在線智能客服算法、快手短視頻生成合成算法、百度文生圖內容生成算法、百度PLATO 大模型算法、火山引擎智能美化特效算法、騰訊會議虛擬背景算法、天貓小蜜智能客服算法、訊飛星火認知大模型算法等。《互聯網信息服務深度合成管理規定》第十九條明確規定，具有輿論屬性或者社會動員能力的深度合成服務提供者，應當按照《互聯網信息服務算法推薦管理規定》履行備案和變更、注銷備案手續。深度合成服務技術支持者應當參照履行備案和變更、注銷備案手續。網信辦官網專門指出：“請尚未履行備案手續的深度合成服務提供者和技術支持者盡快申請備案”。我們認為，此次清單的發布，為應用的合規奠定了法律基礎，未來應用的落地有望進一步加速。
騰訊云披露行業大模型方案進展，并公布MaaS（Model-as-a-Service）能力全景圖。根據騰訊云官微，騰訊云基于企業痛點和需求，依托騰訊云TI 平臺打造的行業大模型精選商店，提供涵蓋模型預訓練、模型精調、智能應用開發等一站式行業大模型解決方案。內置多個高質量行業大模型，涵蓋金融、傳媒、文旅、政務、教育等多個行業場景。兼容支持多模型訓練任務，企業可以按需取用。在此基礎上，企業不僅可以加入獨有的場景、數據，快速精調生成專屬模型；也可根據業務場景需求，按需定制不同參數、規格的模型服務。同時，騰訊云還提供完善的大模型工具鏈和配套服務，包括數據標注、訓練、測試、評估、部署等全套工具，助力快速精調大模型，客戶按需靈活使用，加速大模型在產業的落地。同時，提供本地化的訓練、落地及陪跑優化服務，為客戶掃清落地障礙。算力方面，騰訊云新一代HCC 高性能計算集群，專為大模型訓練打造，具備業界最高的3.2T 互聯帶寬，將整體算力性能提升3 倍；即將推出的騰訊云向量數據庫（Tencent Cloud VectorDB），源自騰訊每日處理千億次檢索的向量引擎（OLAMA），單索引支持10 億級向量規模，更適合AI 運算、檢索，數據接入AI 效率提升10 倍。我們認為，騰訊云在行業大模型的發力有望使得行業信息化公司受益，這些公司擁有行業數據和行業know-how，能夠更好地與大模型公司合作，從而推出相關的行業大模型。
微軟發布 DeepSpeed ZeRO++，有望進一步提升模型訓練效率。6 月22 日，微軟在官方blog 發文，正式介紹了最新的 DeepSpeed ZeRO++。相比于ZeRO，ZeRO++的進步主要在以下兩方面：（1）ZeRO++加速大型模型預訓練和微調。
每個GPU 上 batch size 較小時： 無論是在數千個 GPU 上預訓練大型模型，還是在數百個甚至數十個 GPU 上對其進行微調，當每個 GPU 的batch size較小時，ZeRO++ 提供比 ZeRO 高 2.2 倍的吞吐量，直接減少訓練時間和成本。低帶寬計算集群： ZeRO++ 使低帶寬集群能夠實現與帶寬高 4 倍的高端集群類似的吞吐量。因此，ZeRO++ 可以跨更廣泛的集群進行高效的大型模型訓練。（2）ZeRO++加速 ChatGPT 類的 RLHF 訓練。雖然 ZeRO++ 主要是為訓練而設計的，但它的優化也自動適用于 ZeRO-Inference，因為通信開銷對于ZeRO 的訓練和推理同樣適用。 因此，ZeRO++ 可以提高人類反饋強化學習（RLHF） 等算法的效率， 因為RLHF 結合了訓練和推理。通過與DeepSpeed-Chat 的集成，與原始 ZeRO 相比，ZeRO++ 可以將 RLHF 訓練的生成階段效率提高多達 2 倍，強化學習訓練階段效率提高多達 1.3 倍。博文中最后指出：“用于 DeepSpeed-Chat 的 ZeRO++ 將在未來幾周內發布。”
我們認為，DeepSpeed ZeRO++的發布，或有助于模型訓練效率的進一步提升，對AI 全行業的發展帶來更加積極的作用。
建議關注：浪潮信息、中科曙光、科大訊飛、金山辦公、新國都、賽意信息、博彥科技。
風險提示：AI 技術發展不及預期。
關鍵詞：
