9月5日，在騰訊全球數(shù)字生態(tài)大會上，騰訊集團(tuán)副總裁、云與智慧產(chǎn)業(yè)事業(yè)群COO兼騰訊云總裁邱躍鵬在演講中表示，未來的云是面向智能化、融合創(chuàng)新、國際化的，騰訊云將圍繞這三個方向持續(xù)探索和創(chuàng)新，打磨好產(chǎn)品能力，助力企業(yè)取得新增長。
在智能化方面，邱躍鵬表示，大模型和云的關(guān)系變得越來越緊密，大模型能力通過云對外輸出，云也借助大模型提升產(chǎn)品效能和體驗。
目前，騰訊混元最新一代模型騰訊混元Turbo已經(jīng)在騰訊云上線，輸入和輸出價格只有前代模型的一半。騰訊混元Turbo采用萬億級層間異構(gòu)MoE架構(gòu)，擁有更多的專家數(shù)和更少的激活參數(shù)量，推理效率提升100%，推理部署成本下降50%，解碼速度提升20%。根據(jù)SuperCLUE評測，騰訊混元Turbo總分位列國內(nèi)第一，中文場景效果對標(biāo)GPT-4o。
騰訊云也正式推出了“騰訊云智算”品牌。作為集算存網(wǎng)一體的高性能智算底座，能夠為AI創(chuàng)新輸出性能領(lǐng)先、多芯兼容、靈活部署的智算產(chǎn)品能力。目前，騰訊云智算的集群千卡單日故障數(shù)已經(jīng)刷新到0.16，是行業(yè)水平的1/3；1分鐘就能完成萬卡Checkpoint寫入，數(shù)據(jù)讀寫效率是業(yè)界10倍；千卡集群的通信時間縮短到6%，是業(yè)界一半。騰訊云智算集群從機器上架到開始訓(xùn)練可以做到只需1天，相比業(yè)界以月為單位大為縮短。
同時，為了幫助企業(yè)構(gòu)建大模型應(yīng)用，騰訊云基于客戶不同架構(gòu)和場景，能夠提供兼容ES開源生態(tài)的智能檢索方案和AI原生向量數(shù)據(jù)庫方案。另外騰訊云云原生數(shù)據(jù)庫TDSQL、騰訊云大數(shù)據(jù)BI以及騰訊云AI代碼助手、騰訊會議、騰訊樂享、騰訊企點客服等產(chǎn)品也結(jié)合大模型實現(xiàn)了能力升級，能夠為用戶提供更加智能化的產(chǎn)品體驗。
在融合創(chuàng)新方面，邱躍鵬認(rèn)為，隨著融合創(chuàng)新進(jìn)程加速推進(jìn)，客戶除了關(guān)注如何把原有業(yè)務(wù)系統(tǒng)支撐起來，同樣看重穩(wěn)定性、安全性和兼容性。目前騰訊云打造了包括數(shù)據(jù)庫TDSQL、專有云平臺TCE、大數(shù)據(jù)平臺TBDS、操作系統(tǒng)TencentOS以及人工智能開發(fā)平臺TI在內(nèi)的融合創(chuàng)新軟件體系。
在某國有大行核心系統(tǒng)場景下，TDSQL支撐的日交易峰值達(dá)到了19.6億筆；TCE支持了國內(nèi)最大規(guī)模的金融云、政務(wù)云融合創(chuàng)新實踐，總規(guī)模超過10萬節(jié)點；在保險行業(yè)打造了首個國產(chǎn)數(shù)據(jù)湖倉標(biāo)桿案例，5分鐘就能產(chǎn)出數(shù)據(jù)；TencentOS自研了完全兼容CentOS的T-Kernel4內(nèi)核，能夠支持在線原地替換，部署量超過1000萬臺。
在國際化方面，邱躍鵬表示，國際化是企業(yè)增長的新方向，騰訊云正在發(fā)揮產(chǎn)品技術(shù)能力優(yōu)勢，并通過全球一致的產(chǎn)品體驗、優(yōu)質(zhì)的服務(wù)能力以及在安全合規(guī)方面的經(jīng)驗，助力客戶在全球范圍內(nèi)把握機遇、實現(xiàn)增長。
以星星海SA5云服務(wù)器為例，結(jié)合騰訊云軟硬一體的協(xié)同優(yōu)化，SA5性能大幅提升，故障率降低了60%，為客戶提供端到端的業(yè)務(wù)穩(wěn)定表現(xiàn)，在大量客戶的國際化場景中得到應(yīng)用，成為了十年來增長最快的云服務(wù)器實例。
隨著游戲、直播電商等商業(yè)模式復(fù)制到海外，騰訊云也助力企業(yè)提供更好的應(yīng)用體驗，帶來直接的增長。在音視頻領(lǐng)域，騰訊云首創(chuàng)并在全球大規(guī)模應(yīng)用超低延時直播，把直播的平均延時從3秒降到0.5秒內(nèi)，大幅提升用戶活躍度和商品成交率，實現(xiàn)了每日千萬元級別的交易量提升。騰訊云邊緣加速平臺EdgeOne提供最接近用戶的邊緣節(jié)點，讓游戲服的訪問提速超過30%，提升了游戲的活躍度。
此外，騰訊會議也在企業(yè)國際化業(yè)務(wù)中扮演著重要角色。通過類“2G”的弱網(wǎng)環(huán)境下流暢開會的能力、多達(dá)17種語言的實時翻譯支持、多種入會方式升級，騰訊會議海外會議數(shù)已經(jīng)較年初增長了近50%。 以下是演講原文：
大家好，圍繞著智能化、融合創(chuàng)新和國際化三個方向，我接下來分享一下騰訊云的產(chǎn)品升級和實踐。
大模型推出之后，我們看到了科技行業(yè)的變化，比如大模型在云上訓(xùn)練，云又成為大模型對外輸出能力的重要出口，云自身的產(chǎn)品怎么通過大模型的智能化能力提升自己，這些都是我們作為云從業(yè)者要回答的必回題。
去年的數(shù)字生態(tài)大會上，騰訊混元大模型第一次正式對外亮相。經(jīng)過一年的不斷迭代升級，我們今天正式推出了騰訊混元Turbo，更快更強的下一代模型。它實現(xiàn)了MoE架構(gòu)的創(chuàng)新，通過在模型的不同層采用不同的專家個數(shù)和激活參數(shù)量，推理效率提升了100%，成本降低了50%，速度也提升了20%。目前，混元Turbo已經(jīng)在騰訊云正式上線，輸入和輸出價格只有前代模型的一半，歡迎大家體驗。
雖然成本更低，但從性能看，混元Turbo卻是實力最強、效果最好的新一代模型。根據(jù)國內(nèi)大模型評測機構(gòu)SuperCLUE前天發(fā)布的最新報告，騰訊混元Turbo總分位列國內(nèi)第一，在11個能力項測評中，8項核心任務(wù)排名國內(nèi)第一，中文場景效果對標(biāo)GPT-4o。技術(shù)圈常常通過公開評測集“跑分”來看大模型的能力。benchmark，也叫基準(zhǔn)測試。主流大模型，比如GPT、llama、claude等，都會公開自己在特定評測集的成績，各家都可以直觀地對比模型實力。評測數(shù)據(jù)顯示，目前騰訊混元turbo 在多個評測集的測試成績已經(jīng)居于國內(nèi)第一梯隊，數(shù)學(xué)和代碼能力提升明顯，已經(jīng)可以對標(biāo)國際上最好的模型。
為什么在算力有限的情況下，騰訊可以訓(xùn)練出混元Turbo這樣性能領(lǐng)先的萬億參數(shù)大模型，一方面是算法、框架、工程方面的持續(xù)精進(jìn)，另一方面，騰訊在infra方面的高穩(wěn)定性也是提升訓(xùn)練效率的重要一環(huán)。
8月，Meta發(fā)布最新Llama模型的時候，也分享了訓(xùn)練集群的運轉(zhuǎn)情況，拆解了集群運轉(zhuǎn)過程中遇到的各式各樣問題。集群的穩(wěn)定、卡的互聯(lián)、數(shù)據(jù)讀寫效率、發(fā)生故障后的續(xù)訓(xùn)，每個環(huán)節(jié)都會給訓(xùn)練效率帶來影響，也直接關(guān)系到整體訓(xùn)練成本，這就好比你買了一臺高性能車，但是路很差，也不能跑的快，整個AI infra是一個系統(tǒng)性工程。
過去幾年，騰訊云智算為客戶提供了穩(wěn)定高效的AI infra服務(wù)：
比如，大部分公司搭建集群，從上架到開始訓(xùn)練，是以月為單位，我們把這個流程優(yōu)化到1天。去年集群搭建后，第二天就開始做騰訊混元的訓(xùn)練任務(wù)。在業(yè)界非常關(guān)注的性能上，騰訊云智算的集群，千卡單日故障數(shù)只有0.16，是meta的1/3；在數(shù)據(jù)讀寫效率方面，1分鐘就能完成萬卡checkpoint寫入，是業(yè)界的10倍；千卡集群的通信時間占比，也降低到6%，是業(yè)界一半。
在今天，我們也把計算的能力，通過公有云、專有云、分布式云的形態(tài)，輸出給客戶，希望讓每一個想去訓(xùn)練或者是精調(diào)自己模型的公司，都能擁有一個真正的高可用的計算集群。
很多公司更關(guān)注的是AI的應(yīng)用如何落地，尤其是原來積累了大量數(shù)據(jù)，怎么真正把模型的能力與應(yīng)用場景結(jié)合起來？很多技術(shù)團(tuán)隊都選擇去做RAG，提升落地的效果。其實做RAG也有不同的方法。今天騰訊云提供兩種模式：
如果企業(yè)有elasticsearch的使用基礎(chǔ)，熟悉elastic生態(tài)，通過騰訊云ES，可以用最少代碼的便捷方式，幾乎不用重寫代碼或者寫少量代碼，就能構(gòu)建一個AI問答應(yīng)用；
如果企業(yè)要用到多模態(tài)的數(shù)據(jù)源，我們也提供了騰訊云的向量數(shù)據(jù)庫，可以用多模態(tài)方式去檢索，向量數(shù)據(jù)庫也提供了2倍于業(yè)界的檢索能力；
比如，微信讀書前不久上線的AI問書，就是基于騰訊云ES實現(xiàn)了RAG的高效開發(fā)和運維，為億級用戶提供毫秒級別的高效處理能力；學(xué)而思的AI語音助手，借助向量數(shù)據(jù)庫的極致高性能，讓語義檢索的準(zhǔn)確率高達(dá)95%。
除了訓(xùn)練模型、調(diào)用模型，作為云廠商我們也在思考怎么用大模型的能力，去提升原有的云產(chǎn)品能力，為企業(yè)創(chuàng)造價值。
我想講一個數(shù)據(jù)庫的案例，騰訊云數(shù)據(jù)庫TDSQL結(jié)合騰訊混元，做了3個方向的事情：
智能分析用戶歷史1-7天的負(fù)載情況，預(yù)估未來分鐘級的流量變化，提早5秒擴(kuò)容，實現(xiàn)秒級彈性；同時，用最經(jīng)濟(jì)的模式擴(kuò)容，我們通過識別客戶場景，將CPU和內(nèi)存完全解耦、獨立彈性，精準(zhǔn)調(diào)整彈性時間和步長；此外，影響數(shù)據(jù)庫存運行效率最關(guān)鍵的因素是SQL寫得好不好，我們通過AI分析所有SQL執(zhí)行語句的情況，優(yōu)化SQL執(zhí)行效率，降低每次數(shù)據(jù)庫操作所使用的資源。
我們也助力國內(nèi)知名的體育社區(qū)虎撲，依托TDSQL數(shù)據(jù)庫，扛住了百萬級QPS的流量洪峰。做到0抖動的同時，也降本75%。這樣的技術(shù)應(yīng)用為客戶創(chuàng)造了價值，也升級了我們的產(chǎn)品。
數(shù)據(jù)分析的場景，也在深度應(yīng)用大模型。大家都關(guān)注，大模型在落地過程中，能否讓每個人都通過自然語言交互的方式，拿到專業(yè)的數(shù)據(jù)分析結(jié)果。但這涉及兩方面問題：一是要給使用者做好Prompt；二是要讓數(shù)據(jù)治理變得更符合自然語言交互習(xí)慣。通過不斷優(yōu)化，我們打造了ChatBI，讓更多員工真正用數(shù)據(jù)武裝自己，提升自己應(yīng)用數(shù)據(jù)的能力，也降低了BI開發(fā)的工作量。
大模型的最快受益者其實是程序員自己。在騰訊內(nèi)部，現(xiàn)在50%的研發(fā)同學(xué)都在用騰訊云AI代碼助手。在模型訓(xùn)練階段，我們針對大約50種不同編程語言做了獨立訓(xùn)練；制定了31種補全策略，精準(zhǔn)理解用戶意圖，讓采納率提升10%以上；通過抓取核心上下文，把代碼生成率提升了5%左右。
生成代碼很簡單，但想要讓代碼實現(xiàn)工程化、提高可用性，要求非常高。我們基于混元的MoE架構(gòu)，通過編碼、測試、代碼評審/安全等多智能體協(xié)作，進(jìn)一步優(yōu)化代碼質(zhì)量。在與一家消費電子企業(yè)的合作中，我們將代碼生成率從最初學(xué)習(xí)代碼庫之后的15%提升到37%，代碼采納率也提高到了28%，讓研發(fā)效率大幅提升。
騰訊會議是最早一批應(yīng)用大模型的產(chǎn)品。經(jīng)過一年多的不斷打磨，現(xiàn)在每個月有1500萬用戶在使用我們的智能錄制、AI小助手、多語言翻譯等AI能力。
要讓大模型準(zhǔn)確理解會議內(nèi)容，首先需要清晰捕捉每個人的發(fā)言。我們自研的天籟智能語音語義技術(shù)，針對會議中的口語化表達(dá)和不同口音進(jìn)行了重點訓(xùn)練，顯著提高識別準(zhǔn)確率。
騰訊會議不止會開會，今天智能化的能力在多個場景的應(yīng)用做得非常好。比如在教育場景，老師通過騰訊會議上課，上完課就可以自動提煉這節(jié)課的教學(xué)大綱，也可以把知識點做切片，學(xué)生也可以快速得到復(fù)習(xí)材料，可以通過AI助手去問教學(xué)中的知識點，學(xué)習(xí)的交互與效率變得可沉淀和高效。今天，我們在華東理工大學(xué)已經(jīng)落地了超過300間這樣的會議室，未來在金融、招聘等領(lǐng)域，AI的能力結(jié)合在線溝通，一定帶來更多讓大家提升效率的機會。
我們通過騰訊樂享也在打造學(xué)習(xí)型的組織。推動大家學(xué)習(xí)的同時，怎么用好工具也變得非常重要。員工越多的企業(yè)，新人培養(yǎng)、產(chǎn)品更新等場景就面臨很高的培訓(xùn)成本，怎么讓員工掌握，對于大企業(yè)都面臨這樣的問題。通過騰訊樂享和騰訊混元的結(jié)合，我們提高了培訓(xùn)效率，通過學(xué)習(xí)企業(yè)知識庫，30分鐘就可以搭建出智能陪練，可以提供24小時在線陪練，員工可以隨時隨地學(xué)習(xí)。我們把這樣的場景與語言交互結(jié)合起來，可以做很多情景式的培訓(xùn)。同時，提供培訓(xùn)后的評估。
在保險行業(yè)，如何快速讓保代達(dá)到非常好的銷售水平？我們可以快速生成一篇報告，告訴學(xué)員在哪些方面需要提升、需要強化訓(xùn)練。這樣的閉環(huán)，讓學(xué)習(xí)型組織的學(xué)習(xí)效率取得非常大的提升。我們相信只要企業(yè)有足夠多的員工，這個工具幫助組織提效非常重要。
除了對內(nèi)的學(xué)習(xí)培訓(xùn)，對外的客服也是AI落地的好場景。比如通過騰訊企點客服，我們引入大語言模型，讓智能化啟動的時間從過去的7天、15天，到今天的分鐘級構(gòu)建。當(dāng)然，這還要依賴于大家底層知識庫的積累，如果積累得比較好，可以做到88%的用戶問題都能被精準(zhǔn)識別和回答。以我們服務(wù)的東北某省人社局為例，客戶從企點傳統(tǒng)機器人升級到大模型機器人，轉(zhuǎn)人工率一個月內(nèi)從27%降至14.5%，人工客服每周接待的會話量從460降至200，大幅降低了人工客服工作量。
我們可以看，這家企業(yè)的售后服務(wù)機器人已經(jīng)可以做到多模態(tài)的輸入，不僅能識別照片里的打印機型號、還能識別顯示屏上的報錯代號，并且快速準(zhǔn)確回復(fù)用戶的問題。
面向融合創(chuàng)新，我們提供5T的產(chǎn)品矩陣，從專有云TCE、數(shù)據(jù)庫TDSQL、大數(shù)據(jù)平臺TBDS、人工智能開發(fā)平臺TI-ONE，到下層的操作系統(tǒng)。今天TCE支持了最大的兩朵融合創(chuàng)新云，最大支撐節(jié)點數(shù)超過10萬個。TDSQL數(shù)據(jù)庫對Oracle的兼容性也非常高，需要改的代碼大幅減少。在某國有大行核心系統(tǒng)場景下，TDSQL支撐的日交易峰值達(dá)到了19.6億筆，金融級最挑戰(zhàn)的場景，已經(jīng)實現(xiàn)了國產(chǎn)替代。大家如果選擇TDSQL，可以放心用。國產(chǎn)專有云平臺TCE，，通過不斷的優(yōu)化，在保險行業(yè)打造了首個國產(chǎn)數(shù)據(jù)湖倉標(biāo)桿案例，5分鐘就能產(chǎn)出數(shù)據(jù)。TI-ONE的訓(xùn)練平臺也可以兼容所有國產(chǎn)芯片，讓客戶降低使用多芯片構(gòu)筑算力的門檻。
面向國際化，對騰訊云而言，我們也做了改變。今天中國絕大部分的企業(yè)都在看國際化的機會，怎么出海，業(yè)務(wù)怎么全球發(fā)展。我們的產(chǎn)品從第一天就要思考產(chǎn)品怎么變成面向國際化。
去年騰訊云推出了自研的星星海SA5云服務(wù)器，單機最大核心數(shù)達(dá)到了512核。搭載自研的銀杉智能網(wǎng)卡，SA5云服務(wù)器提供了高達(dá)200Gbps的網(wǎng)絡(luò)帶寬。通過軟硬協(xié)同優(yōu)化，經(jīng)過騰訊內(nèi)部海量業(yè)務(wù)規(guī)模驗證，真正讓客戶在使用上，可以獲得更高的密度算力，故障也更少。這款產(chǎn)品我們也直接全球部署，成為了歷史上推出的所有CVM產(chǎn)品里最受歡迎的產(chǎn)品，也是增長最快的產(chǎn)品。
回到增長的話題。中國商業(yè)模式的創(chuàng)新在領(lǐng)先全球，游戲、電商、制造業(yè)等能力都非常強，我們通過什么樣的產(chǎn)品能力可以幫助大家在全球化有更好的商業(yè)迭代？比如通過超低延時的直播，延時從3秒降低到了0.5秒，通過這樣的技術(shù)，讓全球知名的電商平臺，讓主播和觀眾實時互動的效果徹底改變，客戶活躍度、商品成交率都有大的提升，每日支撐超過千萬級別交易量，真正用技術(shù)提升了商業(yè)產(chǎn)出。
EdgeOne是我們孵化的下一代CDN產(chǎn)品，滿足了國際化企業(yè)對加速和安全防護(hù)一站式的需求，目前服務(wù)了眾多游戲、電商、金融等客戶。比如在游戲場景下，我們將訪問速度提升了30%，要知道訪問的速度越快，玩家的體驗就會更流暢，留存、活躍也會更高。
對游戲來講，下載付的錢在成本里非常低，真正的是廣告投放、獲客、轉(zhuǎn)化，這帶來的商業(yè)價值非常大，這也改變了我們跟很多客戶的交流，以前大家覺得要便宜點、慢一點沒有關(guān)系，但是真的商業(yè)閉環(huán)，大家全面思考的時候，更快的下載速度，多一點成本的付出能夠為商業(yè)增長帶來價值。
今天大家的企業(yè)出海是業(yè)務(wù)出海，更是組織的出海。在騰訊會議上，跨國會議的數(shù)量相較年初增長了超過50%。
為了服務(wù)好這些跨國協(xié)作的需求，騰訊會議也升級了產(chǎn)品能力。比如音頻編碼率的下降，我們做這件事之前也探討，騰訊之前是做QQ起家，那個時候會想每一個Byte要不要小一點，但是今天在中國，5G基礎(chǔ)設(shè)施網(wǎng)絡(luò)特別好，當(dāng)時團(tuán)隊說要做這件事，我們也擔(dān)心，這個做完大家會有感知嗎？