“828 企業(yè)節(jié)”上來自華為云存儲(chǔ)Lab的Serverless AI專家陳旭升介紹XDS推理架構(gòu)。

華為云基于 CloudMatrix384 超級(jí)集群，推出新一代大模型服務(wù)系統(tǒng) xDeepServe，首次實(shí)現(xiàn)千卡級(jí) MoE（Mixture of Experts） 模型的高效、可靠推理。它如何在數(shù)百 NPU 上實(shí)現(xiàn) 2400 tokens/s/chip 的吞吐與 50ms TPOT（每輸出 token 時(shí)延） 的極致性能？

近日，在三大國(guó)際頂級(jí)會(huì)議——USENIX ATC 2025、ICML 2025 和 ACL 2025中，華為云存儲(chǔ)創(chuàng)新LAB與北京大學(xué)、南京大學(xué)等單位合作的三篇論文成功入選，全面展示了從整體系統(tǒng)架構(gòu)、prefill階段加速到decode階段加速三位一體的技術(shù)突破，為構(gòu)建下一代大模型推理基礎(chǔ)設(shè)施奠定了堅(jiān)實(shí)地基。

佟毓來同學(xué)在云存儲(chǔ)創(chuàng)新Lab 實(shí)習(xí)期間參與多個(gè)項(xiàng)目研究，表現(xiàn)突出，榮獲創(chuàng)新新星獎(jiǎng)。

華為云存儲(chǔ)創(chuàng)新Lab聯(lián)合華中科技大學(xué)發(fā)表的論文《Sieve: A Learned Data-Skipping Index for Data Analytics》被數(shù)據(jù)庫領(lǐng)域頂級(jí)會(huì)議 VLDB'2023 接收，提出了一個(gè)通過感知數(shù)據(jù)分布來進(jìn)行數(shù)據(jù)過濾的索引Sieve，繼Tripod [ICCD'2022]論文后我們?cè)跀?shù)據(jù)密集型系統(tǒng)中的又一重要探索。

華為云存儲(chǔ)創(chuàng)新Lab發(fā)表論文《Skadi: Building a Distributed Runtime for Data Systems in Disaggregated Data Centers》被重要學(xué)術(shù)會(huì)議HotOS'23接收！提出了一個(gè)在分離式架構(gòu)下支撐數(shù)據(jù)密集型系統(tǒng)的分布式運(yùn)行時(shí)。

羅旭川同學(xué)、沈家誠(chéng)同學(xué)在云存儲(chǔ)創(chuàng)新Lab 實(shí)習(xí)期間參與分離式內(nèi)存相關(guān)的研究，表現(xiàn)突出，榮獲創(chuàng)新新星獎(jiǎng)。

華為云存儲(chǔ)創(chuàng)新Lab發(fā)表論文《SMART: A High-Performance Apative Radix Tree for Disaggregated Memory》被計(jì)算機(jī)領(lǐng)域最頂級(jí)會(huì)議OSDI'23接收，提出并論證Radix Tree是最適合分離式內(nèi)存架構(gòu)的范圍索引，并設(shè)計(jì)了第一個(gè)面向分離式內(nèi)存架構(gòu)的Radix Tree索引SMART。

華為云存儲(chǔ)創(chuàng)新LAB與華中科技大學(xué)合作撰寫論文，提出業(yè)界首個(gè)基于分離式內(nèi)存架構(gòu)的Learned Index (ROLEX)，被大會(huì)從收錄的24篇Regular Paper中選中，評(píng)選為最佳論文，成為國(guó)內(nèi)首次獲此殊榮的研究團(tuán)隊(duì)。

華為云存儲(chǔ)創(chuàng)新LAB聯(lián)合高校分別提出業(yè)界首個(gè)基于分離式內(nèi)存架構(gòu)的Fault-Tolerant Key-Value Store (FUSES)和Learned Index (ROLEX)。這是繼RACE Hashing (USENIX ATC’21)和FORD (FAST’22)之后，我們LAB在分離式內(nèi)存系統(tǒng)方向上的又兩個(gè)重要研究成果。

華為云存儲(chǔ)創(chuàng)新實(shí)驗(yàn)室和中科院計(jì)算所先進(jìn)計(jì)算機(jī)系統(tǒng)研究中心合作發(fā)表論文《HoPP: Hardware-Software Co-Designed Page Prefetching for Disaggregated Memory.》被重要學(xué)術(shù)會(huì)議HPCA'23接收，提出一個(gè)為分離式內(nèi)存設(shè)計(jì)的軟硬協(xié)同的可編程預(yù)取技術(shù)。

華為云存儲(chǔ)創(chuàng)新Lab聯(lián)合華中科技大學(xué)發(fā)表的論文《Tripod: Harmonizing Job Scheduling and Data Caching for Analytics Frameworks》被國(guó)際計(jì)算機(jī)設(shè)計(jì)大會(huì)IEEE ICCD’2022 接收，提出了一個(gè)協(xié)同任務(wù)調(diào)度與緩存管理的系統(tǒng)Tripod，可將計(jì)算引擎在單任務(wù)場(chǎng)景中的執(zhí)行效率提高至1.7倍，多任務(wù)場(chǎng)景中提高至2倍

華為云存儲(chǔ)創(chuàng)新Lab提出雙流的空間數(shù)據(jù)預(yù)取器DSDP的工作被PACT'2022錄用。論文為《DSDP: Dual Stream Data Prefetcher》。

華為云存儲(chǔ)創(chuàng)新Lab聯(lián)合EPFL大學(xué)在計(jì)算機(jī)系統(tǒng)領(lǐng)域頂級(jí)會(huì)議USENIX ATC'2022上發(fā)表一篇論文《uKharon: A Membership Service for Microsecond Applications》, 提出了云數(shù)據(jù)中心中基于RDMA的us級(jí)超低時(shí)延membership service，實(shí)現(xiàn)了50us的應(yīng)用failover time。

《FORD: Fast One-sided RDMA-based Distributed Transactions for Disaggregated Persistent Memory》是由華為云存儲(chǔ)創(chuàng)新Lab聯(lián)合華中科技大學(xué)發(fā)表在存儲(chǔ)領(lǐng)域頂級(jí)會(huì)議FAST'2022的文章。

《RACE: One-Sided RDMA-Conscious Extendible Hashing》是由華為云存儲(chǔ)創(chuàng)新Lab發(fā)表在存儲(chǔ)領(lǐng)域頂級(jí)期刊TOS'2022的文章。

華為云存儲(chǔ)創(chuàng)新實(shí)驗(yàn)室MemArts團(tuán)隊(duì)提出首個(gè)全單邊RDMA訪問的分布式哈希索引RACE Hashing的工作被USENIX ATC'21錄用。本次共投稿341篇論文，接收64篇，錄用率18.8%。RACE Hashing是華為云基礎(chǔ)設(shè)施向內(nèi)存中心架構(gòu)演進(jìn)的關(guān)鍵技術(shù)成果之一。

武漢大學(xué)計(jì)算機(jī)專業(yè)朱赫同學(xué)在2020年Cloud BU云存儲(chǔ)Lab實(shí)習(xí)期間，參與內(nèi)存索引技術(shù)研究工作表現(xiàn)突出，榮獲Cloud BU創(chuàng)新新星獎(jiǎng)。

華為發(fā)布云存儲(chǔ)All-Falsh戰(zhàn)略，并推出戰(zhàn)略落地的首款產(chǎn)品---全新一代極速IO云硬盤，標(biāo)志著華為云存儲(chǔ)正式從毫秒進(jìn)入微秒時(shí)代。該產(chǎn)品時(shí)延低至50~100us，并具有4GB/s帶寬和高達(dá)100萬IOPS性能，可滿足結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)庫、ELK分布式日志應(yīng)用以及流處理等場(chǎng)景對(duì)性能的極致要求，也是主流云廠商中首家進(jìn)入百微秒以內(nèi)的云硬盤。