VLDB會(huì)議(International Conference on Very Large Data Bases)是全球數(shù)據(jù)庫(kù)系統(tǒng)領(lǐng)域最負(fù)盛名的三大頂級(jí)會(huì)議之一，VLDB’2023將于2023年8月28日-9月1日在加拿大溫哥華召開(kāi)。華為云存儲(chǔ)創(chuàng)新Lab和華中科技大學(xué)合作完成的SIEVE論文在本次會(huì)議上被接收。

【論文信息】

Yulai Tong (HUST), Jiazhen Liu (HUST), Hua Wang (HUST), Ke Zhou (HUST), Rongfeng He(Huawei),Qin Zhang(Huawei), Cheng Wang (Huawei). “Sieve: A Learned Data-Skipping Index for Data Analytics”. International Conference on Very Large Data Bases (VLDB), Vancouver, Canada-August 28 to September 1, 2023.

【論文簡(jiǎn)介】

       現(xiàn)代數(shù)據(jù)分析平臺(tái)通常使用Amazon S3等外部數(shù)據(jù)存儲(chǔ)服務(wù)相結(jié)合，以適應(yīng)異構(gòu)的工作負(fù)載并滿(mǎn)足擴(kuò)縮容需求。但是這種存算分離式的部署方式容易造成高昂的計(jì)算存儲(chǔ)瓶頸，嚴(yán)重影響任務(wù)的執(zhí)行效率。為了緩解這一瓶頸，云廠(chǎng)商廣泛使用MinMax, Bloom過(guò)濾器等數(shù)據(jù)過(guò)濾索引來(lái)減少需要傳輸?shù)臄?shù)據(jù)塊。然而，現(xiàn)有工作忽略了數(shù)據(jù)在數(shù)據(jù)塊中的分布模式，從而無(wú)法有效地利用有限的存儲(chǔ)預(yù)算。

       為了解決上述問(wèn)題，我們提出了一個(gè)通過(guò)感知數(shù)據(jù)分布來(lái)進(jìn)行數(shù)據(jù)過(guò)濾的索引Sieve。Sieve通過(guò)擬合數(shù)據(jù)在數(shù)據(jù)塊中的分布趨勢(shì)來(lái)權(quán)衡索引開(kāi)銷(xiāo)與過(guò)濾效果。我們?cè)谠诖罅空鎸?shí)數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn)，結(jié)果表明Sieve能夠在極少的索引開(kāi)銷(xiāo)下相較于現(xiàn)有工作減少40%-80%的訪(fǎng)問(wèn)數(shù)據(jù)，并且同時(shí)支持點(diǎn)、范圍查詢(xún)?nèi)蝿?wù)。