Rowkey 長(zhǎng)度
Rowkey 是一個(gè)二進(jìn)制碼流，建議越短越好，一般不超過(guò) 16 個(gè)字節(jié)，主要是出于以下的考慮：
數(shù)據(jù)的持久化文件 HFile 中是按照 KeyValue 存儲(chǔ)的，即你寫(xiě)入的數(shù)據(jù)可能是一個(gè) RowKey 對(duì)應(yīng)多個(gè)列族，多個(gè)列，但是實(shí)際的存儲(chǔ)是每個(gè)列都會(huì)對(duì)應(yīng) Rowkey 寫(xiě)一遍，即這一條數(shù)據(jù)有多少個(gè)列，就會(huì)存儲(chǔ)多少遍 Rowkey，這會(huì)極大影響 HFile 的存儲(chǔ)效率
MemStore 和 BlockCache 都會(huì)將緩存部分?jǐn)?shù)據(jù)到內(nèi)存，如果 Rowkey 字段過(guò)長(zhǎng)內(nèi)存的有效利用率會(huì)降低，系統(tǒng)將無(wú)法緩存更多的數(shù)據(jù)，這會(huì)降低檢索效率。
目前操作系統(tǒng)一般都是 64 位系統(tǒng)，內(nèi)存 8 字節(jié)對(duì)齊。控制在 16 個(gè)字節(jié)，8 字節(jié)的整數(shù)倍，利用操作系統(tǒng)的最佳特性。
Rowkey 散列設(shè)計(jì)
HBase 的 Rowkey 是按照字典序排列的，而數(shù)據(jù)分布在 RegionServer 上的方式是做高位哈希，所以如果我們的 Rowkey 首位存在大量重復(fù)的值那么很可能會(huì)出現(xiàn)數(shù)據(jù)傾斜問(wèn)題，關(guān)于數(shù)據(jù)傾斜的問(wèn)題下面會(huì)詳細(xì)說(shuō)明，總之，原則上就是Rowkey 的首位盡量為散列。
常訪問(wèn)的數(shù)據(jù)放到一起
對(duì)于需要批量獲取的數(shù)據(jù)，比如某一天的數(shù)據(jù)，可以把一整天的數(shù)據(jù)存儲(chǔ)在一起，即把 rowkey 的高位設(shè)計(jì)為時(shí)間戳，這樣在讀數(shù)據(jù)的時(shí)候就可以指定 Start RowKey 和 End RowKey 做一個(gè) scan 操作，因?yàn)楦呶幌嗤?Rowkey 會(huì)存儲(chǔ)在一起，所以這樣讀是一個(gè)順序讀的過(guò)程，會(huì)比較高效。但是這樣有一個(gè)很明顯的問(wèn)題，違背了上一條Rowkey 散列設(shè)計(jì)原則，很可能會(huì)出現(xiàn)數(shù)據(jù)傾斜問(wèn)題。所以說(shuō)沒(méi)有最好的設(shè)計(jì)，具體如何權(quán)衡就得看實(shí)際業(yè)務(wù)場(chǎng)景了
更多關(guān)于大數(shù)據(jù)培訓(xùn)的問(wèn)題，歡迎咨詢千鋒教育在線名師，如果想要了解我們的師資、課程、項(xiàng)目實(shí)操的話可以點(diǎn)擊咨詢課程顧問(wèn)，獲取試聽(tīng)資格來(lái)試聽(tīng)我們的課程，在線零距離接觸千鋒教育大咖名師，讓你輕松從入門(mén)到精通。
京公網(wǎng)安備 11010802030320號(hào)