排列五复式投注计算表:启用HBase内存压缩

由 Carrie 创建, 最后一次修改 2018-07-13

排列五发现一个规律 www.g42ek.com.cn 要启用HBase的内存压缩,请在您希望的行为的每个列族上设置IN_MEMORY_COMPACTION属性。该IN_MEMORY_COMPACTION属性可以是四个值之一:

  • NONE:没有内存压缩。
  • BASIC:基本策略允许刷新并保持一个刷新管道,直到我们跳过管道最大阈值,然后我们刷新到磁盘。没有内存压缩,但可以帮助提高吞吐量,因为数据从挥霍的原生ConcurrentSkipListMap数据类型转移到更紧凑(和高效)的数据类型。
  • EAGER:这是基本的策略加上内存压缩的刷新(很像是对hfiles进行的磁盘上压缩);在压缩时,我们应用磁盘规则来消除版本,重复,ttl'd单元格等。
  • ADAPTIVE:自适应压缩适应工作负载。它根据数据中重复单元格的比例应用索引压缩或数据压缩。实验。

要在radish表中的info列系列上启用BASIC,请禁用该表并将该属性添加到info列族,然后重新启用:

hbase(main):002:0> disable 'radish'
Took 0.5570 seconds
hbase(main):003:0> alter 'radish', {NAME => 'info', IN_MEMORY_COMPACTION => 'BASIC'}
Updating all regions with the new schema...
All regions updated.
Done.
Took 1.2413 seconds
hbase(main):004:0> describe 'radish'
Table radish is DISABLED
radish
COLUMN FAMILIES DESCRIPTION
{NAME => 'info', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE => 'false', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'false', IN_MEMORY => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false', COMPRESSION => 'NONE', BLOCKCACHE => 'true', BLOCKSIZE => '65536', METADATA => {
'IN_MEMORY_COMPACTION' => 'BASIC'}}
1 row(s)
Took 0.0239 seconds
hbase(main):005:0> enable 'radish'
Took 0.7537 seconds

请注意IN_MEMORY_COMPACTION属性如何显示为METADATA映射的一部分。

还有一个全局配置hbase.hregion.compacting.memstore.type,您可以在hbase-site.xml文件中设置该配置。使用它来设置创建新表时的默认值(在创建列族存储时,我们首先查看列族配置,以查找IN_MEMORY_COMPACTION设置 ,如果没有,我们将查询hbase.hregion.compacting.memstore .type值使用其内容;默认为BASIC)。

默认情况下,新的hbase系统表将具有BASIC内存中压缩集。若要另行指定,在新表创建时,将hbase.hregion.compacting.memstore.type设置为NONE(注意,设置此值后创建系统表将不具有追溯效果;您将必须更改表以设置内存属性为NONE)。

当内存刷新发生时,通过将已配置的区域刷新大?。ㄔ诒砻枋龇猩柚没虼觝base.hregion.memstore.flush.size读?。┏粤凶迨?,然后乘以hbase.memstore.inmemoryflush.threshold.factor来计算。默认值为0.014。

监视管道承载的刷新次数,以便符合memstore大小调整的范围,但您也可以通过设置hbase.hregion.compacting.pipeline.segments.limit来设置总刷新次数的最大值。默认值为2。

创建列族Store时,它会说明哪些memstore类型有效。在撰写本文时,有一个老式的DefaultMemStore,它填充ConcurrentSkipListMap,然后刷新到磁盘或新的CompactingMemStore,它是提供这种新的内存中压缩工具的实现。以下是来自RegionServer的日志行,该日志行显示了一个名为family的列族Store,配置为使用CompactingMemStore:

请注意IN_MEMORY_COMPACTION属性如何显示为_METADATA_映射的一部分。
2018-03-30 11:02:24,466 INFO [Time-limited test] regionserver.HStore(325):Store = family,memstore type = CompactingMemStore,storagePolicy = HOT,verifyBulkLoads = false,parallelPutCountPrintThreshold = 10

在CompactingMemStore类(org.apache.hadoop.hbase.regionserver.CompactingMemStore)上启用TRACE级别日志记录,以查看其操作的详细信息。

以上内容是否对您有帮助:
硅心科技
二维码
排列五发现一个规律
二维码
  • 红十字日:江西发布红十字会会歌《阳光·天使》 2019-04-20
  • 回复@老老保老张工:这不是歪想也,谁敢保证你害羞的时候没有任务?你不上报别人怎么计划? 2019-04-20
  • 【高清】傈僳族乡村女教师熊文碧:背着娃娃教书 2019-04-19
  • 预热世界杯 玩法各异!3张竞彩红单了解一下 2019-04-19
  • 新加坡航空将开通 全球最长商业航线 2019-04-18
  • 保定市:探索“三社联动”社区治理模式 2019-04-17
  • 传说中的自由飞“翔” 当厕所被狂风吹上天 2019-04-17
  • 第524期:有了脂肪肝,膳食营养要从这五方面调整 2019-04-16
  • 为了民族复兴·英雄烈士谱 2019-04-16
  • 西南华南等地将有较强降水 东北华北有对流性天气 2019-04-15
  • 端午新经济体验无处不在 “指尖端午”玩出新花样 2019-04-15
  • 首届尧都文化旅游节新闻发布会在京举行 诚邀八方客感受帝尧魅力 2019-04-14
  • 端午节假期间全国道路交通平稳有序 2019-04-13
  • 危险!村民掉入深120米山洞  消防官兵紧急救援 2019-04-12
  • 不只广东有爱情故事,新疆也有,还刷爆抖音! 2019-04-12
  • 175| 362| 655| 448| 110| 973| 412| 601| 325| 324|