排列五直选复式投注:启用HBase内存压缩

由 Carrie 创建, 最后一次修改 2018-07-13

排列五发现一个规律 www.g42ek.com.cn 要启用HBase的内存压缩,请在您希望的行为的每个列族上设置IN_MEMORY_COMPACTION属性。该IN_MEMORY_COMPACTION属性可以是四个值之一:

  • NONE:没有内存压缩。
  • BASIC:基本策略允许刷新并保持一个刷新管道,直到我们跳过管道最大阈值,然后我们刷新到磁盘。没有内存压缩,但可以帮助提高吞吐量,因为数据从挥霍的原生ConcurrentSkipListMap数据类型转移到更紧凑(和高效)的数据类型。
  • EAGER:这是基本的策略加上内存压缩的刷新(很像是对hfiles进行的磁盘上压缩);在压缩时,我们应用磁盘规则来消除版本,重复,ttl'd单元格等。
  • ADAPTIVE:自适应压缩适应工作负载。它根据数据中重复单元格的比例应用索引压缩或数据压缩。实验。

要在radish表中的info列系列上启用BASIC,请禁用该表并将该属性添加到info列族,然后重新启用:

hbase(main):002:0> disable 'radish'
Took 0.5570 seconds
hbase(main):003:0> alter 'radish', {NAME => 'info', IN_MEMORY_COMPACTION => 'BASIC'}
Updating all regions with the new schema...
All regions updated.
Done.
Took 1.2413 seconds
hbase(main):004:0> describe 'radish'
Table radish is DISABLED
radish
COLUMN FAMILIES DESCRIPTION
{NAME => 'info', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE => 'false', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'false', IN_MEMORY => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false', COMPRESSION => 'NONE', BLOCKCACHE => 'true', BLOCKSIZE => '65536', METADATA => {
'IN_MEMORY_COMPACTION' => 'BASIC'}}
1 row(s)
Took 0.0239 seconds
hbase(main):005:0> enable 'radish'
Took 0.7537 seconds

请注意IN_MEMORY_COMPACTION属性如何显示为METADATA映射的一部分。

还有一个全局配置hbase.hregion.compacting.memstore.type,您可以在hbase-site.xml文件中设置该配置。使用它来设置创建新表时的默认值(在创建列族存储时,我们首先查看列族配置,以查找IN_MEMORY_COMPACTION设置 ,如果没有,我们将查询hbase.hregion.compacting.memstore .type值使用其内容;默认为BASIC)。

默认情况下,新的hbase系统表将具有BASIC内存中压缩集。若要另行指定,在新表创建时,将hbase.hregion.compacting.memstore.type设置为NONE(注意,设置此值后创建系统表将不具有追溯效果;您将必须更改表以设置内存属性为NONE)。

当内存刷新发生时,通过将已配置的区域刷新大?。ㄔ诒砻枋龇猩柚没虼觝base.hregion.memstore.flush.size读?。┏粤凶迨?,然后乘以hbase.memstore.inmemoryflush.threshold.factor来计算。默认值为0.014。

监视管道承载的刷新次数,以便符合memstore大小调整的范围,但您也可以通过设置hbase.hregion.compacting.pipeline.segments.limit来设置总刷新次数的最大值。默认值为2。

创建列族Store时,它会说明哪些memstore类型有效。在撰写本文时,有一个老式的DefaultMemStore,它填充ConcurrentSkipListMap,然后刷新到磁盘或新的CompactingMemStore,它是提供这种新的内存中压缩工具的实现。以下是来自RegionServer的日志行,该日志行显示了一个名为family的列族Store,配置为使用CompactingMemStore:

请注意IN_MEMORY_COMPACTION属性如何显示为_METADATA_映射的一部分。
2018-03-30 11:02:24,466 INFO [Time-limited test] regionserver.HStore(325):Store = family,memstore type = CompactingMemStore,storagePolicy = HOT,verifyBulkLoads = false,parallelPutCountPrintThreshold = 10

在CompactingMemStore类(org.apache.hadoop.hbase.regionserver.CompactingMemStore)上启用TRACE级别日志记录,以查看其操作的详细信息。

以上内容是否对您有帮助:
laravel郭孟涛
二维码
排列五发现一个规律
二维码
  • 澳门修订《司法组织纲要法》 涉国安法案件限中国籍法官审理 2018-12-12
  • 江西人存款1.66万亿元 2018-12-12
  • 蜈蚣精的出游必备战靴 旅行路上皆战场 2018-12-11
  • [微笑]原因很简单:房产的升值是由关联资源的增加形成的,跟房屋的产权人没有任何关系,肯定就不能让其从中获利! 2018-12-11
  • 精彩画面—国际摩托车滚雷巡游节 2018-12-10
  • 政协天津市第十四届委员会委员增补名单 2018-12-09
  • 你一人就代表了世人? 2018-12-09
  • 万物互联开启智慧新图景 下一代互联网未来已来 2018-12-08
  • 第十二届中国(南宁)国际园林博览会吉祥物正式发布 2018-12-08
  • 重走北上民主人士在沈阳活动之路 2018-12-07
  • 【理上网来·辉煌十九大】俄罗斯科学家:受到习主席接见印象深刻 2018-12-07
  • 《在人间》第152期:美国穷困之地的华裔 2018-12-06
  • 我们为什么不能做水而要做面团呢?水无形而面有形。 2018-12-06
  • 人人车春季消费报告用户篇 全景呈现消费行为习惯 2018-12-05
  • 【三年决战奔小康】一封来自甘南精准扶贫户的感谢信 2018-12-04
  • 962| 156| 591| 520| 867| 107| 10| 547| 775| 372|