hbase 常用参数

摘自:http://debugo.com/hbase-params/

通用和master配置
hbase.rootdir

默认: file:///tmp/hbase-${user.name}/hbase
region server的数据根目录,用来持久化HBase。例如,要表示hdfs中的’/hbase’目录,namenode 运行在debugo01的8020端口,则需要设置为hdfs:// debugo01:8020/hbase。这个是必须要设置的项目,默认值本地文件系统的/tmp只能在单机模式使用。

hbase.master.port

默认: 60000
HBase的Master服务端口。

hbase.cluster.distributed

默认: false
HBase的运行模式。false是单机模式,true是分布式模式。若为false,HBase和Zookeeper会运行在同一个JVM里面。

hbase.tmp.dir

本地的临时目录。需要注意的是默认的/tmp会在重启时清空。
默认: /tmp/hbase-${user.name}

hbase.master.info.port

默认: 60010
HBase Master web UI的端口. 设置为-1 则不运行web UI。

hbase.master.info.bindAddress

默认: 0.0.0.0
HBase Master web UI绑定的IP

hbase.master.dns.interface

当使用DNS的时候,Master用来上报的IP地址的网络接口名字。
默认: default

hbase.master.dns.nameserver

当使用DNS的时候,RegionServer的DNS域名或者IP 地址,Master用它来确定用来进行通讯的域名.
默认: default

hbase.snapshot.enabled

是否启用snapshot功能。
默认值:true

hbase.balancer.period

Master执行region balancer的间隔。
默认: 300000

hbase.master.logcleaner.ttl

Hlog存在于.oldlogdir 文件夹的最长时间, 超过了就会被 Master 的线程清理掉.
默认: 600000

hbase.master.logcleaner.plugins

LogsCleaner服务会执行的一组LogCleanerDelegat。值用逗号间隔的文本表示。这些WAL/HLog cleaners会按顺序调用。可以把先调用的放在前面。你可以实现自己的LogCleanerDelegat,加到Classpath下,然后在这里写下类的全称。一般都是加在默认值的前面。
默认: org.apache.hadoop.hbase.master.TimeToLiveLogCleaner

hbase.rest.port

HBase REST server的端口
默认: 8080

hbase.rest.readonly

定义REST server的运行模式。可以设置成如下的值: false: 所有的HTTP请求都是被允许的 – GET/PUT/POST/DELETE. true:只有GET请求是被允许的
默认: false

hbase.coprocessor.master.classes

Master所使用的协处理器类名。多个类的情况下使用逗号分割。比如使用org.apache.hadoop.hbase.security.access.AccessController提供了安全管控能力。
默认: null。

hbase.rpc.engine

HBase使用的rpc引擎类。一般使用带安全验证的org.apache.hadoop.hbase.ipc. SecureRpcEngine类
默认: null。

** RegionServer相关**
hbase.regionserver.port

默认: 60020
HBase RegionServer绑定的端口

hbase.regionserver.info.port

默认: 60030
HBase RegionServer web 界面绑定的端口。设置为-1 则不运行web UI

hbase.regionserver.info.port.auto

默认: false
RegionServer是否在当hbase.regionsever.info.port已经被占用的时候,可以搜一个空闲的端口绑定。默认关闭。

hbase.regionserver.info.bindAddress

默认: 0.0.0.0
HBase RegionServer web 界面的IP地址

hbase.regionserver.class

默认: org.apache.hadoop.hbase.ipc.HRegionInterface
RegionServer接口类。客户端在连接region server的时候会使用到。

hbase.regionserver.lease.period

默认: 60000
客户端租用HRegion server 期限,即超时阀值。单位是毫秒。默认情况下,客户端必须在这个时间内发一条信息,否则视为死掉。

hbase.regionserver.handler.count

默认: 10
RegionServers受理的RPC Server实例数量。对于Master来说,这个属性是Master受理的handler数量

hbase.regionserver.msginterval

默认: 3000
RegionServer 发消息给 Master 时间间隔,单位是毫秒

hbase.regionserver.optionallogflushinterval

默认: 1000
将Hlog同步到HDFS的间隔。如果Hlog没有积累到一定的数量,到了时间,也会触发同步。默认是1秒,单位毫秒。

hbase.regionserver.regionSplitLimit

默认: 2147483647
region的数量到了这个值后就不会在分裂了。这不是一个region数量的硬性限制。但是起到了一定指导性的作用。默认是MAX_INT(不限制)。

hbase.regionserver.logroll.period

默认: 3600000
提交commit log的间隔,不管有没有写足够的值。

hbase.regionserver.hlog.enabled

默认:true
是否启用WAL

hbase.regionserver.wal.enablecompression

默认:false
是否对日志压缩

hbase.regionserver.hlog.reader.impl

默认: org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogReader
HLog file reader 的实现.

hbase.regionserver.hlog.writer.impl

默认: org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogWriter
HLog file writer 的实现.

hbase.regionserver.thread.splitcompactcheckfrequency

默认: 20000
region server 多久执行一次split/compaction 检查.

hbase.regionserver.nbreservationblocks

默认: 4
储备的内存block的数量(译者注:就像石油储备一样)。当发生out of memory 异常的时候,我们可以用这些内存在RegionServer停止之前做清理操作。

hbase.regionserver.dns.interface

默认: default
当使用DNS的时候,RegionServer用来上报的IP地址的网络接口名字。

hbase.regionserver.dns.nameserver

默认: default
当使用DNS的时候,RegionServer使用的DNS的域名或者IP 地址,RegionServer用它来确定和master用来进行通讯的域名.

hbase.regions.slop

默认: 0
当任一regionserver有average + (average * slop)个region是会执行Rebalance

hbase.regionserver.global.memstore.upperLimit

默认: 0.4
单个region server的全部memtores的最大值。超过这个值,一个新的update操作会被挂起,强制执行flush操作。

hbase.regionserver.global.memstore.lowerLimit

默认: 0.35
当强制执行flush操作的时候,当低于这个值的时候,flush会停止。默认是堆大小的 35% . 如果这个值和 hbase.regionserver.global.memstore.upperLimit 相同就意味着当update操作因为内存限制被挂起时,会尽量少的执行flush(译者注:一旦执行flush,值就会比下限要低,不再执行)

hbase.coprocessor.regionserver.classes

Master所使用的协处理器类名。多个类的情况下使用逗号分割。比如使用org.apache.hadoop.hbase.security.access.AccessController提供了安全管控能力。
默认: null。

Client相关参数
hbase.client.write.buffer

默认: 2097152
HTable客户端的写缓冲的默认大小。因为缓冲在客户端和服务端需要申请空间,需要消耗客户端和服务端两个地方的内存。较大的buffer,可以减少RPC的次数,从而提高性能。估算服务器端被占用的内存: hbase.client.write.buffer * hbase.regionserver.handler.count

hbase.client.pause

默认: 1000
客户端操作失败后的重试暂停时间。

hbase.client.retries.number

默认: 10
客户端失败后的最大重试次数。例如region查询,get,Update等操作。

hbase.client.scanner.caching

默认: 1
当调用Scanner的next方法,而值又不在缓存里的时候,从服务端一次获取的行数。越大的值意味着Scanner会快一些,但是会占用更多的内存。当缓冲被占满的时候,next方法调用会越来越慢。慢到一定程度,可能会导致超时。例如超过了hbase.regionserver.lease.period。

hbase.client.keyvalue.maxsize

默认: 10485760
一个KeyValue实例的最大size.这个是用来设置存储文件中的单个entry的大小上界。因为一个KeyValue是不能分割的,所以可以避免因为数据过大导致region不可分割。明智的做法是把它设为可以被最大region size整除的数。如果设置为0或者更小,就会禁用这个检查。默认10MB。

** ZooKeeper相关**
hbase.zookeeper.dns.interface

当使用DNS的时候,Zookeeper用来上报的IP地址的网络接口名字。
默认: default

hbase.zookeeper.dns.nameserver

默认: default
当使用DNS的时候,Zookeepr使用的DNS的域名或者IP 地址,Zookeeper用它来确定和master用来进行通讯的域名.

zookeeper.session.timeout

默认: 180000
ZooKeeper 会话超时.HBase把这个值传递改zk集群,向他推荐一个会话的最大超时时间。单位是毫秒。

zookeeper.znode.parent

默认: /hbase
ZooKeeper中的HBase的根ZNode。所有的HBase的ZooKeeper会用这个目录配置相对路径。默认情况下,所有的HBase的ZooKeeper文件路径是用相对路径,所以他们会都去这个目录下面。

zookeeper.znode.rootserver

默认: root-region-server
ZNode 保存的根region的路径. 这个值是由Master来写,client和regionserver 来读的。如果设为一个相对地址,父目录就是 ${zookeeper.znode.parent}.默认情形下,意味着根region的路径存储在/hbase/root-region-server.

hbase.zookeeper.quorum

默认: localhost
Zookeeper集群的地址列表,用逗号分割。例如:”host1.mydomain.com,host2.mydomain.com,host3.mydomain.com”.默认是localhost,如果在hbase-env.sh设置了HBASE_MANAGES_ZK,这些ZooKeeper节点就会和HBase一起启动。

hbase.zookeeper.peerport

默认: 2888
ZooKeeper节点使用的端口。

hbase.zookeeper.leaderport

默认: 3888
ZooKeeper用来选择Leader的端口。

hbase.zookeeper.property.initLimit

默认: 10
ZooKeeper的zoo.conf中的配置。 初始化synchronization阶段的ticks数量限制

hbase.zookeeper.property.syncLimit

默认: 5
ZooKeeper的zoo.conf中的配置。 发送一个请求到获得承认之间的ticks的数量限制

hbase.zookeeper.property.dataDir

默认: ${hbase.tmp.dir}/zookeeper
ZooKeeper的zoo.conf中的配置。 快照的存储位置

hbase.zookeeper.property.clientPort

默认: 2181
ZooKeeper的zoo.conf中的配置。 客户端连接的端口

hbase.zookeeper.property.maxClientCnxns

默认: 2000
ZooKeeper的zoo.conf中的配置。 ZooKeeper集群中的单个节点接受的单个Client(以IP区分)的请求的并发数。这个值可以调高一点,防止在单机和伪分布式模式中出问题。

模式和存储相关
hbase.table.max.rowsize

默认: true
设置为true时,当模式在反生变更操作时则锁定zookeeper中的表,以避免并行操作时破坏表的一致性。

hbase.table.max.rowsize

默认:1073741824
当不指定Get和Scan操作中的scan选项时,获取的最大行的字节大小。超过则抛出RowTooBigException异常。

hbase.hregion.memstore.flush.size

默认: 67108864
当memstore的大小超过这个值,会flush到磁盘。这个值被一个线程每隔hbase.server.thread.wakefrequency检查一下。

hbase.server.thread.wakefrequency

默认: 10000
Service线程(log roller等)的sleep时间间隔,单位毫秒。

hbase.hregion.preclose.flush.size

默认: 5242880
当一个region中的memstore的大小大于这个值的时候,我们又触发了close.会先运行“pre-flush”操作,清理这个需要关闭的memstore,然后将这个region下线。当一个region下线了,我们无法再进行任何写操作。如果一个memstore很大的时候,flush操作会消耗很多时间。”pre-flush”操作意味着在region下线之前,会先把memstore清空。这样在最终执行close操作的时候,flush操作会很快。

hbase.hregion.memstore.block.multiplier

默认: 2
如果memstore有hbase.hregion.memstore.block.multiplier倍数的hbase.hregion.flush.size的大小,就会阻塞update操作。这是为了预防在update高峰期会导致的失控。如果不设上界,flush的时候会花很长的时间来合并或者分割,最坏的情况就是引发out of memory异常。

hbase.hregion.memstore.mslab.enabled

默认: false
体验特性:启用memStore分配本地缓冲区。这个特性是为了防止在大量写负载的时候堆的碎片过多。这可以减少GC操作的频率。

hbase.hregion.max.filesize

默认: 268435456
最大HStoreFile大小。若某个Column families的HStoreFile增长达到这个值,这个Hegion会被切割成两个。 Default: 256M.

hbase.hstore.compactionThreshold

默认: 3
当一个HStore含有多于这个值的HStoreFiles的时候,会执行一个合并操作,把这HStoreFiles写成一个。这个值越大,需要合并的时间就越长。

hbase.hstore.blockingStoreFiles

默认: 7
当一个HStore含有多于这个值的HStoreFiles的时候,会执行一个合并操作,update会阻塞直到合并完成,直到超过了hbase.hstore.blockingWaitTime的值

hbase.hstore.blockingWaitTime

默认: 90000
hbase.hstore.blockingStoreFiles所限制的StoreFile数量会导致update阻塞,这个时间是来限制阻塞时间的。当超过了这个时间,HRegion会停止阻塞update操作,不过合并还有没有完成。默认为90s.

hbase.hstore.compaction.max

默认: 10
每个“小”合并的HStoreFiles最大数量。

hbase.hregion.majorcompaction

默认: 86400000
一个Region中的所有HStoreFile的major compactions的时间间隔。默认是1天。 设置为0就是禁用这个功能。

hbase.mapreduce.hfileoutputformat.blocksize

默认: 65536
MapReduce中HFileOutputFormat可以写 storefiles/hfiles. 这个值是hfile的blocksize的最小值。通常在HBase写Hfile的时候,bloocksize是由table schema(HColumnDescriptor)决定的,但是在mapreduce写的时候,我们无法获取schema中blocksize。这个值越小,你的索引就越大,你随机访问需要获取的数据就越小。如果你的cell都很小,而且你需要更快的随机访问,可以把这个值调低。

hfile.block.cache.size

默认: 0.2
分配给HFile/StoreFile的block cache占最大堆(-Xmx setting)的比例。默认是20%,设置为0就是不分配。

hbase.hash.type

默认: murmur
哈希函数使用的哈希算法。可以使用MurmurHash和 jenkins (JenkinsHash). 提供给 bloom filters使用.

** 安全相关**
hbase.security.authentication

HBase的权限管控方式。可选输入为simple和kerberos。
默认值:simple

hbase.security.authentication

是否启用HBase安全验证。
默认:false

hbase.superuser

HBase的超级管理员用户。
默认值:hbase

hbase.master.keytab.file

默认:
开启基于kerberos的Security。HMaster Server验证登录使用的keytab 文件路径。

hbase.master.kerberos.principal

默认:
开启基于kerberos的Security。HMaster使用principal name。

hbase.regionserver.keytab.file

默认:
开启基于kerberos的Security。HRegionServer验证登录使用的keytab 文件路径。

hbase.regionserver.kerberos.principal

默认:
开启基于kerberos的Security。RegionServer使用的principal name。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,968评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,601评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,220评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,416评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,425评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,144评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,432评论 3 401
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,088评论 0 261
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,586评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,028评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,137评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,783评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,343评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,333评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,559评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,595评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,901评论 2 345

推荐阅读更多精彩内容