hBase之HTable踩坑

刚发布完,异常暴增,报警电话响个不停,看了下异常信息,竟然是这货:


HTable线程不安全引发的异常

看到这异常第一反应就是,完了,HTable线程不安全,我们来看看报错的源码部分,看看对谁的操作线程不安全:


发生异常的源码部分

从源码的标记可以看出,异常发生在批量写入数据提交后,writeBuffer操作移除掉已经写入成功的数据时。从writeBuffer的声明:private final ArrayList<Put> writeBuffer = new ArrayList<Put>();可以看出,这货其实就是一个常量数组,当多个线程同时操作它时,就会出现线程不安全导致的数组越界问题。那这个问题要怎么解决呢?在想解决方案之前我们还是先来简单了解下HTable。

HTable

在hBase中,HTable是其客户端和服务端通信的java api对象,主要提供对表的put/get/delete/scan等操作,它的创建很简单:

Configuration conf = HBaseConfiguration.create();
HTable hTable = new HTable(conf, "tableName");

HTable主要提供以下常用方法操作表:

  • 自动的检查row/family/qualifier是否与给定的值匹配:
public boolean checkAndPut(final byte[] row, final byte[] family, final byte[] qualifier, final byte[] value, final Put put) throws IOException
  • 获取指定行某些单元格对应的值:
public Result get(final Get get) throws IOException
  • 获取当前打开的表每个区域的结束键值:
public byte[][] getEndKeys() throws IOException
  • 获取当前给定列族的scanner实例:
public ResultScanner getScanner(final Scan scan) throws IOException
  • 获取当前表的HTableDescriptor实例:
public HTableDescriptor getTableDescriptor() throws IOException
  • 获取表名:
public byte [] getTableName()
  • 添加值:
public void put(final Put put) throws IOException
  • 删除指定单元格/行:
void delete(Delete delete) throws IOException
  • 释放所有的资源或挂起内部缓冲区中的更新:
void close() throws IOException
  • 检查Get实例所指定的值是否存在于HTable的列中:
boolean exists(Get get) throws IOException;

在使用HTable时需要注意:

  1. 创建HTable对象耗时较高,耗时较高的主要原因是hBase客户端在创建好HTable对象后会进行一些列的校验,包括表是否存在,是否有效等等;

  2. 在构造多个HTable对象时,hBase推荐多个HTable对象共享Configuration,这样,HTable之间便可共享HConnection对象,zookeeper信息以及Region地址的缓存信息;

  3. HTable线程不安全,在多线程的场景下,线程一定不能共用HTable,一定要给每一个线程都创建一个HTable。

HTable的这些问题,HTablePool可以解决,它为HBase集群提供了客户端连接池。

HTablePool

跟ThreadPoolExecutor一样:

  • HTablePool屏蔽了HTable创建过程,避免了多线程间数据并发修改问题;

  • 维护固定数量的HTable对象,能够在程序运行期间复用这些HTable资源对象,减少了不断创建HTable对象带来的性能消耗;

  • HTablePool中的HTable对象之间是公用Configuration连接的,能够可以减少网络开销。

我们来个简单的例子看看HTablePool如何使用:

Configuration conf = HBaseConfiguration.create();
HTablePool pool = new HTablePool(conf, 10);
HTable hTable = (HTable) pool.getTable("tableName");
try {
      Put put = new Put(Bytes.toBytes("rowKey"));
      put.add(FAMILY, QUALIFIER, Bytes.toBytes("content"));
      hTable.put(put);
} finally {
      //释放资源
      hTable.close();
}

后记

到这里为止,本文最开始给出的问题的解决方案其实就有了:

  1. 使用HTablePool管理HTable,多个线程不要共用HTable对象;

  2. 每个线程使用完HTable对象后需要将资源释放后再放回HTablePool复用。

注:HTablePool是hBase连接池的老用法,该类在0.94、0.95和0.96版本中已不建议使用,并且在0.98.1版本以后已移除。本文选择HTablePool方案也是因为项目使用的hBase客户端版本较低。至于为什么要废弃掉HTablePool将会在后文做详细分析~

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,039评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,223评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,916评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,009评论 1 291
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,030评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,011评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,934评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,754评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,202评论 1 309
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,433评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,590评论 1 346
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,321评论 5 342
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,917评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,568评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,738评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,583评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,482评论 2 352

推荐阅读更多精彩内容

  • 1.ios高性能编程 (1).内层 最小的内层平均值和峰值(2).耗电量 高效的算法和数据结构(3).初始化时...
    欧辰_OSR阅读 29,369评论 8 265
  • Swift1> Swift和OC的区别1.1> Swift没有地址/指针的概念1.2> 泛型1.3> 类型严谨 对...
    cosWriter阅读 11,096评论 1 32
  • 元旦假期,城里雾霾太重。把车开上高架桥,望远天际,亦梦亦幻,像是西天极乐世界。呼吸实在费劲,索性把车开进山里,躲一...
    海月先生阅读 527评论 0 4
  • 血红的眼睛 我看着刀上的鲜血,倒在地上的一对情...
    请叫我大总攻阅读 189评论 3 3
  • 亲爱的同学们: 地球——是我们生存的家园。地球上的水资源、生物资源、大气资源、森林资源都是我们缺一不可的生活条件。...
    梦璃飘阅读 199评论 0 0