异常信息

warn NettyRpcServer RPC data length of 842346544 received from IP is greater than max allowed 268435456,set "hbase.ipc.max.request.size" on server to override this limit(not recommended)

集群资源

        redis集群 8台 最大连接数1万

        CDH管理的主机100台左右

 数据规模

        5分钟的数据量在1亿左右,  一条数据大概300字节左右

需求逻辑

        消费kafka数据管理redis,redis数据也是实时更新的,入Hbase

        采取Flink异步IO的方式做处理,消费速度还可以

刚开始出现的问题:

        运行10天左右会出现一次hbase挂掉的,查日志没发现有用的信息,无意间看到WARN日志级别里有一条信息(如下),翻译过来说是hbase单表入库一次不能超过256MB,因为我程序sink端是78并行度,每个并行设置的是满10MB写入HBase一次,因此导致的这个问题,把并行度调小为39,满1MB写入,问题解决,没发生HBase挂掉的现象

推荐链接

评论可见，请评论后查看内容，谢谢！！！评论后请刷新页面。