本文目录
- hbase的配置模式不包括
- hbase可以list但创建表报错
- Spring Data Hbase
- hbase 的数据存储及Region变化（flush compaction spilt）和性能调优
- hbase分布式安装时需要将配置文件
- hbase怎么查看配置文件
- idea中配置环境Spark3.0操作Hbase1.3.6
hbase的配置模式不包括
双机模式。HBase配置模式包括三种，单机模式、伪分布式模式、完全分布式模式，并不包括双机模式。
hbase可以list但创建表报错
配置错误。1、首先修改hbase-site.xml配置文件，把hbase.rootdir修改成hbase.root.dir。2、其次同步实际。3、然后在里面添加以下命令。4、最后重启即可。
Spring Data Hbase
***隐藏网址*** 通过hbase-configuration命名空间元素（或其支持HbaseConfigurationFactoryBean）为HBase提供基本配置。 配置连接 属性和配置文件 核心HbaseTemplate--一个与HBase交互的高层次抽象。该模板需要HBase配置，一旦设置，该模板就是线程安全的，并且可以同时在多个实例中重用： 使用例子 配置文件例子
hbase 的数据存储及Region变化（flush compaction spilt）和性能调优
1. 对表做预分区处理（即在建表时指定Region数量和拆分边界）； 2.配置hbase.hregion.max.filesize为50GB 以fileServer为例，在使用默认的split策略--IncreasingToUpperBoundRegionSplitPolicy 的情况下，16个预分区Region, 则单个Resion容量达到 min(32,50),即32GB时分裂。 3.修改Linux最大文件句柄数 因为hbase是以文件的形式存储数据，最大文件句柄数影响着hbase的并发量。 用root权限修改/etc/security/limits.conf文件，增加以下内容（前面的*不能忽略）：* soft nproc 10240 * hard nproc 10240 * soft nofile 10240 * hard nofile 10240 /etc/pam.d/common-session，加入一行session required pam_limits.so /etc/profile，加入ulimit -SHn 51200重新登陆，生效 4.HRegionServer挂掉异常和解决： is not online on......常规解决方案： 删除zk中hbase的缓存 重启hbase 使用上述解决方案后本次异常依旧存在，并且HMaster和HRegionServer都不断的自动挂掉。 HMaster报错：解决方案： 新增配置（看情况决定使用不使用，建议在HMaster不能启动时排除错误使用）（让启动hbase时只让HMaster去进行日志split，缺点是恢复数据时候速度慢）：《property》 《name》hbase.master.distributed.log.splitting《/name》 《value》false《/value》 《/property》 删除WAL文件（会丢数据）： 6. RPC请求的最大线程数 hbase.regionserver.handler.count 默认是10，在服务器测试时建议设置到50（经测试在单个Region Server时无用，单个RegionServer 最多在6个线程put时保持稳定） 7.日志分割（hbase出错后恢复数据） MemStore中大量更新丢失时，对数据进行恢复时会做日志分割 hbase.regionserver.hlog.splitlog.writer.threads 日志分割的线程数， 默认为3 ，建议设定为10 8.Region Server频繁掉线 出现Hbase Region Server频繁掉线的情况，表现为在多线程put的情况下，忽然Hbase Region Server掉线 猜测是GC或者split过程中没有及时和ZK通信，导致与ZK连接时间超时，zk返回dead region到master，当Hbase Region恢复正常后，找不到wal,产生如下报错。 zookeeper.session.timeout ：默认值是3分钟 但是 hbase regionserver和zookeeper的timeout不是单方面决定的，是取决于hbase的zookeeper.session.timeout和zookeeper的MaxSessionTimeout中的最小值 配置hbase: zookeeper.session.timeout 600000配置zookeeper:tickTime=300009.内存及GC优化 在测试的过程中依旧出现Hbase Region Server掉线的情况，报错如下 2021-02-0318:49:14,091INFO 2021-02-0318:49:14,091WARNwal.MetricsWAL: regionserver/botsc/192.168.0.107:16020.append-pool5-t1 took1953ms appending an edit to wal; len~=109 2021-02-0318:49:14,106ERRORwal.FSHLog:Errorsyncing, request close of WAL java.io .IOException:io.grpc.StatusRuntimeException: CANCELLED: Failed to stream message at seaweed.hdfs.SeaweedOutputStream.flushWrittenBytesToServiceInternal(SeaweedOutputStream.java:78) at seaweed.hdfs.SeaweedOutputStream.flushWrittenBytesToServiceAsync(SeaweedOutputStream.java:263) at seaweed.hdfs.SeaweedOutputStream.flushInternalAsync(SeaweedOutputStream.java:243) at seaweed.hdfs.SeaweedOutputStream.flush(SeaweedOutputStream.java:129) at java.io .FilterOutputStream.flush(FilterOutputStream.java:140) at java.io .DataOutputStream.flush(DataOutputStream.java:123) at org.apache.hadoop.hbase.regionserver.wal.ProtobufLogWriter.sync(ProtobufLogWriter.java:170) at org.apache.hadoop.hbase.regionserver.wal.FSHLog$SyncRunner.run(FSHLog.java:1286) at java.lang.Thread.run(Thread.java:748)修改hbase的配置文件hbase-env.sh，GC优化如下：export HBASE_HEAPSIZE=21384 export master_heapsize=8292 export regionserver_heapsize=21384 export HBASE_OPTS="$HBASE_OPTS -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=60 -XX:+UseParNewGC -XX:ParallelGCThreads=6" export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS $HBASE_JMX_BASE -Xmx8g -Xms8g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70" export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS $HBASE_JMX_BASE -Xmx20g -Xms20g -Xmn1g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70"
hbase分布式安装时需要将配置文件
hbase分布式安装时需要将配置文件？回答如下：配置文件是为了合理分布，挺不错的，该问题易解决，举一反三，活跃在良好的网络氛围，行为习惯良好。认可度极高！
hbase怎么查看配置文件
hbase有本地模式和分布式模式hbase-site.xml配置hbase.tmp.dir本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很多文件都会默认设置成它下面的线上配置《property》《name》hbase.tmp.dir《/name》《value》/mnt/路径《/value》《/property》默认值：${java.io.tmpdir}/hbase-${user.name}写到系统的/tmp目录hbase.rootdirHBase集群中所有RegionServer共享目录，用来持久化HBase的数据，一般设置的是hdfs的文件目录，如hdfs://master:9000/hbasedata线上配置《property》《name》hbase.rootdir《/name》《value》hdfs://master:9000/hbasedata《/value》《/property》默认值：${hbase.tmp.dir}/hbasehbase.cluster.distributed集群的模式，分布式还是单机模式，如果设置成false的话，HBase进程和Zookeeper进程在同一个JVM进程。线上配置为true默认值：falsehbase.zookeeper.quorumzookeeper集群的URL配置，多个host中间用逗号分割线上配置《property》《name》hbase.zookeeper.quorum《/name》《value》master,slave,slave1《/value》《/property》默认值：localhosthbase.zookeeper.property.dataDirZooKeeper的zoo.conf中的配置。 快照的存储位置线上配置：/home/hadoop/zookeeperData默认值：${hbase.tmp.dir}/zookeeperzookeeper.session.timeout客户端与zk连接超时时间线上配置：1200000（20min）默认值：180000（3min）hbase.zookeeper.property.tickTimeClient端与zk发送心跳的时间间隔线上配置：6000（6s）默认值：6000hbase.security.authenticationHBase集群安全认证机制，目前的版本只支持kerberos安全认证。线上配置：kerberos默认值：空hbase.security.authorizationHBase是否开启安全授权机制线上配置： true默认值： falsehbase.regionserver.kerberos.principalregionserver的kerberos认证的主体名称（由三部分组成：服务或用户名称、实例名称以及域名）线上配置：hbase/_HOST@HADOOP.xxx.xxx.COM默认：无hbase.regionserver.keytab.fileregionserver keytab文件路径线上配置：/home/hadoop/etc/conf/hbase.keytab默认值：无hbase.master.kerberos.principalmaster的kerberos认证的主体名称（由三部分组成：服务或用户名称、实例名称以及域名）线上配置：hbase/_HOST@HADOOP.xxx.xxx.COM默认：无hbase.master.keytab.filemaster keytab文件路径线上配置：/home/hadoop/etc/conf/hbase.keytab默认值：无hbase.regionserver.handler.countregionserver处理IO请求的线程数线上配置：50默认配置：10hbase.regionserver.global.memstore.upperLimitRegionServer进程block进行flush触发条件：该节点上所有region的memstore之和达到upperLimit*heapsize线上配置：0.45默认配置：0.4hbase.regionserver.global.memstore.lowerLimitRegionServer进程触发flush的一个条件：该节点上所有region的memstore之和达到lowerLimit*heapsize线上配置：0.4默认配置：0.35hbase.client.write.buffer客户端写buffer，设置autoFlush为false时，当客户端写满buffer才flush线上配置：8388608（8M）默认配置：2097152（2M）hbase.hregion.max.filesize单个ColumnFamily的region大小，若按照ConstantSizeRegionSplitPolicy策略，超过设置的该值则自动split线上配置：107374182400（100G）默认配置：21474836480（20G）hbase.hregion.memstore.block.multiplier超过memstore大小的倍数达到该值则block所有写入请求，自我保护线上配置：8（内存够大可以适当调大一些，出现这种情况需要客户端做调整）默认配置：2hbase.hregion.memstore.flush.sizememstore大小，当达到该值则会flush到外存设备线上配置：104857600（100M）默认值： 134217728（128M）hbase.hregion.memstore.mslab.enabled是否开启mslab方案，减少因内存碎片导致的Full GC，提高整体性能线上配置：true默认配置： truehbase.regionserver.maxlogsregionserver的hlog数量线上配置：128默认配置：32hbase.regionserver.hlog.blocksizehlog大小上限，达到该值则block，进行roll掉线上配置：536870912（512M）默认配置：hdfs配置的block大小hbase.hstore.compaction.min进入minor compact队列的storefiles最小个数线上配置：10默认配置：3hbase.hstore.compaction.max单次minor compact最多的文件个数线上配置：30默认配置：10hbase.hstore.blockingStoreFiles当某一个region的storefile个数达到该值则block写入，等待compact线上配置：100（生产环境可以设置得很大）默认配置： 7hbase.hstore.blockingWaitTimeblock的等待时间线上配置：90000（90s）默认配置：90000（90s）hbase.hregion.majorcompaction触发major compact的周期线上配置：0（关掉major compact）默认配置：86400000（1d）hbase.regionserver.thread.compaction.largelarge compact线程池的线程个数线上配置：5默认配置：1hbase.regionserver.thread.compaction.smallsmall compact线程池的线程个数线上配置：5默认配置：1hbase.regionserver.thread.compaction.throttlecompact（major和minor）请求进入large和small compact线程池的临界点线上配置：10737418240（10G）默认配置：2 * this.minFilesToCompact * this.region.memstoreFlushSizehbase.hstore.compaction.max.sizeminor compact队列中storefile文件最大size线上配置：21474836480（20G）默认配置：Long.MAX_VALUEhbase.rpc.timeoutRPC请求timeout时间线上配置：300000（5min）默认配置：60000（10s）hbase.regionserver.region.split.policysplit操作默认的策略线上配置： org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy（采取老的策略，自己控制split）默认配置： org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy（在region没有达到maxFileSize的前提下，如果fileSize达到regionCount * regionCount * flushSize则进行split操作）hbase.regionserver.regionSplitLimit单台RegionServer上region数上限线上配置：150默认配置：2147483647hbase-env.sh配置指定系统运行环境export JAVA_HOME=/usr/lib/jvm/java-6-sun/ #JDK HOMEexport HBASE_HOME=/home/hadoop/cdh4/hbase-0.94.2-cdh4.2.1 # HBase 安装目录export HBASE_LOG_DIR=/mnt/dfs/11/hbase/hbase-logs #日志输出路径JVM参数调优export HBASE_OPTS="-verbose:gc -XX:+PrintGCDetails -Xloggc:${HBASE_LOG_DIR}/hbase-gc.log -XX:+PrintGCTimeStamps -XX:+PrintGCApplicationConcurrentTime -XX:+PrintGCApplicationStoppedTime \-server -Xmx20480m -Xms20480m -Xmn10240m -Xss256k -XX:SurvivorRatio=4 -XX:MaxPermSize=256m -XX:MaxTenuringThreshold=15 \-XX:ParallelGCThreads=16 -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:CMSFullGCsBeforeCompaction=5 -XX:+UseCMSCompactAtFullCollection \-XX:+CMSClassUnloadingEnabled -XX:CMSInitiatingOccupancyFraction=70 -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSMaxAbortablePrecleanTime=5000 \"
idea中配置环境Spark3.0操作Hbase1.3.6
Date:2020/12/22 Version:Spark 3.0; java 1.8.0_221; Hbase 1.3.6; Scala 2.12.11; 1、首先是pom.xml，注释了一些东西，比如 不用 添加hbase-client和hbase-server，java中写MapReduce操作hbase需要这两个，scala写spark操作hbase不需要这两个，程序跑不起来，sc无法创建。 2、将hbase的lib中的以下jar文件添加进来。（to IDEA小白 ：可以新建一个文件夹保存这些jar文件，在IDEA中添加一个java的library指向这个文件夹） 3、将hbase中的配置文件hbase-site.xml添加到项目中的resources文件夹中 4、测试spark连接hbase 运行后的结果：
