Introduction

Apache HBase(TM)发出Hadoop 指标 .

Setup

首先阅读Hadoop 指标 . 如果您正在使用神经节,则可以阅读GangliaMetrics Wiki页面.

要使HBase发出度量标准,请编辑$ HBASE_HOME / conf / hadoop-metrics.properties并为每个插件启用度量标准"上下文". 在撰写本文时,hadoop支持文件和神经节插件. because currently at least the hadoop metrics system has the properties filename hardcoded. 是的,hbase指标文件被命名为hadoop-metrics而不是因为当前至少hadoop metrics系统具有属性文件名硬编码. , comment out the NullContext and enable one or more plugins instead. 对于每个指标 ,注释掉NullContext并启用一个或多个插件.

context, on regionservers you'll see total requests since last metric emission, count of regions and storefiles as well as a count of memstore size. 如果启用上下文,则在区域服务器上您将看到自上次度量标准发出以来的总请求数,区域和存储文件的数量以及内存存储大小的数量. 在主服务器上,您将看到集群请求的计数.

如果您有兴趣查看每个hbase rpc方法调用的指标(计数和花费的时间),则启用上下文会很好.

上下文对于正在运行的hbase 的长期统计信息(包括已使用的内存,线程数等)很有用.在撰写本文时,如果一个以上的jvm正在运行发出度量标准,至少在神经节中,这些统计信息是聚合而不是每个实例报告.

Using with JMX

除了Hadoop指标包支持的标准输出上下文外,您还可以通过Java管理扩展(JMX)导出HBase指标. 这将允许在JConsole或任何其他JMX客户端中查看HBase统计信息.

Enable HBase stats collection

要在HBase中启用JMX支持,请首先编辑$ HBASE_HOME / conf / hadoop-metrics.properties以支持指标刷新. (如果您运行的是0.94.1及更高版本,或者已经为另一个输出上下文配置了hadoop-metrics.properties ,则可以跳过此步骤).

# Configuration of the "hbase" context for null
hbase.class=org.apache.hadoop.metrics.spi.NullContextWithUpdateThread
hbase.period=60

# Configuration of the "jvm" context for null
jvm.class=org.apache.hadoop.metrics.spi.NullContextWithUpdateThread
jvm.period=60

# Configuration of the "rpc" context for null
rpc.class=org.apache.hadoop.metrics.spi.NullContextWithUpdateThread
rpc.period=60
      

Setup JMX remote access

对于远程访问,您将需要配置JMX远程密码和访问配置文件. 创建文件:

$HBASE_HOME/conf/jmxremote.passwd (set permissions to 600)
monitorRole monitorpass
controlRole controlpass
        
$HBASE_HOME/conf/jmxremote.access
monitorRole readonly
controlRole readwrite
        

Configure JMX in HBase startup

最后,编辑$ HBASE_HOME / conf / hbase-env.sh脚本以添加JMX支持:

$HBASE_HOME/conf/hbase-env.sh

添加行:

HBASE_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.ssl=false"
HBASE_JMX_OPTS="$HBASE_JMX_OPTS -Dcom.sun.management.jmxremote.password.file=$HBASE_HOME/conf/jmxremote.passwd"
HBASE_JMX_OPTS="$HBASE_JMX_OPTS -Dcom.sun.management.jmxremote.access.file=$HBASE_HOME/conf/jmxremote.access"

export HBASE_MASTER_OPTS="$HBASE_JMX_OPTS -Dcom.sun.management.jmxremote.port=10101"
export HBASE_REGIONSERVER_OPTS="$HBASE_JMX_OPTS -Dcom.sun.management.jmxremote.port=10102"
        

重新启动您要监视的进程之后,您现在应该能够运行JConsole(自JDK 5.0起包含在JDK中)以通过JMX查看统计信息. HBase MBean在JMX的hadoop域下导出.

Understanding HBase Metrics

有关了解HBase指标的更多信息,请参阅《 Apache HBase参考指南》中的" 指标"部分 .


by  ICOPY.SITE