2017年2月12日日曜日

調査中:HDFS JMX: DataNode Disk Capacityはどうやって計算されている?

1) DataNodeのポートを見つける(忘れたので)
[root@sandbox ~]# ps auxwww | grep ^hdfs | grep DataNode
hdfs     25716  0.4  1.9 1042212 312496 ?      Sl    2016 266:45 /usr/lib/jvm/java/bin/java -Dproc_datanode -Xmx250m -Dhdp.version=2.5.0.0-1245 -XX:+PrintClassHistogramAfterFullGC -XX:+PrintClassHistogramBeforeFullGC -Djava.net.preferIPv4Stack=true -Dhdp.version= -XX:+PrintClassHistogramAfterFul...

[root@sandbox ~]# lsof -nPp 25716 | grep LISTEN
java    25716 hdfs  360u  IPv4           61851996      0t0      TCP *:50010 (LISTEN)
java    25716 hdfs  365u  IPv4           61852005      0t0      TCP 127.0.0.1:35369 (LISTEN)
java    25716 hdfs  469u  IPv4           61851242      0t0      TCP *:50075 (LISTEN)
java    25716 hdfs  474u  IPv4           61848210      0t0      TCP *:8010 (LISTEN)

2) DNのJMXページを見てみる
[root@sandbox ~]# curl -L -s http://sandbox.hortonworks.com:50075/jmx | grep -w Capacity -B 3
    "name" : "Hadoop:service=DataNode,name=FSDatasetState-108756b4-ee13-404e-8c94-e0897451be59",
    "modelerType" : "org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetImpl",
    "Remaining" : 94382731264,
    "Capacity" : 167994830848,
--

3)実際の値は?
[root@sandbox ~]# df -h
Filesystem            Size  Used Avail Use% Mounted on
rootfs                 40G   23G   16G  60% /
/dev/mapper/docker-253:1-132787-63ad60aad76a8b9b37b207791b8300dea7818705d026ad050969393d962922ee
                       40G   23G   16G  60% /
tmpfs                 7.9G     0  7.9G   0% /dev
tmpfs                 7.9G     0  7.9G   0% /sys/fs/cgroup
/dev/vda1             158G   63G   89G  42% /hadoop
/dev/vda1             158G   63G   89G  42% /etc/resolv.conf
/dev/vda1             158G   63G   89G  42% /etc/hostname
/dev/vda1             158G   63G   89G  42% /etc/hosts
shm                    64M     0   64M   0% /dev/shm





0 件のコメント:

コメントを投稿