web-dev-qa-db-ja.com

グラファイトSNMPカウンター変換

グラファイトバージョン0.9.10を使用してifHCInOctetsとifHCOutOctetsを読み取っています。これらは collectdsnmpおよびgraphite_writeプラグインでポーリングしています。 collectd version 5.1.0を使用しています。

データはグラファイトに問題なく届きます。ただし、ビット/秒としてグラフ化したいと思います。私の統計が正しいかどうかをテストするために、CD isoダウンロードを開始し、ダウンロード速度を観察しました... 1.0Mbpsと2.0Mbpsの間で変化しました。

常識では、ビットを取得するにはオクテットカウンターに8を掛ける必要があることがわかります。しかし、グラファイトを正しく表示するには、8で割る必要があるようです。

0.125スケールファクターscale(scaleToSeconds(nonNegativeDerivative(<SERIES>), 60),0.125)を掛けると、式は1秒あたりのビット数に正しく変換され、1Mpbsと2Mbpsの間の数値が表示されます...

Correct scale - 0.125

8.0のスケール係数scale(scaleToSeconds(nonNegativeDerivative(<SERIES>), 60),8)を掛けると、結果は明らかに間違っています...グラフは120Mbpsでピークに達します。これは5Mキャップの住宅用ケーブルモデムなので、これは間違いです。

Wrong scale

質問：オクテットをグラファイトに送信している場合、scale(<foo>, 8)が誤った結果を生成するのはなぜですか？

/opt/collectd/etc/collectd.conf

LoadPlugin syslog 
LoadPlugin cpu
LoadPlugin interface
LoadPlugin load
LoadPlugin memory
LoadPlugin network
LoadPlugin snmp
LoadPlugin write_graphite

<Plugin snmp>
   <Data "std_traffic">
       Type "if_octets"
       Table true
       Instance "IF-MIB::ifName"
       Values "IF-MIB::ifHCInOctets" "IF-MIB::ifHCOutOctets"
   </Data>

   <Host "fw.pennington.net">
       Address "172.16.1.1"
       Version 2
       Community "public"
       Collect "std_traffic"
       Interval 60
   </Host>
</Plugin>

<Plugin write_graphite>
  <Carbon>
    Host "localhost"
    Port "2003"
    Prefix ""
    Postfix ""
    StoreRates false
    AlwaysAppendDS false
    EscapeCharacter "_"
  </Carbon>
</Plugin>

/opt/graphite/conf/storage-schema.conf:

[carbon]
pattern = ^carbon\.
retentions = 60s:90d

[default]
pattern = .*
retentions = 60s:1w, 5m:1y

/opt/graphite/conf/carbon.conf:

[cache]

USER = carbon

MAX_CACHE_SIZE = inf

MAX_UPDATES_PER_SECOND = 500

MAX_CREATES_PER_MINUTE = 50

LINE_RECEIVER_INTERFACE = 0.0.0.0
LINE_RECEIVER_PORT = 2003

ENABLE_UDP_LISTENER = False
UDP_RECEIVER_INTERFACE = 0.0.0.0
UDP_RECEIVER_PORT = 2003

PICKLE_RECEIVER_INTERFACE = 0.0.0.0
PICKLE_RECEIVER_PORT = 2004

USE_INSECURE_UNPICKLER = False

CACHE_QUERY_INTERFACE = 0.0.0.0
CACHE_QUERY_PORT = 7002

USE_FLOW_CONTROL = True

LOG_UPDATES = False

WHISPER_AUTOFLUSH = False

[relay]
LINE_RECEIVER_INTERFACE = 0.0.0.0
LINE_RECEIVER_PORT = 2013
PICKLE_RECEIVER_INTERFACE = 0.0.0.0
PICKLE_RECEIVER_PORT = 2014

RELAY_METHOD = rules

REPLICATION_FACTOR = 1

DESTINATIONS = 127.0.0.1:2004

MAX_DATAPOINTS_PER_MESSAGE = 500
MAX_QUEUE_SIZE = 10000

USE_FLOW_CONTROL = True

[aggregator]
LINE_RECEIVER_INTERFACE = 0.0.0.0
LINE_RECEIVER_PORT = 2023

PICKLE_RECEIVER_INTERFACE = 0.0.0.0
PICKLE_RECEIVER_PORT = 2024

DESTINATIONS = 127.0.0.1:2004

REPLICATION_FACTOR = 1

MAX_QUEUE_SIZE = 10000

USE_FLOW_CONTROL = True

MAX_DATAPOINTS_PER_MESSAGE = 500

MAX_AGGREGATION_INTERVALS = 5

whisper-fetch.pyからの出力

root@tsunami:/opt/graphite/conf# python /usr/local/bin/whisper-fetch.py --pretty /opt/graphite/storage/whisper/fw_pennington_net/snmp/if_octets-Ethernet0_0/rx.wsp
Mon Sep 10 02:53:00 2012        110454375894.000000
...
Tue Sep 11 02:50:00 2012        110532796093.000000
Tue Sep 11 02:51:00 2012        110532819931.000000 <------------ Correct
Tue Sep 11 02:52:00 2012        None
root@tsunami:/opt/graphite/conf#

show interface eth0/0からの出力

mpenning-fw# sh int eth0/0
Interface Ethernet0/0 "", is up, line protocol is up
  Hardware is 88E6095, BW 100 Mbps, DLY 100 usec
        Auto-Duplex(Full-duplex), Auto-Speed(100 Mbps)
        Description: TIME WARNER 5Mbps circuit
        Available but not configured via nameif
        MAC address 0019.0726.4a39, MTU not set
        IP address unassigned
        157040376 packets input, 110532814004 bytes, 0 no buffer
                                 ^^^^^^^^^^^^^^^^^^
        Received 68921847 broadcasts, 0 runts, 0 giants
        0 input errors, 0 CRC, 0 frame, 0 overrun, 0 ignored, 0 abort
        0 L2 decode drops
        8589974681 switch ingress policy drops
        57851429 packets output, 8036229250 bytes, 0 underruns
        0 output errors, 0 collisions, 0 interface resets
        0 babbles, 0 late collisions, 0 deferred
        0 lost carrier, 0 no carrier
        0 rate limit drops
        0 switch egress policy drops
mpenning-fw#
networkingsnmpcollectdgraphite
4
Mike Pennington

1秒あたりのビット数が必要な場合は、scaleToSeconds()関数の2番目の引数として60分ではなく1秒を指定する必要があります。 （覚え方：to秒であり、from秒ではない:)

これは元のパッチです 関数を実装しました。それは明確になるかもしれません。

5
Niels

私はこれをGrafana v2.6で適切に機能させるために何時間も費やしましたが、適切な解決策を見つけることができませんでした。だからここにあります：

  1. /etc/carbon/storage-aggregation.confで適切なストレージ集約が定義されていることを確認してください

すべてのネットワークデバイスの前にnetを付けています

[net] pattern = ^net.* retentions = 10s:7d,5m:180d,5m:5y

  1. /etc/collectd/collectd.conf.d/snmp.confを作成し、以下を追加します。

    FQDNLookup true
AutoLoadPlugin true
Interval 10
LoadPlugin syslog
<Plugin syslog>
  LogLevel info
</Plugin>

LoadPlugin contextswitch
LoadPlugin cpu
LoadPlugin df
LoadPlugin entropy

LoadPlugin interface
LoadPlugin irq
LoadPlugin load
LoadPlugin memory
LoadPlugin processes
#LoadPlugin sensors
LoadPlugin swap
LoadPlugin unixsock
LoadPlugin users
LoadPlugin write_graphite

<Plugin write_graphite>
  <Node "stats">
    Host "stats.foo.com"
    Port "2003"
    Protocol "tcp"
    LogSendErrors true
    Prefix "net."
    SeparateInstances true
    StoreRates true
    AlwaysAppendDS false
    EscapeCharacter "_"
  </Node>
</Plugin>

<Plugin unixsock>
  SocketFile "/var/run/collectd-unixsock"
  SocketGroup "adm"
  SocketPerms "0660"
</Plugin>

<Plugin df>
  # ignore rootfs; else, the root file-system would appear twice, causing
  # one of the updates to fail and spam the log
  FSType rootfs
  # ignore the usual virtual / temporary file-systems
  FSType sysfs
  FSType proc
  FSType devtmpfs
  FSType devpts
  FSType tmpfs
  FSType fusectl
  FSType cgroup
  IgnoreSelected true
</Plugin>

# added a special types.db for Cisco devices
TypesDB "/usr/share/collectd/types.db" "/usr/share/collectd/types.custom.db"

LoadPlugin snmp
<Plugin snmp>
  # the <Data> name is what to <Collect> down in the <Host> blocks
  # the "Type" must be from the list included in /usr/share/collectd/types.db (or custom.db)
  <Data "if_octets">
    Type "if_octets"
    Table true
    # Note: I use ifAlias so that it shows the Interface Descriptions instead just "GigabitEthernet_1_0_0, etc. But of course, make sure you have interface descriptions if you use this :)
    Instance "IF-MIB::ifAlias"
    Values "IF-MIB::ifHCInOctets" "IF-MIB::ifHCOutOctets"
  </Data>
  <Data "if_errors">
    Type "if_errors"
    Table true
    Instance "IF-MIB::ifAlias"
    Values "IF-MIB::ifInErrors" "IF-MIB::ifOutErrors"
  </Data>
  <Data "Cisco_cpu">
    Type "Cisco_cpu"
    Table true
    Values "Cisco-PROCESS-MIB::cpmCPUTotal5secRev" "Cisco-PROCESS-MIB::cpmCPUTotal1minRev" "Cisco-PROCESS-MIB::cpmCPUTotal5minRev"
  </Data>
  <Data "uptime">
    Type "uptime"
    Table false
    Instance "Uptime"
    scale 0.01
    Values  "DISMAN-EVENT-MIB::sysUpTimeInstance"
  </Data>
  <Data "memory_free">
    Type "memory_free"
    Table true
    Instance "Cisco-MEMORY-POOL-MIB::ciscoMemoryPoolName"
    Values  "Cisco-MEMORY-POOL-MIB::ciscoMemoryPoolFree"
  </Data>
  <Data "memory_used">
    Type "memory_used"
    Table true
    Instance "Cisco-MEMORY-POOL-MIB::ciscoMemoryPoolName"
    Values "Cisco-MEMORY-POOL-MIB::ciscoMemoryPoolUsed"
  </Data>

  # Hosts:
  <Host "rtr">
    Address "192.168.1.1"
    Version 2
    Community "public"
    Collect "if_octets" "Cisco_cpu" "uptime"
    Interval 10
  </Host>
  <Host "switch">
    Address "192.168.1.254"
    Version 2 
    Community "public"
    Collect "if_octets" "Cisco_cpu" "uptime"
    Interval 10
  </Host>
</Plugin>

これがcustom.dbです：（元の場所を思い出せませんが、そのおかげで！）

if_stats                ifHCInOctets:COUNTER:0:U, ifHCOutOctets:COUNTER:0:U, ifHCInUcastPkts:COUNTER:0:U, ifHCInMulticastPkts:COUNTER:0:U, ifHCInBroadcastPkts:COUNTER:0:U, ifHCOutUcastPkts:COUNTER:0:U, ifHCOutMulticastPkts:COUNTER:0:U, ifHCOutBroadcastPkts:COUNTER:0:U, ifInDiscards:COUNTER:0:U, ifInErrors:COUNTER:0:U, ifOutDiscards:COUNTER:0:U, ifOutErrors:COUNTER:0:U
if_octets_hc     ifHCInOctets:COUNTER:0:U, ifHCOutOctets:COUNTER:0:U
if_packets_hc                   ifHCInUcastPkts:COUNTER:0:U, ifHCInMcastPkts:COUNTER:0:U, ifHCInBcastPkts:COUNTER:0:U, ifHCOutUcastPkts:COUNTER:0:U, ifHCOutMcastPkts:COUNTER:0:U, ifHCOutBcastPkts:COUNTER:0:U
if_drop_discard_err_que         ifInDiscards:COUNTER:0:U, ifInErrors:COUNTER:0:U, ifOutDiscards:COUNTER:0:U, ifOutErrors:COUNTER:0:U
if_rgpackets                   ifInUcastPkts:COUNTER:0:U, ifInNUcastPkts:COUNTER:0:U, ifOutUcastPkts:COUNTER:0:U, ifOutNUcastPkts:COUNTER:0:U
sensors                      sensorValue:GAUGE:U:U, sensorThreshold:GAUGE:U:U
uptime                  uptime:GAUGE:U:U
Cisco_cpu       cpu5sec:GAUGE:0:100, cpu1min:GAUGE:0:100, cpu5min:GAUGE:0:100
routes  ipv4routes:GAUGE:0:U, ipv6routes:GAUGE:0:U, mcastroutes:GAUGE:0:U
ipsla   rttAdmNumDistBkt:GAUGE:0:200, rttAdmDistInt:GAUGE:0:200, rttTotalsInit:COUNTER:0:U, rttCollectDrops:COUNTER:0:U, rttCollectTimeouts:COUNTER:0:U, rttCptComplTimeMn:GAUGE:0:100000, rttCptComplTimeMx:GAUGE:0:100000, rttCptSumCmpTm2Hi:COUNTER:0:U, rttCptSumCmpTm2Lo:COUNTER:0:U, rttCptSumCmpTm:COUNTER:0:U, rttCptOverThres:COUNTER:0:U
ipslaminimal   rttCptCompletions:COUNTER:0:U
ipsla2  rttCollectTimeouts:COUNTER:0:U

誰かが正しい構成（およびtypes.custom.db）を持っている場合、電源、デュプレックス、ファン、（特に）NBARなど、他のCiscoメトリックを追跡します。共有してください！

Grafanaで、次のようにグラフを構成します。

alias(scale(scaleToSeconds(net.rtr.snmp.if_octets.RTR-Outside-Gi0_0.rx, 0.125), 3600), 'Download')

net.rtr.snmp.if_octets.RTR-Outside-Gi0_0をデバイス名とifAliasに置き換える必要があります

1
Clayton Dukes

Graphite 0.9.9を実行していますが、scaleToSecondsを使用できません。問題を回避するには、メトリックを詳細に理解する必要があります...私の例を見てみましょう：

1000baseT interface utlization graph

Y値は、Mbpsではなく、百万単位です。グラフのURLでyUnitSystem = noneを設定することで、これを確認できます。次に、オクテットは1バイトである8ビットのデータです。私の2000000000バイト（オクテット）のピークは1分あたりのメトリックであるため、それをより理解するために計算を行うことができます。

2000000000B/60秒≈33333333B /秒≈32メガバイト/秒≈254メガビット/秒

ギガビットイーサネット（1000 Mbps）インターフェイスの254 Mbpsは、その能力の範囲内です。これがお役に立てば幸いです。

0
AXE Labs