Hadoop JMX 🔗

Splunk Distribution of OpenTelemetry Collectorは、Hadoop 2.0以上のクラスターからメトリクスを収集するために、Hadoop JMXモニタータイプでSmart Agentレシーバーを使用します。

このインテグレーションは、それぞれの nodeTypes で利用可能な組み込み MBeans のセットからメトリクスを生成します：

名前ノード ( nameNode )
リソースマネージャー ( resourceManager )
ノードマネージャー ( nodeManager )
データノード ( dataNode )

このインテグレーションでは、collectd GenericJMX プラグインを使用します。REST API を使用して、Hadoop クラスターに関する追加のメトリクスを収集するように hadoop モニターを設定することもできます。

このインテグレーションはKubernetesとLinuxでのみ利用可能です。

メリット 🔗

インテグレーションを設定すると、これらの機能にアクセスできるようになります：

メトリクスを表示します。独自のカスタム・ダッシュボードを作成することができ、ほとんどのモニターは組み込みのダッシュボードも提供しています。ダッシュボードについては、Splunk Observability Cloudでダッシュボードを表示するを参照してください。
Infrastructure Monitoring に表示される環境内の物理サーバー、仮想マシン、AWS インスタンス、およびその他のリソースのデータ駆動型の視覚化を表示します。ナビゲーターについては、Splunk Infrastructure Monitoring でナビゲーターを使用するを参照してください。
Metric Finder にアクセスして、モニターから送信されたメトリクスを検索します。詳細については、メトリクス・ファインダーとメタデータ・カタログを検索するを参照してください。

要件 🔗

HadoopでJMXを有効にするには、hadoop-env.shとyarn-env.shに以下のJava仮想マシン（JVM）オプションを追加します：

hadoop-env.sh:

export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.port=5677 $HADOOP_NAMENODE_OPTS"
export HADOOP_DATANODE_OPTS="-Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.port=5679 $HADOOP_DATANODE_OPTS"

yarn-env.sh:

export YARN_NODEMANAGER_OPTS="-Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.port=8002 $YARN_NODEMANAGER_OPTS"
export YARN_RESOURCEMANAGER_OPTS="-Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.port=5680 $YARN_RESOURCEMANAGER_OPTS"

インストール 🔗

このインテグレーションを導入するには、以下の手順に従ってください：

Splunk Distribution of OpenTelemetry Collector をホストまたはコンテナプラットフォームにデプロイします：
- Kubernetesにインストールする
- Linuxにインストールする
設定のセクションで説明するように、モニターを設定します。
Splunk Distribution of OpenTelemetry Collector を再起動します。

設定 🔗

Smart Agent モニターとCollector のインテグレーションを使用するには、以下の手順に従います：

Smart Agent レシーバーを設定ファイルに含めます。
レシーバーセクションおよびパイプラインセクションの両方で、Collector 構成にモニタータイプを追加します。

Collector でSmart Agent モニターを使用するの方法を参照してください。
Smart Agent レシーバーの設定方法を参照してください。
一般的な設定オプションのリストについては、モニターの共通設定を参照してください。
Collectorの詳細は、はじめに：Collectorを理解して使用するを参照してください。

例 🔗

このインテグレーションを有効にするには、Collector構成に以下を追加します：

receivers:
  smartagent/collectd/hadoopjmx:
    type: collectd/hadoopjmx
    ... # Additional config

次に、設定ファイルの service.pipelines.metrics.receivers セクションにモニターを追加します：

service:
  pipelines:
    metrics:
      monitors: [smartagent/collectd/hadoopjmx]

nodeTypesのサンプル設定 🔗

以下のサンプル設定は、異なる nodeTypes に対してモニターを構成する方法を示しています。

名前ノード：

receivers:
  smartagent/collectd/hadoopjmx:
    type: collectd/hadoopjmx
    host: 127.0.0.1
    port: 5677
    nodeType: nameNode

リソースマネージャー

receivers:
  smartagent/collectd/hadoopjmx:
    type: collectd/hadoopjmx
    host: 127.0.0.1
    port: 5680
    nodeType: resourceManager

ノードマネージャー

receivers:
  smartagent/collectd/hadoopjmx:
    type: collectd/hadoopjmx
    host: 127.0.0.1
    port: 8002
    nodeType: nodeManager

データノード

receivers:
  smartagent/collectd/hadoopjmx:
    type: collectd/hadoopjmx
    host: 127.0.0.1
    port: 5679
    nodeType: dataNode

設定オプション 🔗

次の表に、collectd/hadoopjmx レシーバーの設定オプションを示します：

オプション	必須	タイプ	説明
`host`	はい	`string`	接続先のホスト。JMXはリモート・アクセス用に設定されていてエージェントからアクセスできる必要があります。
`port`	はい	`integer`	アプリケーションの JMX 接続ポート。RMI ポートではありません。これはアプリケーションの実行時にJVMに設定される `com.sun.management.jmxremote.port` Javaプロパティに対応します。
`name`	いいえ	`string`
`serviceName`	いいえ	`string`	Splunk Observability Cloud でサービスタイプを識別し組み込みのコンテンツを取得できるようにする方法。カスタム JMX インテグレーションの場合は、任意の値を設定してください。
`serviceURL`	いいえ	`string`	JMX接続文字列。Go テンプレートとしてレンダリングされます。このコンフィギュレーションの他の値へのアクセス権があります。通常の状況では、この文字列を直接設定せず、代わりにホストとポートの設定を使用します。デフォルト値は `service:jmx:rmi:///jndi/rmi://{{.Host}}:{{.Port}}/jmxrmi` です。
`instancePrefix`	いいえ	`string`	生成されたプラグインインスタンスにプレフィックスをつけます。 2番目の `instancePrefix` が参照されるMBeanブロックで指定されると、Connectionブロックで指定された接頭辞がプラグインインスタンスの先頭に現れ、MBeanブロックで指定された接頭辞がそれに追加されます。
`username`	いいえ	`string`	サーバーを認証するためのユーザー名。
`password`	いいえ	`string`	サーバーを認証するためのユーザーパスワード。
`customDimensions`	いいえ	`map of strings`	接続のカスタムディメンションのキーと値のペアを取り込みます。します。
`mBeansToCollect`	いいえ	`list of strings`	収集されるMBeansのリスト。 `mBeanDefinitions` での定義に従います。指定されない場合、定義されたすべてのMBeansが収集されます。
`mBeansToOmit`	いいえ	`list of strings`	省略するMBeansのリスト。これは少数の MBeansのみをデフォルトのリストから省く必要がある場合に有用です。
`mBeanDefinitions`	いいえ	`map of objects (see below)`	JMX MBean の値をメトリクスにマッピングする方法を指定します。 Cassandra、Kafka、Activemqなどのサービスモニターは、マッピングのセットで設定されます。詳細については、Collectd documentation を参照してください。
`nodeType`	はい	`string`	Hadoop nodeType。

ネストされた mBeanDefinitions コンフィギュレーション・オブジェクトには以下のフィールドがあります：

オプション	必須	タイプ	説明
`objectName`	いいえ	`string`	MBeanServerからMBeansを取得するために使用されるパターンを設定します。複数のMBeanが返される場合、`instanceFrom` オプションを使用して識別子を一意にします。
`instancePrefix`	いいえ	`string`	生成されたプラグイン・インスタンスにプレフィックスをつけます。
`instanceFrom`	いいえ	`list of strings`	JMX が MBeans を識別するために使用するオブジェクト名には、キーと値のペアの形式のプロパティが含まれています。指定されたオブジェクト名が一意でなく、複数のMBeansが返される場合、これらのプロパティの値は異なる可能性があります。適切なプロパティ値からプラグイン・インスタンスを構築するには、このオプションを使用します。複数のプロパティ値からプラグイン・インスタンスを生成するには、この設定の複数のインスタンスを使用します。
`values`	いいえ	`list of objects (see below)`	`value` ブロックは、MBean の1つ以上の属性を collectd の値リストにマップします。各MBeanブロック内に少なくとも1つの `value` ブロックがなければなりません。
`dimensions`	いいえ	`list of strings`	ディメンションを表す文字列のリスト。

ネストされた values コンフィグ・オブジェクトには以下のフィールドがあります：

オプション	必須	タイプ	説明
`type`	いいえ	`string`	collectd 内で使用されるデータセットを設定して、 MBean属性の値を処理します。
`table`	いいえ	`bool`	返された属性が複合型であるかどうか。 `true` に設定されている場合、複合型内のキーは型インスタンスに追加されます。デフォルト値は `false` です。
`instancePrefix`	いいえ	`string`	MBeanブロックの `instancePrefix` オプションに似ていますが、代わりに型インスタンスを設定します。
`instanceFrom`	いいえ	`list of strings`	MBeanブロックの `instancePrefix` オプションに似ていますが、代わりに型インスタンスを設定します。
`attribute`	いいえ	`string`	値が読み込まれる属性の名前。ドットを使用してキー名を属性名に連結することで、複合型のキーにアクセスできます。例えば、`attrib0.key42` 。`table` が `true` に設定されている場合、パスは複合型を指さなければならず、そうでない場合は数値型を指さなければなりません。
`attributes`	いいえ	`list of strings`	`attribute` 設定の複数形。単一の MBean から複数のメトリクスを導出するために使用されます。

メトリクス 🔗

このインテグレーションでは、以下のメトリクスを使用できます：

備考 🔗

Splunk Observability Cloudで利用可能なメトリクスタイプの詳細は、メトリクスタイプを参照してください。
ホストベースのサブスクリプションプランでは、デフォルトのメトリクスは、ホスト、コンテナ、バンドルメトリクスなど、Splunk Observability Cloudのホストベースのサブスクリプションに含まれるメトリクスです。カスタムメトリクスはデフォルトでは提供されず、料金が発生する場合があります。詳細については、メトリクスカテゴリを参照してください。
MTSベースのサブスクリプションプランでは、すべてのメトリクスがカスタムです。
メトリクスを追加するには、その他のメトリクスの追加で extraMetrics の設定方法を参照してください。

トラブルシューティング 🔗

Splunk Observability Cloudをご利用のお客様で、Splunk Observability Cloudでデータを確認できない場合は、以下の方法でサポートを受けることができます。

Splunk Observability Cloudをご利用のお客様

Splunk サポートポータルでケースを送信する
Splunkサポートに連絡する

見込み客および無料トライアルユーザー様

Splunk Answers のコミュニティサポートで質問し、回答を得る
Join the Splunk #observability user group Slack channel to communicate with customers, partners, and Splunk employees worldwide. To join, see Chat groups in the Get Started with Splunk Community manual.

このページは 2025年02月11日に最終更新されました。

Related Topics