Docs » Splunk Observability Cloud でサポートされているインテグレーション » データベースのアプリケーション・レシーバーを設定する » Hadoop JMX

Edit this page
Learn how

---

Hadoop JMX

The Splunk Distribution of OpenTelemetry Collector uses the Smart Agent receiver with the Hadoop JMX monitor type to collect metrics from Hadoop 2.0 or higher clusters.

このインテグレーションは、それぞれの nodeTypes で利用可能な組み込み MBeans のセットからメトリクスを生成します：

• 名前ノード ( nameNode )

• リソースマネージャー ( resourceManager )

• ノードマネージャー ( nodeManager )

• データノード ( dataNode )

このインテグレーションでは、collectd GenericJMX プラグインを使用します。REST API を使用して、Hadoop クラスターに関する追加のメトリクスを収集するように hadoop モニターを設定することもできます。

このインテグレーションはKubernetesとLinuxでのみ利用可能です。

メリット

インテグレーションを設定すると、これらの機能にアクセスできるようになります：

• メトリクスを表示します。独自のカスタム・ダッシュボードを作成することができ、ほとんどのモニターは組み込みのダッシュボードも提供しています。ダッシュボードについては、Splunk Observability Cloudでダッシュボードを表示する を参照してください。

• Infrastructure Monitoring に表示される環境内の物理サーバー、仮想マシン、AWS インスタンス、およびその他のリソースのデータ駆動型の視覚化を表示します。ナビゲーターについては、Splunk Infrastructure Monitoring でナビゲーターを使用する を参照してください。

• Metric Finder にアクセスして、モニターから送信されたメトリクスを検索します。詳細については、メトリクス・ファインダーとメタデータ・カタログを検索する を参照してください。

要件

HadoopでJMXを有効にするには、hadoop-env.shとyarn-env.shに以下のJava仮想マシン（JVM）オプションを追加します：

hadoop-env.sh:

export HADOOP_NAMENODE_OPTS="-Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.port=5677 $HADOOP_NAMENODE_OPTS"
export HADOOP_DATANODE_OPTS="-Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.port=5679 $HADOOP_DATANODE_OPTS"

yarn-env.sh:

export YARN_NODEMANAGER_OPTS="-Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.port=8002 $YARN_NODEMANAGER_OPTS"
export YARN_RESOURCEMANAGER_OPTS="-Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.port=5680 $YARN_RESOURCEMANAGER_OPTS"

インストール

このインテグレーションを導入するには、以下の手順に従ってください：

1. Splunk Distribution of OpenTelemetry Collector をホストまたはコンテナプラットフォームにデプロイします：

   • Kubernetesにインストールする

   • Linuxにインストールする

2. 設定のセクションで説明するように、モニターを設定します。

3. Splunk Distribution of OpenTelemetry Collector を再起動します。

設定

Smart Agent モニターとCollector のインテグレーションを使用するには、以下の手順に従います：

1. Smart Agent レシーバーを設定ファイルに含めます。

2. レシーバーセクションおよびパイプラインセクションの両方で、Collector 構成にモニタータイプを追加します。

• Collector でSmart Agent モニターを使用する の方法を参照してください。

• Smart Agent レシーバー の設定方法を参照してください。

• 一般的な設定オプションのリストについては、モニターの共通設定 を参照してください。

• Collectorの詳細は、はじめに：Collectorを理解して使用する を参照してください。

例

このインテグレーションを有効にするには、Collector構成に以下を追加します：

receivers:
  smartagent/collectd/hadoopjmx:
    type: collectd/hadoopjmx
    ... # Additional config

次に、設定ファイルの service.pipelines.metrics.receivers セクションにモニターを追加します：

service:
  pipelines:
    metrics:
      monitors: [smartagent/collectd/hadoopjmx]

nodeTypesのサンプル設定

以下のサンプル設定は、異なる nodeTypes に対してモニターを構成する方法を示しています。

名前ノード：

receivers:
  smartagent/collectd/hadoopjmx:
    type: collectd/hadoopjmx
    host: 127.0.0.1
    port: 5677
    nodeType: nameNode

リソースマネージャー

receivers:
  smartagent/collectd/hadoopjmx:
    type: collectd/hadoopjmx
    host: 127.0.0.1
    port: 5680
    nodeType: resourceManager

ノードマネージャー

receivers:
  smartagent/collectd/hadoopjmx:
    type: collectd/hadoopjmx
    host: 127.0.0.1
    port: 8002
    nodeType: nodeManager

データノード

receivers:
  smartagent/collectd/hadoopjmx:
    type: collectd/hadoopjmx
    host: 127.0.0.1
    port: 5679
    nodeType: dataNode

設定オプション

次の表に、collectd/hadoopjmx レシーバーの設定オプションを示します：

オプション	必須	タイプ	説明
host	はい	string	接続先のホスト。JMXはリモート・アクセス用に設定されていて エージェントからアクセスできる必要があります。
port	はい	integer	アプリケーションの JMX 接続ポート。RMI ポートではありません。これは アプリケーションの実行時にJVMに設定される com.sun.management.jmxremote.port Javaプロパティに対応します。
name	いいえ	string
serviceName	いいえ	string	Splunk Observability Cloud でサービスタイプを識別し 組み込みのコンテンツを取得できるようにする方法。カスタム JMX インテグレーションの場合は、任意の値を設定してください。
serviceURL	いいえ	string	JMX接続文字列。Go テンプレートとしてレンダリングされます。 このコンフィギュレーションの他の値へのアクセス権があります。通常の状況では、この文字列を直接設定せず、代わりにホストとポートの設定を使用します。デフォルト値は service:jmx:rmi:///jndi/rmi://{{.Host}}:{{.Port}}/jmxrmi です。
instancePrefix	いいえ	string	生成されたプラグインインスタンスにプレフィックスをつけます。 2番目の instancePrefix が参照されるMBeanブロックで指定されると、Connectionブロックで指定された接頭辞がプラグインインスタンスの先頭に現れ、MBeanブロックで指定された接頭辞がそれに追加されます。
username	いいえ	string	サーバーを認証するためのユーザー名。
password	いいえ	string	サーバーを認証するためのユーザーパスワード。
customDimensions	いいえ	map of strings	接続のカスタムディメンションのキーと値のペアを取り込みます。 します。
mBeansToCollect	いいえ	list of strings	収集されるMBeansのリスト。 mBeanDefinitions での定義に従います。指定されない場合、定義されたすべてのMBeansが収集されます。
mBeansToOmit	いいえ	list of strings	省略するMBeansのリスト。これは少数の MBeansのみをデフォルトのリストから省く必要がある場合に有用です。
mBeanDefinitions	いいえ	map of objects (see below)	JMX MBean の値をメトリクスにマッピングする方法を指定します。 Cassandra、Kafka、Activemqなどのサービスモニターは、マッピングのセットで設定されます。詳細については、Collectd documentation を参照してください。
nodeType	はい	string	Hadoop nodeType。

ネストされた mBeanDefinitions コンフィギュレーション・オブジェクトには以下のフィールドがあります：

オプション	必須	タイプ	説明
objectName	いいえ	string	MBeanServerからMBeansを取得するために使用されるパターンを設定します。 複数のMBeanが返される場合、instanceFrom オプションを使用して識別子を一意にします。
instancePrefix	いいえ	string	生成されたプラグイン・インスタンスにプレフィックスをつけます。
instanceFrom	いいえ	list of strings	JMX が MBeans を識別するために使用するオブジェクト名には、 キーと値のペアの形式のプロパティが含まれています。指定されたオブジェクト名が一意でなく、複数のMBeansが返される場合、これらのプロパティの値は異なる可能性があります。適切なプロパティ値からプラグイン・インスタンスを構築するには、このオプションを使用します。複数のプロパティ値からプラグイン・インスタンスを生成するには、この設定の複数のインスタンスを使用します。
values	いいえ	list of objects (see below)	value ブロックは、MBean の1つ以上の属性を collectd の値リストにマップします。各MBeanブロック内に少なくとも1つの value ブロックがなければなりません。
dimensions	いいえ	list of strings	ディメンションを表す文字列のリスト。

ネストされた values コンフィグ・オブジェクトには以下のフィールドがあります：

オプション	必須	タイプ	説明
type	いいえ	string	collectd 内で使用されるデータセットを設定して、 MBean属性の値を処理します。
table	いいえ	bool	返された属性が複合型であるかどうか。 true に設定されている場合、複合型内のキーは型インスタンスに追加されます。デフォルト値は false です。
instancePrefix	いいえ	string	MBeanブロックの instancePrefix オプションに似ていますが、 代わりに型インスタンスを設定します。
instanceFrom	いいえ	list of strings	MBeanブロックの instancePrefix オプションに似ていますが、 代わりに型インスタンスを設定します。
attribute	いいえ	string	値が読み込まれる属性の名前。 ドットを使用してキー名を属性名に連結することで、複合型のキーにアクセスできます。例えば、attrib0.key42 。table が true に設定されている場合、パスは複合型を指さなければならず、そうでない場合は数値型を指さなければなりません。
attributes	いいえ	list of strings	attribute 設定の複数形。単一の MBean から 複数のメトリクスを導出するために使用されます。

メトリクス

このインテグレーションでは、以下のメトリクスを使用できます：

備考

• To learn more about the available in Splunk Observability Cloud see メトリクスタイプ

• In host-based subscription plans, default metrics are those metrics included in host-based subscriptions in Splunk Observability Cloud, such as host, container, or bundled metrics. Custom metrics are not provided by default and might be subject to charges. See メトリクスカテゴリ for more information.

• MTSベースのサブスクリプションプランでは、すべてのメトリクスがカスタムです。

• メトリクスを追加するには、その他のメトリクスの追加 で extraMetrics の設定方法を参照してください。

トラブルシューティング

Splunk Observability Cloudをご利用のお客様で、Splunk Observability Cloudでデータを確認できない場合は、以下の方法でサポートを受けることができます。

Splunk Observability Cloudをご利用のお客様

• Submit a case in the Splunk Support Portal .

• Contact Splunk Support .

見込み客および無料トライアルユーザー様

• Splunk Answers のコミュニティサポートで質問し、回答を得る

• Splunk #observability ユーザーグループの Slack チャンネルに参加して、世界中の顧客、パートナー、Splunk 社員とのコミュニケーションを図る。参加するには、Get Started with Splunk Community マニュアルの チャットグループ を参照してください。

This page was last updated on 2024年09月18日.

---

❮

Previous

Hadoop

Next

Logparser

❯

---

• API docs
• Blog
• Training
• Free Trial