Docs » Splunk Observability Cloud でサポートされているインテグレーション » データベースのアプリケーション・レシーバーを設定する » Apache Spark

Apache Spark 🔗

注釈

If you’re using the Splunk Distribution of the OpenTelemetry Collector and want to collect Apache Spark cluster metrics, use the native OTel component Apache Spark receiver.

The Splunk Distribution of the OpenTelemetry Collector uses the Smart Agent receiver with the Apache Spark monitor type to monitor Apache Spark clusters. It does not support fetching metrics from Spark Structured Streaming.

以下のクラスター・モードでは、インテグレーションはHTTPエンドポイントのみをサポートします:

  • スタンドアロン

  • Mesos

  • Hadoop YARN

This collectd plugin is not compatible with Kubernetes cluster mode. You need to select distinct monitor configurations and discovery rules for primary and worker processes. For the primary configuration, set isMaster to true. When you run Apache Spark on Hadoop YARN, this integration can only report application metrics from the primary node.

このインテグレーションはLinuxでのみ利用できます。

メリット 🔗

インテグレーションを設定すると、これらの機能にアクセスできるようになります:

インストール 🔗

このインテグレーションを導入するには、以下の手順に従ってください:

  1. Splunk Distribution of OpenTelemetry Collector をホストまたはコンテナプラットフォームにデプロイします:

  2. 設定のセクションで説明するように、モニターを設定します。

  3. Splunk Distribution of OpenTelemetry Collector を再起動します。

設定 🔗

Smart Agent モニターとCollector のインテグレーションを使用するには、以下の手順に従います:

  1. Smart Agent レシーバーを設定ファイルに含めます。

  2. レシーバーセクションおよびパイプラインセクションの両方で、Collector 構成にモニタータイプを追加します。

🔗

このインテグレーションを有効にするには、Collector の構成に次のいずれかを追加します:

receivers:
  smartagent/collectd_spark_master:
    type: collectd/spark
    ...  # Additional config
receivers:
  smartagent/collectd_spark_worker:
    type: collectd/spark
    ...  # Additional config

次に、設定ファイルの service.pipelines.metrics.receivers セクションにモニターを追加します:

service:
  pipelines:
    metrics:
      receivers: [smartagent/collectd_spark_master]
service:
  pipelines:
    metrics:
      receivers: [smartagent/collectd_spark_worker]

Note: The names collectd_spark_master and collectd_spark_worker are for identification purposes only and don’t affect functionality. You can use either name in your configuration, but you need to select distinct monitor configurations and discovery rules for primary and worker processes. For the primary configuration, see the isMaster field in the configuration settings section.

コンフィギュレーション設定 🔗

次の表に、このインテグレーションの設定オプションを示します:

オプション

必須

タイプ

説明

pythonBinary

いいえ

string

このオプションは、Pythonコードを実行するPythonバイナリへのパスを指定

します。このオプションを設定しないと、システムは組み込みのランタイムを使用します。バイナリに引数を含めることもできます。

host

はい

string

port

はい

integer

isMaster

いいえ

bool

Set this option to true when you want to monitor a primary

します。デフォルトは false です。

clusterType

はい

string

このオプションを監視しているクラスターのタイプに設定します。

許可される値は、StandaloneMesos 、または Yarn です。システムはYarnのクラスターメトリクスを収集しません。クラスターの健全性を把握するには、collectd/hadoopモニターを使用してください。

collectApplicationMetrics

いいえ

bool

デフォルトは false です。

enhancedMetrics

いいえ

bool

デフォルトは false です。

メトリクス 🔗

これらは、このインテグレーションで利用可能なメトリクスです:

備考 🔗

  • To learn more about the available in Splunk Observability Cloud see メトリクスタイプ

  • In host-based subscription plans, default metrics are those metrics included in host-based subscriptions in Splunk Observability Cloud, such as host, container, or bundled metrics. Custom metrics are not provided by default and might be subject to charges. See メトリクスカテゴリ for more information.

  • MTSベースのサブスクリプションプランでは、すべてのメトリクスがカスタムです。

  • メトリクスを追加するには、その他のメトリクスの追加extraMetrics の設定方法を参照してください。

トラブルシューティング 🔗

Splunk Observability Cloudをご利用のお客様で、Splunk Observability Cloudでデータを確認できない場合は、以下の方法でサポートを受けることができます。

Splunk Observability Cloudをご利用のお客様

見込み客および無料トライアルユーザー様

  • Splunk Answers のコミュニティサポートで質問し、回答を得る

  • Splunk #observability ユーザーグループの Slack チャンネルに参加して、世界中の顧客、パートナー、Splunk 社員とのコミュニケーションを図る。参加するには、Get Started with Splunk Community マニュアルの チャットグループ を参照してください。

This page was last updated on 2024年10月04日.