Apache Spark 🔗
注釈
If you’re using the Splunk Distribution of the OpenTelemetry Collector and want to collect Apache Spark cluster metrics, use the native OTel component Apache Spark receiver.
The Splunk Distribution of the OpenTelemetry Collector uses the Smart Agent receiver with the Apache Spark monitor type to monitor Apache Spark clusters. It does not support fetching metrics from Spark Structured Streaming.
以下のクラスター・モードでは、インテグレーションはHTTPエンドポイントのみをサポートします：
スタンドアロン
Mesos
Hadoop YARN
This collectd plugin is not compatible with Kubernetes cluster mode. You need to select distinct monitor configurations and discovery rules for primary and worker processes. For the primary configuration, set isMaster to true. When you run Apache Spark on Hadoop YARN, this integration can only report application metrics from the primary node.
このインテグレーションはLinuxでのみ利用できます。
メリット 🔗
インテグレーションを設定すると、これらの機能にアクセスできるようになります：
メトリクスを表示します。独自のカスタム・ダッシュボードを作成することができ、ほとんどのモニターは組み込みのダッシュボードも提供しています。ダッシュボードについては、Splunk Observability Cloudでダッシュボードを表示する を参照してください。
Infrastructure Monitoring に表示される環境内の物理サーバー、仮想マシン、AWS インスタンス、およびその他のリソースのデータ駆動型の視覚化を表示します。ナビゲーターについては、Splunk Infrastructure Monitoring でナビゲーターを使用する を参照してください。
Metric Finder にアクセスして、モニターから送信されたメトリクスを検索します。詳細については、Search the Metric Finder and Metadata Catalog を参照してください。
インストール 🔗
このインテグレーションを導入するには、以下の手順に従ってください：
Splunk Distribution of OpenTelemetry Collector をホストまたはコンテナプラットフォームにデプロイします：
設定のセクションで説明するように、モニターを設定します。
Splunk Distribution of OpenTelemetry Collector を再起動します。
設定 🔗
Smart Agent モニターとCollector のインテグレーションを使用するには、以下の手順に従います：
Smart Agent レシーバーを設定ファイルに含めます。
レシーバーセクションおよびパイプラインセクションの両方で、Collector 構成にモニタータイプを追加します。
Collector でSmart Agent モニターを使用する の方法を参照してください。
Smart Agent レシーバー の設定方法を参照してください。
一般的な設定オプションのリストについては、モニターの共通設定 を参照してください。
Collectorの詳細は、はじめに：Collectorを理解して使用する を参照してください。
例 🔗
このインテグレーションを有効にするには、Collector の構成に次のいずれかを追加します：
receivers:
smartagent/collectd_spark_master:
type: collectd/spark
... # Additional config
receivers:
smartagent/collectd_spark_worker:
type: collectd/spark
... # Additional config
次に、設定ファイルの service.pipelines.metrics.receivers セクションにモニターを追加します：
service:
pipelines:
metrics:
receivers: [smartagent/collectd_spark_master]
service:
pipelines:
metrics:
receivers: [smartagent/collectd_spark_worker]
Note: The names collectd_spark_master and
collectd_spark_worker are for identification purposes only and don’t
affect functionality. You can use either name in your configuration, but
you need to select distinct monitor configurations and discovery rules
for primary and worker processes. For the primary configuration, see the
isMaster field in the configuration settings section.
コンフィギュレーション設定 🔗
次の表に、このインテグレーションの設定オプションを示します：
オプション |
必須 |
タイプ |
説明 |
|---|---|---|---|
|
いいえ |
|
|
|
はい |
|
|
|
はい |
|
|
|
いいえ |
|
|
|
はい |
|
|
|
いいえ |
|
デフォルトは |
|
いいえ |
|
デフォルトは |
メトリクス 🔗
これらは、このインテグレーションで利用可能なメトリクスです：
備考 🔗
To learn more about the available in Splunk Observability Cloud see メトリクスタイプ
In host-based subscription plans, default metrics are those metrics included in host-based subscriptions in Splunk Observability Cloud, such as host, container, or bundled metrics. Custom metrics are not provided by default and might be subject to charges. See メトリクスカテゴリ for more information.
MTSベースのサブスクリプションプランでは、すべてのメトリクスがカスタムです。
メトリクスを追加するには、その他のメトリクスの追加 で
extraMetricsの設定方法を参照してください。
トラブルシューティング 🔗
Splunk Observability Cloudをご利用のお客様で、Splunk Observability Cloudでデータを確認できない場合は、以下の方法でサポートを受けることができます。
Splunk Observability Cloudをご利用のお客様
Submit a case in the Splunk Support Portal .
Contact Splunk Support .
見込み客および無料トライアルユーザー様
Splunk Answers のコミュニティサポートで質問し、回答を得る
Splunk #observability ユーザーグループの Slack チャンネルに参加して、世界中の顧客、パートナー、Splunk 社員とのコミュニケーションを図る。参加するには、Get Started with Splunk Community マニュアルの チャットグループ を参照してください。