Apache Spark receiver 🔗

The Apache Spark receiver monitors Apache Spark clusters and the applications running on them through the collection of performance metrics like memory utilization, CPU utilization, shuffle operations, and more. The supported pipeline type is metrics. See パイプラインでデータを処理する for more information.

注釈

Out-of-the-box dashboards and navigators aren’t supported for the Apache Spark receiver yet, but are planned for a future release.

The receiver retrieves metrics through the Apache Spark REST API using the following endpoints: /metrics/json, /api/v1/applications/[app-id]/stages, /api/v1/applications/[app-id]/executors, and /api/v1/applications/[app-id]/jobs endpoints.

前提条件 🔗

This receiver supports Apache Spark versions 3.3.2 or higher.

はじめに 🔗

以下の手順に従って、コンポーネントの設定とアクティベーションを行ってください：

Splunk Distribution of the OpenTelemetry Collector をホストまたはコンテナプラットフォームにデプロイします：
次のセクションで説明するようにレシーバーを設定します。
Collector を再起動します。

サンプル構成 🔗

To activate the Apache Spark receiver, add apachespark to the receivers section of your configuration file:

receivers:
  apachespark:
    collection_interval: 60s
    endpoint: http://localhost:4040
    application_names:
    - PythonStatusAPIDemo
    - PythonLR

設定を完了するには、設定ファイルの service セクションの metrics パイプラインに、レシーバーを含めます：

service:
  pipelines:
    metrics:
      receivers: [apachespark]

設定オプション 🔗

以下の設定はオプションです：

collection_interval. 60s by default. Sets the interval this receiver collects metrics on.
- This value must be a string readable by Golang’s time.ParseDuration. Learn more at Go’s official documentation ParseDuration function .
- Valid time units are ns, us (or µs), ms, s, m, h.
- initial_delay. 1s by default. Determines how long this receiver waits before collecting metrics for the first time.
endpoint. http://localhost:4040 by default. Apache Spark endpoint to connect to in the form of [http][://]{host}[:{port}].
application_names. An array of Spark application names for which metrics are collected from. If no application names are specified, metrics are collected for all Spark applications running on the cluster at the specified endpoint.

設定 🔗

The full list of settings exposed for this receiver are documented in the Apache Spark receiver config repo in GitHub.

メトリクス 🔗

以下のメトリクス、リソース属性、および属性が使用できます。

注釈

SignalFxエクスポーターは、デフォルトでいくつかの利用可能なメトリクスを除外します。デフォルトのメトリクス・フィルターについては、デフォルトで除外されるメトリクスのリストを参照してください。

特定のメトリクスをアクティブまたは非アクティブにする 🔗

各メトリクスの metrics セクションの enabled フィールドを設定することで、特定のメトリクスをアクティブまたは非アクティブにできます。例：

receivers:
  samplereceiver:
    metrics:
      metric-one:
        enabled: true
      metric-two:
        enabled: false

以下は、アクティブ化されたメトリクスを持つホスト・メトリクス・レシーバーの構成例です：

receivers:
  hostmetrics:
    scrapers:
      process:
        metrics:
          process.cpu.utilization:
            enabled: true

注釈

無効化されたメトリクスは Splunk Observability Cloud に送信されません。

Billing 🔗

If you’re in a MTS-based subscription, all metrics count towards metrics usage.
If you’re in a host-based plan, metrics listed as active (Active: Yes) on this document are considered default and are included free of charge.

Learn more at Infrastructure Monitoringのサブスクリプション使用状況（ホストとメトリクスのプラン）.

トラブルシューティング 🔗

Splunk Observability Cloudをご利用のお客様で、Splunk Observability Cloudでデータを確認できない場合は、以下の方法でサポートを受けることができます。

Splunk Observability Cloudをご利用のお客様

Submit a case in the Splunk Support Portal .
Contact Splunk Support .

見込み客および無料トライアルユーザー様

Splunk Answers のコミュニティサポートで質問し、回答を得る
Splunk #observability ユーザーグループの Slack チャンネルに参加して、世界中の顧客、パートナー、Splunk 社員とのコミュニケーションを図る。参加するには、Get Started with Splunk Community マニュアルのチャットグループを参照してください。

This page was last updated on 2024年11月13日.

Related Topics