Apache Spark receiver 🔗

The Apache Spark receiver monitors Apache Spark clusters and the applications running on them through the collection of performance metrics like memory utilization, CPU utilization, shuffle operations, and more. The supported pipeline type is metrics. See パイプラインでデータを処理する for more information.

注釈

すぐに使えるダッシュボードとナビゲーターはまだ Apache Sparkレシーバーではサポートされていませんが、将来のリリースではサポートされる予定です。

レシーバーは、以下のエンドポイントを使用してApache Spark REST APIからメトリクスを取得します： /metrics/json、/api/v1/applications/[app-id]/stages、/api/v1/applications/[app-id]/executors、/api/v1/applications/[app-id]/jobs endpoints。

前提条件 🔗

This receiver supports Apache Spark versions 3.3.2 or higher.

はじめに 🔗

以下の手順に従って、コンポーネントの設定とアクティベーションを行ってください：

Splunk Distribution of the OpenTelemetry Collector をホストまたはコンテナプラットフォームにデプロイします：
次のセクションで説明するようにレシーバーを設定します。
Collector を再起動します。

サンプル構成 🔗

To activate the Apache Spark receiver, add apachespark to the receivers section of your configuration file:

receivers:
  apachespark:
    collection_interval: 60s
    endpoint: http://localhost:4040
    application_names:
    - PythonStatusAPIDemo
    - PythonLR

設定を完了するには、設定ファイルの service セクションの metrics パイプラインに、レシーバーを含めます：

service:
  pipelines:
    metrics:
      receivers: [apachespark]

設定オプション 🔗

以下の設定はオプションです：

collection_interval. 60s by default. Sets the interval this receiver collects metrics on.
- This value must be a string readable by Golang’s time.ParseDuration. Learn more at Go’s official documentation ParseDuration function .
- Valid time units are ns, us (or µs), ms, s, m, h.
- initial_delay. 1s by default. Determines how long this receiver waits before collecting metrics for the first time.
endpoint。デフォルトでは http://localhost:4040。[http][://]{host}[:{port}] の形式で接続するApache Sparkエンドポイント。
application_names。メトリクスの収集元になるSparkアプリケーション名の配列。アプリケーション名が指定されていない場合は、指定されたエンドポイントにあるクラスター上で実行されているすべてのSparkアプリケーションのメトリクスが収集されます。

設定 🔗

The full list of settings exposed for this receiver are documented in the Apache Spark receiver config repo in GitHub.

メトリクス 🔗

以下のメトリクス、リソース属性、および属性が使用できます。

注釈

SignalFxエクスポーターは、デフォルトでいくつかの利用可能なメトリクスを除外します。デフォルトのメトリクス・フィルターについては、デフォルトで除外されるメトリクスのリストを参照してください。

特定のメトリクスをアクティブまたは非アクティブにする 🔗

各メトリクスの metrics セクションの enabled フィールドを設定することで、特定のメトリクスをアクティブまたは非アクティブにできます。例：

receivers:
  samplereceiver:
    metrics:
      metric-one:
        enabled: true
      metric-two:
        enabled: false

以下は、アクティブ化されたメトリクスを持つホスト・メトリクス・レシーバーの構成例です：

receivers:
  hostmetrics:
    scrapers:
      process:
        metrics:
          process.cpu.utilization:
            enabled: true

注釈

無効化されたメトリクスは Splunk Observability Cloud に送信されません。

Billing 🔗

If you’re in a MTS-based subscription, all metrics count towards metrics usage.
ホストベースのプランに加入している場合、このドキュメントでアクティブ（Active: Yes）と記載されているメトリクスはデフォルトとみなされ、無料で含まれます。

Learn more at Infrastructure Monitoringのサブスクリプション使用状況（ホストとメトリクスのプラン）.

トラブルシューティング 🔗

Splunk Observability Cloudをご利用のお客様で、Splunk Observability Cloudでデータを確認できない場合は、以下の方法でサポートを受けることができます。

Splunk Observability Cloudをご利用のお客様

Submit a case in the Splunk Support Portal .
Contact Splunk Support .

見込み客および無料トライアルユーザー様

Splunk Answers のコミュニティサポートで質問し、回答を得る
Splunk #observability ユーザーグループの Slack チャンネルに参加して、世界中の顧客、パートナー、Splunk 社員とのコミュニケーションを図る。参加するには、Get Started with Splunk Community マニュアルのチャットグループを参照してください。

このページは 2024年12月12日に最終更新されました。

Related Topics