Apache Sparkレシーバー 🔗

Apache Sparkレシーバーは、メモリ使用率、CPU使用率、シャッフル操作などのパフォーマンスメトリクスの収集を通じてその上で実行されているApache Sparkクラスターとアプリケーションを監視します。サポートされるパイプラインタイプは metrics です。詳細はパイプラインでデータを処理するを参照してください。

注釈

すぐに使えるダッシュボードとナビゲーターはまだ Apache Sparkレシーバーではサポートされていませんが、将来のリリースではサポートされる予定です。

レシーバーは、以下のエンドポイントを使用してApache Spark REST APIからメトリクスを取得します： /metrics/json、/api/v1/applications/[app-id]/stages、/api/v1/applications/[app-id]/executors、/api/v1/applications/[app-id]/jobs endpoints。

前提条件 🔗

このレシーバーはApache Sparkバージョン3.3.2以降をサポートしています。

はじめに 🔗

以下の手順に従って、コンポーネントの設定とアクティベーションを行ってください：

Splunk Distribution of the OpenTelemetry Collector をホストまたはコンテナプラットフォームにデプロイします：
次のセクションで説明するようにレシーバーを設定します。
Collector を再起動します。

サンプル構成 🔗

Apache Sparkレシーバーを有効化するには、設定ファイルの apachespark セクションに receivers を追加します：

receivers:
  apachespark:
    collection_interval: 60s
    endpoint: http://localhost:4040
    application_names:
    - PythonStatusAPIDemo
    - PythonLR

設定を完了するには、設定ファイルの service セクションの metrics パイプラインに、レシーバーを含めます：

service:
  pipelines:
    metrics:
      receivers: [apachespark]

設定オプション 🔗

以下の設定はオプションです：

collection_interval。デフォルトは 60s です。このレシーバーがメトリクスを収集する間隔を設定します。
- この値は、Golangの time.ParseDuration で読める文字列でなければなりません。詳細はGoの公式ドキュメントの「 ParseDuration関数」を参照してください。
- 有効な時間単位は ns、us （ µs ）、ms、s、m、h です。
- initial_delay。デフォルトは 1s です。このレシーバーが初めてメトリクスを収集するまでの待機時間を決定します。
endpoint。デフォルトでは http://localhost:4040。[http][://]{host}[:{port}] の形式で接続するApache Sparkエンドポイント。
application_names。メトリクスの収集元になるSparkアプリケーション名の配列。アプリケーション名が指定されていない場合は、指定されたエンドポイントにあるクラスター上で実行されているすべてのSparkアプリケーションのメトリクスが収集されます。

設定 🔗

このレシーバーに公開されている設定の全リストは、GitHubの Apache Sparkレシーバー設定レポに文書化されています。

メトリクス 🔗

以下のメトリクス、リソース属性、および属性が使用できます。

注釈

SignalFxエクスポーターは、デフォルトでいくつかの利用可能なメトリクスを除外します。デフォルトのメトリクス・フィルターについては、デフォルトで除外されるメトリクスのリストを参照してください。

特定のメトリクスをアクティブまたは非アクティブにする 🔗

各メトリクスの metrics セクションの enabled フィールドを設定することで、特定のメトリクスをアクティブまたは非アクティブにできます。例：

receivers:
  samplereceiver:
    metrics:
      metric-one:
        enabled: true
      metric-two:
        enabled: false

以下は、アクティブ化されたメトリクスを持つホスト・メトリクス・レシーバーの構成例です：

receivers:
  hostmetrics:
    scrapers:
      process:
        metrics:
          process.cpu.utilization:
            enabled: true

注釈

無効化されたメトリクスは Splunk Observability Cloud に送信されません。

請求 🔗

MTSベースのサブスクリプションでは、すべてのメトリクスがメトリクスの使用量にカウントされます。
ホストベースのプランに加入している場合、このドキュメントでアクティブ（Active: Yes）と記載されているメトリクスはデフォルトとみなされ、無料で含まれます。

詳しくは Infrastructure Monitoringのサブスクリプション使用状況（ホストとメトリクスのプラン）を参照してください。

トラブルシューティング 🔗

Splunk Observability Cloudをご利用のお客様で、Splunk Observability Cloudでデータを確認できない場合は、以下の方法でサポートを受けることができます。

Splunk Observability Cloudをご利用のお客様

Splunk サポートポータルでケースを送信する
Splunkサポートに連絡する

見込み客および無料トライアルユーザー様

Splunk Answers のコミュニティサポートで質問し、回答を得る
Join the Splunk #observability user group Slack channel to communicate with customers, partners, and Splunk employees worldwide. To join, see Chat groups in the Get Started with Splunk Community manual.

このページは 2025年02月11日に最終更新されました。

Related Topics