Apache Spark 🔗

注釈

Splunk Distribution of the OpenTelemetry Collectorを使用していて、Apache Sparkクラスターメトリクスを収集したい場合は、ネイティブのOTelコンポーネント Apache Sparkレシーバーを使用してください。

Splunk Distribution of OpenTelemetry Collectorは、Apache SparkモニタータイプでSmart Agentレシーバーを使用してApache Sparkクラスターを監視します。Spark Structured Streamingからのメトリクス取得はサポートしていません。

以下のクラスター・モードでは、インテグレーションはHTTPエンドポイントのみをサポートします：

スタンドアロン
Mesos
Hadoop YARN

このcollectdプラグインはKubernetesクラスター・モードには対応していません。プライマリおよびワーカープロセス用に、個別のモニター設定とディスカバリールールを選択する必要があります。プライマリ設定では、isMaster を true に設定します。Hadoop YARN で Apache Spark を実行する場合、このインテグレーションはプライマリノードからのアプリケーションメトリクスのみをレポートできます。

このインテグレーションはLinuxでのみ利用できます。

メリット 🔗

インテグレーションを設定すると、これらの機能にアクセスできるようになります：

メトリクスを表示します。独自のカスタム・ダッシュボードを作成することができ、ほとんどのモニターは組み込みのダッシュボードも提供しています。ダッシュボードについては、Splunk Observability Cloudでダッシュボードを表示するを参照してください。
Infrastructure Monitoring に表示される環境内の物理サーバー、仮想マシン、AWS インスタンス、およびその他のリソースのデータ駆動型の視覚化を表示します。ナビゲーターについては、Splunk Infrastructure Monitoring でナビゲーターを使用するを参照してください。
Metric Finder にアクセスして、モニターから送信されたメトリクスを検索します。詳細については、メトリクス・ファインダーとメタデータ・カタログを検索するを参照してください。

インストール 🔗

このインテグレーションを導入するには、以下の手順に従ってください：

Splunk Distribution of OpenTelemetry Collector をホストまたはコンテナプラットフォームにデプロイします：
- Kubernetesにインストールする
- Linuxにインストールする
設定のセクションで説明するように、モニターを設定します。
Splunk Distribution of OpenTelemetry Collector を再起動します。

設定 🔗

Smart Agent モニターとCollector のインテグレーションを使用するには、以下の手順に従います：

Smart Agent レシーバーを設定ファイルに含めます。
レシーバーセクションおよびパイプラインセクションの両方で、Collector 構成にモニタータイプを追加します。

Collector でSmart Agent モニターを使用するの方法を参照してください。
Smart Agent レシーバーの設定方法を参照してください。
一般的な設定オプションのリストについては、モニターの共通設定を参照してください。
Collectorの詳細は、はじめに：Collectorを理解して使用するを参照してください。

例 🔗

このインテグレーションを有効にするには、Collector の構成に次のいずれかを追加します：

receivers:
  smartagent/collectd_spark_master:
    type: collectd/spark
    ...  # Additional config

receivers:
  smartagent/collectd_spark_worker:
    type: collectd/spark
    ...  # Additional config

次に、設定ファイルの service.pipelines.metrics.receivers セクションにモニターを追加します：

service:
  pipelines:
    metrics:
      receivers: [smartagent/collectd_spark_master]

service:
  pipelines:
    metrics:
      receivers: [smartagent/collectd_spark_worker]

注： collectd_spark_master と collectd_spark_worker という名前は、識別のためだけであり、機能には影響しません。設定にはどちらの名前も使用できますが、プライマリプロセスとワーカープロセスについて、個別のモニター設定と検出ルールを選択する必要があります。プライマリ設定については、構成設定セクションの isMaster フィールドを参照してください。

コンフィギュレーション設定 🔗

次の表に、このインテグレーションの設定オプションを示します：

オプション	必須	タイプ	説明
`pythonBinary`	いいえ	`string`	このオプションは、Pythonコードを実行するPythonバイナリへのパスを指定します。このオプションを設定しないと、システムは組み込みのランタイムを使用します。バイナリに引数を含めることもできます。
`host`	はい	`string`
`port`	はい	`integer`
`isMaster`	いいえ	`bool`	プライマリを監視する場合は、このオプションを `true` に設定します。します。デフォルトは `false` です。
`clusterType`	はい	`string`	このオプションを監視しているクラスターのタイプに設定します。許可される値は、`Standalone` 、`Mesos` 、または `Yarn` です。システムはYarnのクラスターメトリクスを収集しません。クラスターの健全性を把握するには、collectd/hadoopモニターを使用してください。
`collectApplicationMetrics`	いいえ	`bool`	デフォルトは `false` です。
`enhancedMetrics`	いいえ	`bool`	デフォルトは `false` です。

メトリクス 🔗

これらは、このインテグレーションで利用可能なメトリクスです：

備考 🔗

Splunk Observability Cloudで利用可能なメトリクスタイプの詳細は、メトリクスタイプを参照してください。
ホストベースのサブスクリプションプランでは、デフォルトのメトリクスは、ホスト、コンテナ、バンドルメトリクスなど、Splunk Observability Cloudのホストベースのサブスクリプションに含まれるメトリクスです。カスタムメトリクスはデフォルトでは提供されず、料金が発生する場合があります。詳細については、メトリクスカテゴリを参照してください。
MTSベースのサブスクリプションプランでは、すべてのメトリクスがカスタムです。
メトリクスを追加するには、その他のメトリクスの追加で extraMetrics の設定方法を参照してください。

トラブルシューティング 🔗

Splunk Observability Cloudをご利用のお客様で、Splunk Observability Cloudでデータを確認できない場合は、以下の方法でサポートを受けることができます。

Splunk Observability Cloudをご利用のお客様

Splunk サポートポータルでケースを送信する
Splunkサポートに連絡する

見込み客および無料トライアルユーザー様

Splunk Answers のコミュニティサポートで質問し、回答を得る
Join the Splunk #observability user group Slack channel to communicate with customers, partners, and Splunk employees worldwide. To join, see Chat groups in the Get Started with Splunk Community manual.

このページは 2025年02月11日に最終更新されました。

Related Topics