Docs » Splunk Distribution of the OpenTelemetry Collector の利用開始 » はじめに:Collectorを理解して使用する » パイプラインでデータを処理する

パイプラインでデータを処理する 🔗

Collectorの設定ファイルでパイプラインを使用して、取り込んだデータがたどるパスを定義します。レシーバー を使用したデータ受信から始まり、プロセッサー を使用したデータ処理または変更、エクスポーター を使用したデータのCollectorからの排出まで、使用するコンポーネントを指定します。使用可能なすべてのコンポーネントとその動作の概要については、Collector コンポーネント を参照してください。

パイプラインは、ログ、トレース、メトリクスの 3 種類のデータで動作します。Splunk Observability Cloud のデータについて詳しくは、Splunk Observability Cloud のデータ型 を参照してください。

注釈

Collector で一般的なアクションやタスクを実行する方法については、Collector を使用します:一般的なタスクの実行方法 を参照してください。

パイプラインを定義する 🔗

パイプラインは、Collectorの起動時にCollectorの設定ファイルに基づいて構築されます。

詳細は、次を参照してください:

以下が該当します:

  • You need to specify a data type in your pipeline configuration. All the receivers, exporters, and processors you use in a pipeline must support the particular data type, otherwise you’ll get the ErrDataTypeIsNotSupported error message when the configuration is loaded.

  • パイプラインは、1つ以上のレシーバーを含むことができます。

  • Data from all receivers is pushed to the first processor, which performs processing on it and then pushes it to the next processor and so on until the last processor in the pipeline uses a data fan-out connector to fan out (distribute) the data to multiple exporters.

    • プロセッサーの種類によっては、次のプロセッサーに渡す前にデータを「変異」(複製)させるものがあることに注意してください。

  • パイプラインが複数のエクスポーターを使用する場合、各エクスポーターは最後のプロセッサーから各データエレメントのコピーを受け取ります。

    • 失敗した場合、残りのエクスポーターは独立して作業を続行します。

    • エクスポーターは、受信したデータを「変異」(複製)するように設定できます。Splunk OTel Collectorでは、このオプションは有効になっていません。

Connect pipelines with connectors 🔗

コネクターを使用して2つのパイプラインを接続できます。コネクターは、あるパイプラインの終了時にエクスポーターとしてデータを消費し、別のパイプラインの開始時にレシーバーとしてデータを排出します。同じデータ型または異なるデータ型のデータを消費および送信できます。コネクターは、すでに消費したデータを要約したデータを生成して出力したり、単にデータを複製したりルーティングしたりするために使用します。

Learn more at:ref:otel-components-connectors.

パイプライン設定の例 🔗

パイプラインのコンフィギュレーションは通常次のようになります:

service:
  pipelines:
  # Pipelines can contain multiple subsections, one per pipeline.
    traces:
    # Traces is the pipeline type.
      receivers: [otlp, jaeger, zipkin]
      processors: [memory_limiter, batch]
      exporters: [otlp, splunk_hec, jaeger, zipkin]

This example defines a pipeline for traces, with three receivers, two processors, and four exporters. The following table describes the receivers, processors, and exporters used in this example.

コンポーネント

説明

パイプラインの種類

レシーバー

otlp:OTLP形式でgRPCまたはHTTP経由でデータを受信します。

トレース、メトリクス、ログ

レシーバー

jaeger:Jaeger 形式のトレースデータを受信します。

トレース

レシーバー

zipkin:Zipkin(V1とV2)からスパンを受け取ります。

トレース

プロセッサー

memory_limiter: メモリ不足を防止します。

メトリクス、トレース、ログ

プロセッサー

batch:スパン、メトリクス、またはログを受け入れ、それらをバッチに配置します。バッチ化することで、データをより適切に圧縮し、データ伝送に必要な発信接続数を減らすことができます。

メトリクス、トレース、ログ

エクスポーター

otlp:OTLPフォーマットを使ってgRPC経由でデータをエクスポートします。デフォルトでは、このエクスポーターはTLSを必要とし、キュー再試行機能を提供します。

トレース、メトリクス

エクスポーター

HEC:Splunk HTTP Event Collector (HEC) エンドポイントにデータを送信します。

メトリクス、ログ

エクスポーター

jaeger:gRPCを通してJaeger宛にデータをエクスポートします。デフォルトでは、このエクスポーターはTLSを必要とし、キュー再試行機能を提供します。

トレース

エクスポーター

zipkin:データをZipkinサーバーにエクスポートします。デフォルトでは、このエクスポーターはTLSを必要とし、キュー再試行機能を提供します。

トレース

メタデータの変換 🔗

Metadata refers to the name/value pair added to telemetry data. In the OpenTelemetry data model, tags are provided as attributes. After Splunk Observability Cloud ingests traces with attributes, these are available as tags. Alternatively, you could use attributes to create Monitoring Metric Sets, which can be used to drive alerting. Learn more at OpenTelemetryでタグや属性を使用する.

次のステップ:取り込んだデータの確認と管理 🔗

Collector を使用してデータを取り込み、処理した後、Splunk Observability Cloud で最終的なエクスポートバージョンを確認できます。

ログの確認と管理 🔗

ログの確認と管理には、Splunk Log Observer Connect を使用してください。

メトリクスの確認と管理 🔗

Splunk Observability Cloud には、メトリクスを追跡・管理するためのツールがいくつか用意されています:

スパン、トレース、タグの確認と管理 🔗

Splunk APMでサービス、スパン、トレースを管理する および OpenTelemetryでタグや属性を使用する を参照してください。

このページは 2024年11月20日 に最終更新されました。