Docs » Splunk Distribution of the OpenTelemetry Collector の利用開始 » はじめに:Collectorを理解して使用する » パイプラインでデータを処理する

パイプラインでデータを処理する 🔗

Use pipelines in your Collector’s config file to define the path you want your ingested data to follow. Specify which components you want to use, starting from data reception using receivers, then data processing or modification with processors, until data finally exits the Collector through exporters. For an overview of all available components and their behavior refer to Collector コンポーネント.

パイプラインは、ログ、トレース、メトリクスの 3 種類のデータで動作します。Splunk Observability Cloud のデータについて詳しくは、Splunk Observability Cloud のデータ型 を参照してください。

注釈

Collector で一般的なアクションやタスクを実行する方法については、Collector を使用します:一般的なタスクの実行方法 を参照してください。

パイプラインを定義する 🔗

The pipeline is constructed during Collector startup based on your Collector’s config file.

See more at:

以下が該当します:

  • You need to specify a data type in your pipeline configuration. All the receivers, exporters, and processors you use in a pipeline must support the particular data type, otherwise you’ll get the ErrDataTypeIsNotSupported error message when the configuration is loaded.

  • A pipeline can contain one or more receivers.

  • Data from all receivers is pushed to the first processor, which performs processing on it and then pushes it to the next processor and so on until the last processor in the pipeline uses a data fan-out connector to fan out (distribute) the data to multiple exporters.

    • Note that some types of processor 「mutate」 (duplicate) data before they pass it on to the next processor.

  • If a pipeline uses more than one exporter, each exporter receives a copy of each data element from the last processor.

    • In case of failure, the rest of exporters continue to work independently.

    • You can configure exporters to 「mutate」 (duplicate) the data they receive. In the Splunk OTel Collector this option is not enabled.

Connect pipelines with connectors 🔗

You can use connectors to connect two pipelines. Connectors consume data as an exporter at the end of one pipeline and emit data as a receiver at the start of another pipeline. They can consume and emit data of the same data type, or of different data types. Use connectors to generate and emit data which summarizes the data you’ve already consumed, or to simply replicate or route data.

Learn more at:ref:otel-components-connectors.

パイプライン設定の例 🔗

パイプラインのコンフィギュレーションは通常次のようになります:

service:
  pipelines:
  # Pipelines can contain multiple subsections, one per pipeline.
    traces:
    # Traces is the pipeline type.
      receivers: [otlp, jaeger, zipkin]
      processors: [memory_limiter, batch]
      exporters: [otlp, splunk_hec, jaeger, zipkin]

This example defines a pipeline for traces, with three receivers, two processors, and four exporters. The following table describes the receivers, processors, and exporters used in this example.

コンポーネント

説明

パイプラインの種類

レシーバー

otlp:OTLP形式でgRPCまたはHTTP経由でデータを受信します。

トレース、メトリクス、ログ

レシーバー

jaeger:Jaeger 形式のトレースデータを受信します。

トレース

レシーバー

zipkin:Zipkin(V1とV2)からスパンを受け取ります。

トレース

プロセッサー

memory_limiter: メモリ不足を防止します。

メトリクス、トレース、ログ

プロセッサー

batch:スパン、メトリクス、またはログを受け入れ、それらをバッチに配置します。バッチ化することで、データをより適切に圧縮し、データ伝送に必要な発信接続数を減らすことができます。

メトリクス、トレース、ログ

エクスポーター

otlp:OTLPフォーマットを使ってgRPC経由でデータをエクスポートします。デフォルトでは、このエクスポーターはTLSを必要とし、キュー再試行機能を提供します。

トレース、メトリクス

エクスポーター

HEC:Splunk HTTP Event Collector (HEC) エンドポイントにデータを送信します。

メトリクス、ログ

エクスポーター

jaeger:gRPCを通してJaeger宛にデータをエクスポートします。デフォルトでは、このエクスポーターはTLSを必要とし、キュー再試行機能を提供します。

トレース

エクスポーター

zipkin:データをZipkinサーバーにエクスポートします。デフォルトでは、このエクスポーターはTLSを必要とし、キュー再試行機能を提供します。

トレース

メタデータの変換 🔗

Metadata refers to the name/value pair added to telemetry data. In the OpenTelemetry data model, tags are provided as attributes. After Splunk Observability Cloud ingests traces with attributes, these are available as tags. Alternatively, you could use attributes to create Monitoring Metric Sets, which can be used to drive alerting. Learn more at OpenTelemetryでタグや属性を使用する.

次のステップ:取り込んだデータの確認と管理 🔗

Collector を使用してデータを取り込み、処理した後、Splunk Observability Cloud で最終的なエクスポートバージョンを確認できます。

ログの確認と管理 🔗

ログの確認と管理には、Splunk Log Observer Connect を使用してください。

メトリクスの確認と管理 🔗

Splunk Observability Cloud には、メトリクスを追跡・管理するためのツールがいくつか用意されています:

スパン、トレース、タグの確認と管理 🔗

Splunk APMでサービス、スパン、トレースを管理する および OpenTelemetryでタグや属性を使用する を参照してください。

This page was last updated on 2024年11月06日.