メトリクス パイプライン管理の概要 🔗
メトリクスパイプライン管理 (MPM) は、Splunk Observability Cloud メトリクスプラットフォームを進化させたもので、メトリクスのカーディナリティを一元管理する解決策を提供します。
With MPM, you have more control over how you ingest and store your metrics, so you can lower costs and improve monitoring performance without updating the configuration of your instance of the Splunk Distribution of the OpenTelemetry Collector. To remove data pre-ingest using the Collector, see Collector を使用して取り込むデータを制御する.
メトリクスのカーディナリティとは何か、そしてそれが観測可能性にどのような影響を与えるのか？ 🔗
Metric cardinality is the number of unique metric time series (MTS) produced by a combination of metric name and its associated dimensions. A metric has high cardinality when it has a high number of dimension keys, and a high number of possible unique values for those dimension keys.
For example, say you send in data for the metric http.server.duration. If http.server.duration has only 1 dimension endpoint with 3 unique values: A, B, and C, then http.server.duration generates 3 MTS.
If you add another dimension region with 3 unique values: us-east, us-west, and eu, then http.server.duration generates 9 MTS: 3 endpoints * 3 regions.
http.server.duration にはディメンションは2つしかないにもかかわらず、各ディメンションには複数の可能な値があるため、メトリクスのカーディナリティはすでに9になっています。
For more information, see 集計ルールの制限事項.
システムでの高いカーディナリティ 🔗
カーディナリティの高いメトリクスを使用すると、詳細な分析やトラブルシューティングを実行できますが、データ管理やシステムパフォーマンスに課題が生じたり、ストレージコストが増大したりする可能性があります。MPM を使用すると、メトリクスのデータ量を管理および削減し、カーディナリティが高いために発生する問題を軽減することができます。
Use metric pipeline management to control your data volume 🔗
For each metric you send to Splunk Observability Cloud, MPM can help you configure how to ingest, keep, and manage the metric’s data volume and cardinality.
For example, you can decide to route your low-value metrics to archived metrics, a low-cost data tier, or even entirely drop them. Meanwhile, your high-value metrics continue to be routed to the real-time tier for alerting and monitoring. To learn more, see データルーティングを使用して、メトリクスの保存、アーカイブ、破棄を行います。.
また、不要なディメンションを集約することで、高カーディナリティメトリクスを低カーディナリティメトリクスに変換することもできます。詳細については、ルーティング例外ルールを使用して、特定の MTS をルーティング、またはアーカイブされたデータをリストアします。 を参照してください。
データの取り込みと保存をコントロール：データの保持、アーカイブまたはドロップ 🔗
You can control your data ingestion and storage with MPM’s routing capabilities:
リアルタイムでメトリクスを取り込み、保持します。リアルタイム層に保存されたメトリクスは、チャートやディテクターで利用できます。
アーカイブされたメトリクスにデータを送信します。アーカイブされたメトリクスは、チャートやディテクターでは使用できません。ルーティングをリアルタイムに変更、またはデータのサブセットをリアルタイムにフィルターリングすることで、それらのメトリクスをチャートやディテクターで再び利用できるようになります。また、必要な場合に備えて、最大8日間のアーカイブデータを復元することもできます。
メトリクスをドロップします。このオプションを選択すると、メトリクスはドロップされ、モニタリングに使用できなくなります。これらのメトリクスから派生した集計 MTS は保持できます。
To learn more, see データルーティングを使用して、メトリクスの保存、アーカイブ、破棄を行います。.
Archived metrics 🔗
値の低い、アクセス頻度の低いメトリクスを安価なアーカイブ階層に送信および保存することで、メトリクスデータを拡張できます。アーカイブされたメトリクスに保存されたメトリクスは保持されますが、チャートやディテクターで直接使用することはできません。
注釈
アーカイブされたメトリクスのコストは、リアルタイムのメトリクスの10分の1です。
アーカイブメトリクスに送信したメトリクスを使用する必要がある場合は、リアルタイムメトリクスにルーティングして戻し、チャートやディテクターでアクセスすることができます。また、最大8日間の履歴データを埋め戻し、必要に応じてリアルタイム層に復元することもできます。
注意
メトリクスのディメンションを使用して集計ルールを作成できるのは、メトリクスのディメンションのみです。カスタムプロパティまたはタグを使用した集計はサポートされていません。各タイプのメタデータの詳細については、メタデータ：ディメンション、カスタムプロパティ、タグ、属性 を参照してください。
When you select specific dimensions, metrics pipeline management generates a new metric. The system creates new MTS
based on the dimensions you select and rolls up data points for each MTS. By default, aggregation rules roll up the
data points into the new MTS using sum, min, max, count, delta, avg, and latest functions.
You can use the new aggregated MTS in the same way as any other MTS in Splunk Observability Cloud.
これは、クエリ時のインジェスト後集計とどう違いますか？ 🔗
When you configure charts or detectors, you can aggregate your data using analytic functions, such as sum, and then
group your data by specific dimensions, such as sum by region. This aggregation occurs after Splunk Observability Cloud
has stored your raw MTS, so you still pay for storing the data.
メトリクス パイプライン管理を使用すると、MTS を保存しながら集計し、集計されたメトリクスのみを保持できます。データポイントごとに保存するディメンションが少なくなり、メトリクス パイプライン管理によってメトリクス値がロールアップされるため、ストレージコストを削減できます。
例 🔗
Splunk Infrastructure Monitoring を使用して、コンテナ化されたワークロードの http.server.duration というメトリクスを送信します。
ワークロードには、10個のエンドポイント、20個のリージョン、5個のサービス、10,000個のコンテナがあります。5つのサービスにはそれぞれ10,000個のコンテナと10個のエンドポイントがあります。
Your data is coming in at the container ID level, generating 10 (endpoints) * 5 (services) * 20 (regions) * 10,000 (containers) = 10,000,000 MTS.
1つまたは複数のディメンションを集約することで、メトリクスのカーディナリティを削減できます。
1つのディメンションを使って集計する 🔗
データのソースリージョンにのみ興味があるので、region ディメンションでデータをグループ化する集計ルールを作成します。
The aggregated metric removes all other dimensions and retains only the region dimension based on your rule. There
are only 20 different values for region, so only Splunk Observability Cloud only ingests 20 MTS.
複数のディメンションを使用した集計 🔗
データのエンドポイント、リージョン、サービスの監視は継続したいが、コンテナ ID の監視は不要です。保持したいディメンションでデータをグループ化する集約ルールを作成します。
集約されたメトリクスは、container_id ディメンションを削除し、ルールに基づき、endpoint 、region 、service を保持します。新しいメトリクスのボリュームは、10 (エンドポイント) * 20 (リージョン) * 5 (サービス) = 1,000 MTS です。
データドロップルール 🔗
データドロップルールを使用すると、監視したくないデータを破棄できるため、メトリクスの量を減らし、コストを削減できます。たとえば、新しい集計メトリクスを作成する場合、元の集計されていないデータはもはや必要ないかもしれません。
次の点に注意してください：
ルーティング例外ルールを作成することで、この設定をオーバーライドできます。ルーティング例外ルールを使用して、特定の MTS をルーティング、またはアーカイブされたデータをリストアします。 を参照してください。
新しい受信データを削除することはできますが、Splunk Observability Cloud がすでにインジェストしたデータを削除することはできません。
ドロップしたデータは復元できません。
注釈
集計とルーティング例外はルーティングから独立しています。リアルタイム、アーカイブ、ドロップなど、どのルーティングシナリオでも集計ルールを作成できます。ただし、ルーティング例外ルールを作成できるのは、ルーティングが Archived Metrics に設定されている場合のみです。
Before you drop any data, see Impact and benefits of archiving or dropping data.
Control your data volume: Aggregate your metrics 🔗
The data you send from your services to Splunk Observability Cloud can have high cardinality. Instead of adjusting how you are sending in your data before you send it, aggregation rules allow you to summarize your data based on the dimensions you consider important by rolling up your selected metric data into new metrics that take up less storage and increase computational performance.
集約ルールを使用すると、フィルターを使用してメトリクス内の MTS のサブセットを選択し、集約ルールでそれらの MTS のディメンションを保持またはドロップできます。MPM は、新しく作成された集約メトリクスにおいてのみ、MTS の選択されたディメンションを保持します。
注意
メトリクスのディメンションを使用して集計ルールを作成できるのは、メトリクスのディメンションのみです。カスタムプロパティまたはタグを使用した集計はサポートされていません。各タイプのメタデータの詳細については、メタデータ：ディメンション、カスタムプロパティ、タグ、属性 を参照してください。
未集約の生データを大量にドロップしながら、有用な洞察を提供するディメンションの組み合わせを集計することで、組織のデータフットプリントを大幅に削減することができます。
To learn more, see Use aggregation rules to control your data volume.
注釈
集計とルーティング例外はルーティングから独立しています。集計ルールは、リアルタイム、アーカイブ、ドロップなど、どのルーティングシナリオでも作成できます。ただし、ルーティング例外ルールを作成できるのは、ルーティングがアーカイブされたメトリクスに設定されている場合だけです。
Metrics pipeline management limitations 🔗
MPM is not available for the following types of metrics:
Metrics ingested through the
https://ingest.signalfx.com/v1/collectdendpointSplunk Observability Cloud’s org metrics
APM’s MetricSets
集計ルールの制限事項 🔗
メトリクスのディメンションを使用して集計ルールを作成できるのは、メトリクスのディメンションのみです。カスタムプロパティまたはタグを使用した集計はサポートされていません。各タイプのメタデータの詳細については、メタデータ：ディメンション、カスタムプロパティ、タグ、属性 を参照してください。
Histogram metrics limitations 🔗
ヒストグラムメトリクスをアーカイブまたは集約することはできません。デフォルトでは、ヒストグラムはリアルタイム層にルーティングされます。
集計ルールの制限事項 🔗
メトリクスのディメンションを使用して集計ルールを作成できるのは、メトリクスのディメンションのみです。カスタムプロパティまたはタグを使用した集計はサポートされていません。各タイプのメタデータの詳細については、メタデータ：ディメンション、カスタムプロパティ、タグ、属性 を参照してください。
さらに詳しく 🔗
MPM の詳細については、以下のドキュメントを参照してください：
To learn more about metrics and cardinality, see:
メトリクスのカーディナリティについては、ブログ記事 カーディナリティとは？ モニタリングと観測可能性のためのカーディナリティメトリクス を参照してください。
About metric time series, see メトリック時系列.
About the Splunk Observability Cloud data model, see Splunk Observability Cloud のデータ型.