ログパイプラインを管理する 🔗
注釈
Splunk Observability Cloud の Splunk Log Observer エンタイトルメントをお持ちのお客様は、2023年12月までに Log Observer から Log Observer Connect に移行する必要があります。Log Observer Connect を使用すると、より多様なデータソースからより多くのログをインジェストし、より高度なログパイプラインを利用し、セキュリティロギングに拡張できます。その方法については、Splunk Log Observer の移行 を参照してください。
パイプラインをカスタマイズすることで、生ログに付加価値を与えます。パイプラインは、順次実行されるルールのセットです。
Splunk Observability Cloud lets you create three types of pipeline rules:
Log processing rules transform your data or a subset of your data as it arrives in Splunk Observability Cloud.
ログメトリクス化ルール では、グラフを作成してログの傾向を見ることができます。
無限のロギングルール は、将来使用する可能性があるため、インデックスされていないログをAmazon S3バケットにアーカイブします。
注釈
Splunk Observability Cloud の Splunk Log Observer エンタイトルメントをお持ちのお客様のみが、Log Observer パイプラインを管理できます。Splunk Log Observer エンタイトルメントを持っておらず、代わりに Splunk Log Observer Connect を使用している場合は、Splunk Log Observer Connectの概要 を参照して Splunk プラットフォームインテグレーションで何ができるかを確認してください。
ログのパイプラインルールのシーケンス 🔗
ログのパイプラインルールは以下の順序で実行される：
すべてのログ処理ルール（フィールド抽出、フィールドコピー、フィールド再編集プロセッサー）
すべてのログメトリクス化ルール
すべての無限のロギングルール
カスタムルールの順序は、ルールカテゴリ内でドラッグ＆ドロップして調整します。Log Observerは、3種類のパイプラインルールがすべて実行された後にのみ、ログにインデックスを作成します。無限のロギングルールを通じてアーカイブしたログは、インデックス作成容量にカウントされません。
ログ処理ルールが最初に実行されるため、フィールド抽出ルールを作成し、次に結果のフィールドをログメトリクス化ルールまたは無限のロギングルール、またはその両方で使用することができます。例えば、message フィールドに’START』、』RETRY』、』FAIL』、』SUCCESS’の値を含むすべてのログをアーカイブし、インデックスを作成しないとします。何の処理もしなければ、各値のキーワード検索でルールを作成する必要がある可能性があります。代わりに、フィールド抽出を使用して、無限のロギングルールをより簡単で管理しやすくすることができます。まず、目的の値を含むフィールドメッセージの部分から、 status という新しいフィールドを抽出するログ処理ルールを作成します。次に、』START』、』RETRY』、』FAIL』、または’REPORT’という値を持つログを含むように status 上でフィルタリングする無限ロギングルールを作成します。
Because Infinite Logging rules are last in the pipeline, log-derived metrics are based on 100% of ingested logs, not on a sample of logs. Thus, your organization can make use of full and accurate log-derived metrics without needing to index all the logs that you metricize. For example, say you want to create a metric to count the occurrences of “puppies” or “kittens” in the message field, but you also want to archive the logs containing those occurrences without indexing. First, create a log processing rule to extract a new field called pet from the portion of the message field that contains the desired values. Then, create a metricization rule that records the count of all log messages, grouped by pet. You can now graph or alert on the count of each pet from logs in Splunk Observability Cloud dashboards and detectors. If you don’t want to see the log messages in Log Observer, create an Infinite Logging rule that archives without indexing all log messages that contain the field pet. Now you have real-time visibility into logging trends without using index capacity.
パイプラインルールの制限を記録 🔗
組織は、フィールド抽出ルール、フィールドコピールール、およびフィールド再編集ルールの合計を含む、合計128のログ処理ルールを作成できます。さらに、組織は128のログメトリクスス化ルールと128の無限ログルールを作成できます。