Анализ логов и наблюдаемости с помощью ИИ

Updated Jul 2026

Потенциал ИИ в наблюдаемости

ИИ трансформирует подход к обработке данных наблюдаемости. Вместо написания статических правил алертов, требующих человеческого опыта для поддержки, ИИ-агенты могут анализировать паттерны в логах, метриках и трассировках для обнаружения аномалий, корреляции инцидентов и предложения коренных причин. Это не заменяет традиционный алертинг — это дополняет его распознаванием паттернов, масштабирующимся за пределы человеческих возможностей.

Сценарии использования ИИ в наблюдаемости

Анализ логов с помощью LLM

# ai_log_analyzer.py
import json
from datetime import datetime, timedelta
from collections import Counter
from openai import OpenAI

client = OpenAI()

def analyze_recent_anomalies(logs: list[dict], window_minutes: int = 30) -> str:
    """
    Feed recent error/warning logs to an LLM for anomaly analysis.
    The LLM identifies patterns that static rules would miss.
    """
    # Summarize logs to fit context window
    error_summary = Counter()
    sample_logs = []

    for log in logs:
        key = f"{log.get('service', 'unknown')}:{log.get('event', 'unknown')}"
        error_summary[key] += 1
        if len(sample_logs) < 50:  # keep representative samples
            sample_logs.append(log)

    prompt = f"""You are an SRE analyzing production logs from the last {window_minutes} minutes.

## Error Summary (event:count)
{json.dumps(dict(error_summary.most_common(20)), indent=2)}

## Sample Log Entries
{json.dumps(sample_logs[:20], indent=2, default=str)}

## Task
1. Identify any anomalous patterns (new error types, unusual frequency spikes,
   correlated failures across services).
2. For each anomaly, provide:
   - Severity: critical / warning / info
   - Affected services
   - Likely root cause hypothesis
   - Recommended investigation steps
3. If no anomalies are found, state that the system appears healthy.

Respond in structured JSON format with an "anomalies" array."""

    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": prompt}],
        response_format={"type": "json_object"},
        temperature=0.1,
    )

    return response.choices[0].message.content

Когда использовать ИИ, а когда статические правила

Правило: Используйте статические правила для известных, чётко определённых режимов отказа. Используйте ИИ для обнаружения паттернов, корреляции и задач суммаризации, которые потребовали бы человека-эксперта.

Корреляция алертов с помощью ИИ

Когда одна коренная причина порождает множество алертов в разных сервисах, ИИ может выявить корреляцию:

# alert_correlator.py
from datetime import datetime

def correlate_alerts_with_deployments(alerts: list, deployments: list) -> list:
    """
    Use temporal correlation to link alerts with recent deployments.
    If an alert fires within 30 minutes of a deployment to the same service,
    flag it as potentially deployment-related.
    """
    correlations = []

    for alert in alerts:
        alert_time = alert["fired_at"]
        alert_service = alert["service"]

        for deployment in deployments:
            deploy_time = deployment["completed_at"]
            deploy_service = deployment["service"]

            time_delta = (alert_time - deploy_time).total_seconds() / 60

            if deploy_service == alert_service and 0 < time_delta < 30:
                correlations.append({
                    "alert": alert["name"],
                    "deployment": deployment["id"],
                    "service": alert_service,
                    "minutes_after_deploy": round(time_delta, 1),
                    "deploy_commit": deployment["commit_sha"],
                    "confidence": "high" if time_delta < 10 else "medium",
                    "recommendation": (
                        f"Investigate commit {deployment['commit_sha'][:8]} "
                        f"deployed {time_delta:.0f}min before alert"
                    ),
                })

    return correlations

Расширенная корреляция с помощью LLM

Для более сложной корреляции передайте контекст алертов в LLM:

def llm_correlate_alerts(alerts: list[dict]) -> dict:
    """Use an LLM to find the common root cause across multiple alerts."""
    prompt = f"""You are an SRE analyzing multiple alerts that fired within a short window.

## Active Alerts
{json.dumps(alerts, indent=2, default=str)}

## Task
1. Determine if these alerts share a common root cause.
2. If so, identify the most likely root cause.
3. Rank the alerts by importance (which one is the PRIMARY symptom vs. secondary effects).
4. Suggest an investigation order.

Respond as JSON with fields: "common_root_cause", "confidence", "primary_alert",
"investigation_steps", "likely_fix"."""

    response = client.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": prompt}],
        response_format={"type": "json_object"},
        temperature=0.1,
    )
    return json.loads(response.choices[0].message.content)

Построение пайплайна ИИ-наблюдаемости

[Log/Metric/Trace Streams]
         |
         v
[Pre-filter: errors, warnings, anomalous values only]
         |
         v
[Batch: collect 5-minute windows]
         |
         v
[AI Analysis: anomaly detection, correlation, summarization]
         |
         +---> [Anomaly detected?]
         |         |
         |         Yes --> [Create alert with AI context]
         |         |
         |         No  --> [Log "system healthy" metric]
         |
         v
[Store analysis results for trend tracking]

Особенности реализации

1. Контроль затрат. Вызовы LLM дороги. Фильтруйте агрессивно — отправляйте в ИИ только ошибки и предупреждения. Нагруженный сервис может генерировать миллионы строк логов в час; лишь сотни из них представляют интерес.

2. Толерантность к задержке. Анализ ИИ работает асинхронно. Он дополняет алертинг (предоставляя более богатый контекст), но не должен быть основным механизмом обнаружения. Статические правила обнаруживают первыми; ИИ объясняет и коррелирует.

3. Инженерия промптов. Структурированные промпты с явными инструкциями по формату вывода дают более надёжные результаты. Используйте формат ответа JSON.

4. Петли обратной связи. Отслеживайте, являются ли обнаруженные ИИ аномалии реальными инцидентами. Используйте эти данные для улучшения промптов и фильтрации со временем.

5. Конфиденциальность. Убедитесь, что данные логов, отправляемые в API LLM, не содержат PII. Редактируйте чувствительные поля перед построением промптов.

Практическая отправная точка

Если вы начинаете с нуля, начните с этой минимальной настройки ИИ-наблюдаемости:

1. Неделя 1: Настройте структурированное логирование с идентификаторами корреляции во всех сервисах
2. Неделя 2: Настройте пайплайн агрегации логов (Loki или Elasticsearch)
3. Неделя 3: Создайте ежедневное задание анализа логов ИИ, суммирующее ошибки за день
4. Неделя 4: Добавьте корреляцию с деплоями в ежедневную сводку
5. Месяц 2: Добавьте обнаружение аномалий в реальном времени (5-минутные пакетные окна)
6. Месяц 3: Интегрируйте инсайты ИИ в рабочие процессы реагирования на инциденты

Цель — не заменить человеческих SRE искусственным интеллектом. Цель — дать им суперспособности: автоматическое распознавание паттернов, мгновенную корреляцию и алерты с богатым контекстом, сокращающие среднее время до разрешения.