可观测性 ELK 三件套：从入门到精通
Elasticsearch / Logstash / Kibana 的机制、链路、选型与排障，配 10 张 Mermaid 图

flowchart LR
  subgraph SRC["数据源"]
    A1["应用日志文件"]
    A2["容器 stdout/stderr"]
    A3["系统与中间件指标"]
    A4["应用链路 trace"]
  end
  subgraph SHIP["采集层 轻量 常驻"]
    B1["Filebeat"]
    B2["Metricbeat"]
    B3["Elastic Agent<br/>内建 OTel Collector"]
  end
  subgraph PROC["加工层 可选 可放大"]
    C1["Logstash<br/>grok / dissect / enrich"]
    C2["Elasticsearch<br/>ingest pipeline"]
    C3["消息队列<br/>Kafka / Redis 缓冲"]
  end
  subgraph STORE["存储与检索"]
    D1["Elasticsearch 集群<br/>data stream + ILM"]
    D2["对象存储<br/>searchable snapshot"]
  end
  subgraph VIEW["展现与告警"]
    E1["Kibana<br/>Discover / Lens / 仪表盘"]
    E2["告警与连接器<br/>邮件 / Webhook / Slack"]
  end
  A1 --> B1
  A2 --> B3
  A3 --> B2
  A4 --> B3
  B1 --> C3
  B2 --> C2
  B3 --> C3
  C3 --> C1
  C1 --> D1
  B1 -.->|"轻量场景直连"| D1
  B3 -.->|"Agent 直连"| D1
  C2 --> D1
  D1 --> D2
  D1 --> E1
  E1 --> E2
  E2 -.->|"人到现场处理"| SRC

sequenceDiagram
  autonumber
  participant APP as 业务应用
  participant SHIP as Filebeat / Elastic Agent
  participant MQ as Kafka（可选）
  participant LS as Logstash
  participant ES as Elasticsearch
  participant KB as Kibana
  APP->>SHIP: 追加写日志文件或 stdout
  Note over SHIP: 记忆位点 断点续传
  SHIP->>SHIP: 多行合并 + 加 host 元数据
  SHIP->>MQ: 投递事件（或直连 ES 的 bulk 接口）
  MQ->>LS: 消费者拉取
  LS->>LS: grok 解析 + date 归一化 + mutate 清洗
  LS->>ES: bulk 批量写 data stream
  Note over ES: ingest pipeline 再加工<br/>按时间戳路由到 backing index
  ES->>ES: 写入内存 buffer 与 translog
  ES-->>KB: refresh 后可见 默认约 1 秒
  Note over LS,ES: 写入失败 400/404 → DLQ 死信队列
  KB->>ES: ES|QL 或 Query DSL 查询
  ES-->>KB: 命中结果 + 聚合
  KB->>KB: Lens 渲染仪表盘并触发告警规则

flowchart TD
  W["index / bulk 请求"] --> IB["内存索引缓冲<br/>in-memory buffer"]
  W --> TL["translog 事务日志<br/>每次写都落盘"]
  IB -->|"refresh 默认约 1 秒"| SEG["新 segment<br/>先写文件系统缓存"]
  SEG --> SEARCH["可被搜索<br/>近实时生效"]
  SEG -->|"flush / commit"| DISK["落盘 fsync"]
  TL -->|"节点重启恢复"| IB
  SEG -->|"后台 merge"| M["合并成大 segment<br/>删除已标记文档"]
  M --> SEARCH

flowchart LR
  C["Kibana 发起查询"] --> CO["协调节点<br/>coordinating"]
  CO -->|"并发扇出"| P1["主分片 1<br/>本地查询"]
  CO -->|"并发扇出"| P2["主分片 2<br/>本地查询"]
  CO -->|"并发扇出"| P3["主分片 N<br/>本地查询"]
  P1 --> MERGE["归并排序 / 聚合合并"]
  P2 --> MERGE
  P3 --> MERGE
  MERGE --> TOP["返回 top-N 与聚合结果"]
  CO -.->|"默认读取路径"| R["副本分片<br/>共同承担读流量"]
  R --> MERGE

flowchart LR
  IN["input 插件<br/>beats / kafka / file / tcp"] --> QB{"队列"}
  QB -->|"默认 memory 快 但重启丢"| F1["filter worker 1"]
  QB -->|"persisted 慢 但可恢复"| F2["filter worker 2"]
  F1 --> OUT["output 插件<br/>elasticsearch / kafka"]
  F2 --> OUT
  OUT -->|"成功"| ES["Elasticsearch"]
  OUT -->|"400 / 404 类失败"| DLQ["DLQ 死信队列<br/>落盘待重放"]
  OUT -->|"ES 不可用"| RETRY["重试并阻塞<br/>上游压力回传"]
  DLQ -->|"专用 pipeline 读取"| OUT

flowchart LR
  Q["查询入口<br/>Discover / 仪表盘筛选器"] --> LANG{"查询语言"}
  LANG -->|"ESQL 推荐"| P1["管道式查询<br/>FROM / WHERE / STATS"]
  LANG -->|"Query DSL"| P2["JSON 查询体"]
  P1 --> KBS["Kibana 服务端<br/>注入数据视图与权限"]
  P2 --> KBS
  KBS --> ESL["Elasticsearch 集群"]
  ESL --> RES["结果集"]
  RES --> LENS["Lens 可视化<br/>多图层 可折叠为标签页"]
  LENS --> DASH["Dashboard<br/>可设置 owner 与只写限制"]
  RES --> ALERT["告警规则<br/>含基于 ES|QL 面板创建规则"]
  ALERT --> CONN["连接器<br/>邮件 / Slack / Webhook"]

flowchart TD
  START["要采集什么"] --> T1{"需要同时采<br/>日志 + 指标 + trace 吗"}
  T1 -->|"只要日志 且环境受限"| FB["Filebeat<br/>最省资源"]
  T1 -->|"只要指标"| MB["Metricbeat"]
  T1 -->|"都要 或要统一管理"| EA["Elastic Agent<br/>单一代理 集中策略"]
  T1 -->|"要跨厂商 标准 OTel"| OT["OpenTelemetry Collector<br/>或 EDOT 发行版"]
  EA --> O1{"9.2 起内建 OTel Collector"}
  O1 -->|"agent 模式"| O2["主机本地采集<br/>贴近应用"]
  O1 -->|"gateway 模式"| O3["集中式入口<br/>自管栈中替代 APM Server"]
  OT --> O4["统一 OTLP 出口<br/>弹性对接多后端"]
  FB --> DONE["写入 Elasticsearch<br/>或 Logstash"]
  MB --> DONE
  EA --> DONE
  O2 --> DONE
  O3 --> DONE
  O4 --> DONE

flowchart LR
  HOT["hot 热<br/>持续写入 可搜索"] -->|"rollover 达 50GB 或 30 天"| WARM["warm 温<br/>只读 可 shrink 合并段"]
  WARM -->|"7 天后"| COLD["cold 冷<br/>查询少 迁到便宜硬件"]
  COLD -->|"到期"| FROZEN["frozen 冻结<br/>可搜索快照 极慢但便宜"]
  FROZEN -->|"保留期到达"| DEL["delete 删除"]
  HOT -.->|"set_priority 提高优先级"| HOT
  WARM -.->|"allocate 指定节点属性"| WARM
  COLD -.->|"searchable snapshot"| COLD
  DEL -.->|"wait_for_snapshot 先确保快照"| DEL

flowchart TB
  LB["客户端 / Kibana / Beats"] --> CO["协调层<br/>coordinating 查询聚合"]
  CO --> HL["hot 层<br/>SSD 高配<br/>写入与近期查询"]
  CO --> WL["warm 层<br/>中等配置<br/>只读 已 merge"]
  CO --> CL["cold / frozen 层<br/>大容量 HDD<br/>可搜索快照"]
  HL --> ML["专用 master 节点<br/>3 台 奇数 只做集群决策"]
  WL --> ML
  CL --> ML
  HL --> SNAP["快照仓库<br/>对象存储 S3/OSS/COS"]
  ML --> SNAP
  HL --> KBN["Kibana 实例"]

flowchart TD
  REQ["用户请求 Kibana 某项功能"] --> S1{"该角色在此空间被授予<br/>功能权限吗"}
  S1 -->|"没授予"| DENY["功能不可见"]
  S1 -->|"授予"| S2{"该功能在当前空间<br/>被显示出来了吗"}
  S2 -->|"被隐藏"| DENY2["功能不可见"]
  S2 -->|"可见"| S3{"索引权限匹配吗<br/>read + view_index_metadata"}
  S3 -->|"不匹配"| DENY3["查不到数据"]
  S3 -->|"匹配"| S4{"有 DLS / FLS 限制吗<br/>付费功能"}
  S4 -->|"有 文档或字段被过滤"| PART["只看到部分文档或字段"]
  S4 -->|"没有"| OK["看到全部"]

flowchart TD
  P["问题现象"] --> Q1{"现象是哪一类"}
  Q1 -->|"日志根本没出现"| A1{"源头有这条日志吗"}
  A1 -->|"文件里就没有"| A2["不是 ELK 的问题<br/>回到应用侧"]
  A1 -->|"文件里有"| A3{"采集器位点是否推进<br/>Filebeat registry / Agent 状态"}
  A3 -->|"没推进"| A4["采集器挂了或权限不足<br/>看采集器自身日志"]
  A3 -->|"推进了"| A5{"中间有 MQ 或 Logstash 吗"}
  A5 -->|"有"| A6["查 DLQ 与 PQ<br/>400/404 类失败会堆在 DLQ"]
  A5 -->|"没有"| A7["查 ES bulk 拒绝<br/>线程池或磁盘水位"]
  Q1 -->|"集群状态异常"| B1{"颜色"}
  B1 -->|"yellow"| B2["有副本未分配<br/>单节点集群属正常现象"]
  B1 -->|"red"| B3["有主分片未分配<br/>查 allocation explain"]
  B3 --> B4["常见原因<br/>磁盘水位 节点掉线 分片损坏"]
  Q1 -->|"查询变慢"| C1{"是写入高峰还是长期"}
  C1 -->|"写入高峰"| C2["检查 refresh 频率与 bulk 大小<br/>考虑加大 refresh_interval"]
  C1 -->|"长期变慢"| C3{"分片是否过多"}
  C3 -->|"是"| C4["强制合并或按 50GB 重新规划<br/>_forcemerge 只清墓碑文档"]
  C3 -->|"否"| C5["看字段类型与查询写法<br/>keyword 与 text 用错会扫全量"]

flowchart LR
  L1["L1 跑起来<br/>docker compose 起三件套<br/>灌进一条日志并在 Discover 看到"] --> L2
  L2["L2 采集与解析<br/>Filebeat 采 Nginx 日志<br/>Logstash grok 出字段<br/>画出第一张 Lens 图"] --> L3
  L3["L3 规范与生命周期<br/>ECS 字段命名<br/>索引模板 + ILM 冷热<br/>data stream 与 rollover"] --> L4
  L4["L4 性能与容量<br/>分片规划 10-50GB<br/>堆与 GC 观察<br/>bulk 与 refresh 调优<br/>logsdb 取舍"] --> L5
  L5["L5 生产级运维<br/>RBAC 与空间隔离<br/>快照与恢复演练<br/>版本升级路线<br/>告警闭环与容量预估"]