原创 基于 Grafana LGTM 可观测平台的构建

原标题：基于 Grafana LGTM 可观测平台的构建

可观测性目前属于云原生一个比较火的话题，它涉及的内容较多，不仅涉及多种遥测数据（信号），例如日志（log）、指标(metric)、分布式追踪（trace）、连续分析(continuous profiling)、 事件（event）；还涉及遥测数据各生命周期管理，比如暴露、采集、存储、计算查询、统一看板。

& |3 Q. ^: d; F5 F* w8 Z

目前社区相关开源产品较多，各有各的优势，今天我们就来看看如何使用 Grafana LGTM 技术栈（Grafana、Loki、Tempo、Mimir）快速构建一个自己的可观测性平台。

* z1 r+ h% W! e( \& h1 h. c

通过本文你将了解：

8 u) i& ^$ W ]. @/ y

如何在 Go 程序中导出 metric、trace、log、以及它们之间的关联 TraceID

5 g/ V4 b" Z6 ]2 a6 A! r+ ]; } |( s

如何使用 OTel Collector 进行 metric、trace 收集

# J- o$ F* z8 Y( c

如何使用 OTel Collector Contrib 进行日志收集

如何部署 Grafana Mimir、Loki、Tempo 进行 metric、trace、log 数据存储

如何使用 Grafana 制作统一可观测性大盘

& j! f. n; }/ y" U# A: C0 d

为了本次的教学内容，我们提前编写了一个 Go Web 程序，它提供 /v1/books 和 /v1/books/1 两个 HTTP 接口。

当请求接口时，会先访问 Redis 缓存，如果未命中将继续访问 MySQL；整个请求会详细记录相关日志、整个链路各阶段调用情况以及整体请求延迟，当请求延迟 >200ms 时，会通过 Prometheus examplar 记录本次请求的 TraceID，用于该请求的日志、调用链关联。

* V2 a/ a6 s, R; @9 x* s# N5 {# d

下载并体验样例

我们已经提前将样例程序上传到 github，所以您可以使用 git 进行下载：

git clone https://github.com/grafanafans/prometheus-exemplar.git

cd prometheus-exemplar

! M1 \) c" j4 r

使用 docker-compose 启动样例程序:

" b$ U; U7 [' q

docker-compose up -d

这个命令会启动以下程序：

使用单节点模式分别启动一个 Mimir、Loki、Tempo

启动一个 Nginx 作为统一可观测平台查询入口，后端对接 Mimir、Loki、Tempo

启动 demo app, 并启动其依赖的 MySQL 和 Redis， demo app 可以使用 http://localhost:8080 访问

; Q; O/ u' ^' @

启动 Grafana 并导入预设的数据源和 demo app 统一看板，可以使用 http://localhost:3000 访问

整个部署架构如下：

当程序部署完成后，我们可以使用 wrk 进行 demo app 接口批量请求：

wrk http://localhost:8080/v1/books

$ O4 ?! X9 g8 |' z3 k' t( d

wrk http://localhost:8080/v1/books/1

最后通过 http://localhost:3000 页面访问对应的看板：

: Y) x. `' C; K; \3 s

细节说明

使用 Promethues Go SDK 导出 metrics

在 demo app 中，我们使用 Prometheus Go SDK 作为 metrics 导出，这里没有使用 OpenTelmetry SDK 主要因为当前版本（v0.33.0）还不支持 exemplar， 代码逻辑大致为：

! ?( C7 W2 P" w

func Metrics(metricPath string, urlMapping func(string) string) gin.HandlerFunc <{p> httpDurationsHistogram := prometheus.NewHistogramVec(prometheus.HistogramOpts<{p> Name: "http_durations_histogram_seconds",

Help: "Http latency distributions.",

- [$ N/ z5 B; }5 {* Z/ s1 w/ _

Buckets: []float64{0.05, 0.1, 0.25, 0.5, 1, 2},

}, []string{"method", "path", "code"})

# Q" r) T& x. r3 D

prometheus.MustRegister(httpDurationsHistogram)

return func(c *gin.Context) <{p> .....

1 j3 V1 V, F7 G' G1 i0 r

observer := httpDurationsHistogram.WithLabelValues(method, url, status)

1 Q- ?/ C5 P5 [) o3 b

observer.Observe(elapsed)

$ l; l* A5 i) v

if elapsed > 0.2 <{p> observer.(prometheus.ExemplarObserver).ObserveWithExemplar(elapsed, prometheus.Labels<{p> "traceID": c.GetHeader(api.XRequestID),

})

}

}

0 u8 b/ K( I4 O- t

}

使用 OTLP HTTP 导出 traces

7 a* j/ }' j! Z( n! x. s

使用 OTel SDK 进行 trace 埋点：

: j% k, R* S2 L) E

func (*MysqlBookService) Show(id string, ctx context.Context) (item *Book, err error) <{p> _, span := otel.Tracer().Start(ctx, "MysqlBookService.Show")

span.SetAttributes(attribute.String("id", id))

$ `* C: P. ?5 \2 E8 @6 m6 N6 S. s

defer span.End()

// mysql qury random time duration

$ \9 b3 n7 V; F4 K# S9 A

time.Sleep(time.Duration(rand.Intn(250)) * time.Millisecond)

0 u# c ?. u/ W5 h

err = db.Where(Book{Id: id}).Find(&item).Error

return

}

使用 OLTP HTTP 进行导出：

func SetTracerProvider(name, environment, endpoint string) error <{p> serviceName = name

+ t2 y# s& j( `' J! k

client := otlptracehttp.NewClient(

otlptracehttp.WithEndpoint(endpoint),

2 L6 s$ K% D9 D, I; U, b

otlptracehttp.WithInsecure(),

)

exp, err := otlptrace.New(context.Background(), client)

9 [- h q+ B( ~+ z

if err != nil <{p> return err

! ?& P5 t0 j, x3 c5 E% U! B; c4 v

}

tp := tracesdk.NewTracerProvider(

6 t3 G% u' {* c+ }8 {$ x

tracesdk.WithBatcher(exp),

tracesdk.WithResource(resource.NewWithAttributes(

4 ?6 [" r5 I( b

semconv.SchemaURL,

semconv.ServiceNameKey.String(serviceName),

5 a, F9 ~, }' z6 F0 s

attribute.String("environment", environment),

)),

2 s& Q6 q: c6 `0 D" T- ^; B

)

. I4 t& W/ P. G: r+ k9 N I; c

otel.SetTracerProvider(tp)

return nil

$ A( M' v' e6 k: p6 i6 k, }

}

: x) e% v/ V8 K5 b* z

结构化日志

这里我们使用 go.uber.org/zap 包进行结构化日志输出，并输出到 /var/log/app.log 文件，每个请求开始时，注入 traceID：

cfg := zap.NewProductionConfig()

cfg.OutputPaths = []string{"stderr", "/var/log/app.log"}

4 h0 J7 R# L, @! s! v- u) _

logger, _ := cfg.Build()

logger.With(zap.String("traceID", ctx.GetHeader(XRequestID)))

8 x: K: r# N% @% |% R6 |1 d

使用 OTel Collector 进行 metric、trace 收集

因为 demo app 的 metrics 使用 Prometheus SDK 导出，所以 OTel Collector 需要使用 Prometheus recevier 进行抓取，然后我们再通过 Prometheus remotewrite 将数据 push 到 Mimir。

针对 traces，demo app 使用 OTLP HTTP 进行了导出，所有 Collector 需要用 OTP HTTP recevier 进行接收，最后再使用 OTLP gRPC 将数据 push 到 Tempo，对应配置如下：

receivers:

$ y7 G7 M0 f! q1 x# n

otlp:

$ T6 D3 i1 X) Q' ^9 y, D+ X% W/ V# v

protocols:

grpc:

& j' {" m: Z9 w, m7 V' B* w

http:

4 T; T x! }! o, Z; k

prometheus:

config:

scrape_configs:

- job_name: app

3 ]* b7 y# j) Y

scrape_interval: 10s

" v$ }- v; k, l* p

static_configs:

- targets: [app:8080]

* @+ v0 k/ Y) T: \. z, i! X7 d1 q/ C: G

exporters:

; r! q6 `5 P' H

otlp:

$ S- Q& p! |( W) w5 W

endpoint: tempo:4317

tls:

" h( w* C; e% x

insecure: true

prometheusremotewrite:

7 q, N$ g# w% D

endpoint: http://mimir:8080/api/v1/push

tls:

4 v; V, P6 t3 `) M

insecure: true

headers:

X-Scope-OrgID: demo

9 E3 G7 n- X) k. i- a7 `+ s

processors:

batch:

service:

+ P# }; K$ o- E% v

pipelines:

traces:

- G3 F7 s2 H+ Z( {

receivers: [otlp]

+ E" U3 X7 o C0 o5 a

processors: [batch]

, M. Y1 T9 f) K M

exporters: [otlp]

metrics:

receivers: [prometheus]

processors: [batch]

" B/ P* F! K+ l [/ j* h4 a

exporters: [prometheusremotewrite]

- U9 L4 i( U5 ]: u4 }

使用 OTel Collector Contrib 进行 log 收集

|4 A9 C. ~% c+ } l

因为我们结构化日志输出到了/var/log/app.log 文件，所以这里使用 filelog receiver 进行最新日志读取，最后再经过loki exporter 进行导出，配置如下：

" q9 O, i/ v9 E6 h5 N

receivers:

filelog:

3 z% W5 r9 G& j* F0 \; u$ v% f

include: [/var/log/app.log]

8 n# z+ {1 c2 x$ @

exporters:

% J3 L) |- C" w9 p) V. e

loki:

/ e6 v7 F& r( B2 v, v3 b

endpoint: http://loki:3100/loki/api/v1/push

' ?7 X% W. ~* T, T; ^

tenant_id: demo

2 ?- U) m2 ]' X) O% k5 S: v- v

labels:

7 p# Y# Q5 |" z3 N- T$ B( E( N

attributes:

log.file.name: "filename"

processors:

batch:

service:

pipelines:

logs:

receivers: [filelog]

processors: [batch]

6 a9 ]; b; z( r' m1 W% G; A

exporters: [loki]

以上就是有关 demo app 可观测性与 Grafana LGTM 技术栈集成的核心代码与配置，全部配置请参考 https://github.com/grafanafans/prometheus-exemplar 。

; e4 N* t4 G' c& f

总结

本文我们通过一个简单的 Go 程序，导出了可观测性相关的遥测数据，其中包括 metrics、traces、logs, 然后统一由 OTel Collector 进行抓取，分别将三种遥测数据推送到 Grafana 的 Mimir、 Tempo、Loki 进行存储，最后再通过 Grafana 统一看板并进行 metrics、traces、logs 关联查询。

# T9 g R1 o1 P5 y

这里关联的逻辑为使用 Prometheus 的 exemplar 记录采样对应的 traceID，然后通过该 traceID 进行相关日志和 trace 查询。返回搜狐，查看更多

0 I, H/ }1 q% D 1 O7 N2 I' v1 }) l

责任编辑：

+ c, v b# v* y% q# t 7 k' j1 Y9 T- {( \* L# w" u8 ? 3 ]& l. v/ n! c0 L {7 b; a F% b2 q