原创 基于 Grafana LGTM 可观测平台的构建

: d$ t0 K: K7 ^8 \ d

原标题：基于 Grafana LGTM 可观测平台的构建

: F( F. D+ }7 C# z: p: A6 m% f4 t, G

可观测性目前属于云原生一个比较火的话题，它涉及的内容较多，不仅涉及多种遥测数据（信号），例如日志（log）、指标(metric)、分布式追踪（trace）、连续分析(continuous profiling)、 事件（event）；还涉及遥测数据各生命周期管理，比如暴露、采集、存储、计算查询、统一看板。

目前社区相关开源产品较多，各有各的优势，今天我们就来看看如何使用 Grafana LGTM 技术栈（Grafana、Loki、Tempo、Mimir）快速构建一个自己的可观测性平台。

! O2 D0 e+ ]$ d4 l; M, ~

通过本文你将了解：

N# X0 B. v% }9 Y: v

如何在 Go 程序中导出 metric、trace、log、以及它们之间的关联 TraceID

如何使用 OTel Collector 进行 metric、trace 收集

* W7 j4 D \" e5 j9 P2 r8 Z

如何使用 OTel Collector Contrib 进行日志收集

H8 k9 X k8 y+ C' k7 F- f n1 a

如何部署 Grafana Mimir、Loki、Tempo 进行 metric、trace、log 数据存储

8 {* `: z( A1 q, T% b+ i

如何使用 Grafana 制作统一可观测性大盘

为了本次的教学内容，我们提前编写了一个 Go Web 程序，它提供 /v1/books 和 /v1/books/1 两个 HTTP 接口。

Y. R! m ]7 X

当请求接口时，会先访问 Redis 缓存，如果未命中将继续访问 MySQL；整个请求会详细记录相关日志、整个链路各阶段调用情况以及整体请求延迟，当请求延迟 >200ms 时，会通过 Prometheus examplar 记录本次请求的 TraceID，用于该请求的日志、调用链关联。

下载并体验样例

& l* V( G" C# J1 d3 _5 Y; M7 F) m

我们已经提前将样例程序上传到 github，所以您可以使用 git 进行下载：

git clone https://github.com/grafanafans/prometheus-exemplar.git

4 S: D) k1 d. R9 n5 B9 s( Z% ]

cd prometheus-exemplar

* G0 O) k1 d6 O/ X. R }4 I% `

使用 docker-compose 启动样例程序:

docker-compose up -d

这个命令会启动以下程序：

2 b2 t2 `. [' n' O( w& A

使用单节点模式分别启动一个 Mimir、Loki、Tempo

启动一个 Nginx 作为统一可观测平台查询入口，后端对接 Mimir、Loki、Tempo

启动 demo app, 并启动其依赖的 MySQL 和 Redis， demo app 可以使用 http://localhost:8080 访问

- n" y; e/ s7 @- Y3 U

启动 Grafana 并导入预设的数据源和 demo app 统一看板，可以使用 http://localhost:3000 访问

8 x$ J) ]# x Q- q$ N6 q& L

整个部署架构如下：

+ e' ^3 {0 P+ k" M! B4 h

当程序部署完成后，我们可以使用 wrk 进行 demo app 接口批量请求：

% G" `6 ^! W9 k- L

wrk http://localhost:8080/v1/books

wrk http://localhost:8080/v1/books/1

0 i3 N3 J$ r% Y- u9 Y) c

最后通过 http://localhost:3000 页面访问对应的看板：

细节说明

( L9 @' F, t( B) _- {, j1 l

使用 Promethues Go SDK 导出 metrics

! W' g* I$ k; X0 j/ N

在 demo app 中，我们使用 Prometheus Go SDK 作为 metrics 导出，这里没有使用 OpenTelmetry SDK 主要因为当前版本（v0.33.0）还不支持 exemplar， 代码逻辑大致为：

" Z0 I: @8 m* I+ `/ I/ n) u. T

func Metrics(metricPath string, urlMapping func(string) string) gin.HandlerFunc <{p> httpDurationsHistogram := prometheus.NewHistogramVec(prometheus.HistogramOpts<{p> Name: "http_durations_histogram_seconds",

Help: "Http latency distributions.",

0 \- z4 Q$ l0 i/ [

Buckets: []float64{0.05, 0.1, 0.25, 0.5, 1, 2},

1 P5 o. j: }% d8 p

}, []string{"method", "path", "code"})

. u v5 P: J/ H ^; P8 L

prometheus.MustRegister(httpDurationsHistogram)

return func(c *gin.Context) <{p> .....

observer := httpDurationsHistogram.WithLabelValues(method, url, status)

9 | w1 }" @6 F7 I; m

observer.Observe(elapsed)

if elapsed > 0.2 <{p> observer.(prometheus.ExemplarObserver).ObserveWithExemplar(elapsed, prometheus.Labels<{p> "traceID": c.GetHeader(api.XRequestID),

})

: w1 J4 o p1 x5 l: w! b: a3 V

}

}

}

& T, g6 \/ s, y& e

使用 OTLP HTTP 导出 traces

1 d3 u5 G, T7 o

使用 OTel SDK 进行 trace 埋点：

func (*MysqlBookService) Show(id string, ctx context.Context) (item *Book, err error) <{p> _, span := otel.Tracer().Start(ctx, "MysqlBookService.Show")

span.SetAttributes(attribute.String("id", id))

defer span.End()

: @( w& |2 S8 s q/ C. J# K, B

// mysql qury random time duration

time.Sleep(time.Duration(rand.Intn(250)) * time.Millisecond)

err = db.Where(Book{Id: id}).Find(&item).Error

) b1 j$ F- B/ Z3 m) j- Q

return

}

使用 OLTP HTTP 进行导出：

( n" F: p& d' ~) W8 `2 n

func SetTracerProvider(name, environment, endpoint string) error <{p> serviceName = name

9 E, w+ M& X1 ]! E- r

client := otlptracehttp.NewClient(

' ]2 }" O* G; _( ]8 w

otlptracehttp.WithEndpoint(endpoint),

otlptracehttp.WithInsecure(),

% Z3 H( S2 ^+ X$ h. i# J7 L6 D

)

exp, err := otlptrace.New(context.Background(), client)

3 `7 N) ~0 B9 [/ X( f1 k$ }: H

if err != nil <{p> return err

( A/ V8 W0 l7 X0 f

}

tp := tracesdk.NewTracerProvider(

tracesdk.WithBatcher(exp),

8 J$ ]- b4 j( y6 |4 _& Q$ \! D* G

tracesdk.WithResource(resource.NewWithAttributes(

4 f. z! C- i& g6 {. C) e' I

semconv.SchemaURL,

- R, _" J9 |# C9 K1 C1 N6 y

semconv.ServiceNameKey.String(serviceName),

2 k# G& V p+ [- N2 r

attribute.String("environment", environment),

)),

1 I8 b9 Q. u5 ], Z' R

)

/ r' `& B3 N3 N+ b* k

otel.SetTracerProvider(tp)

0 c8 c7 {0 o3 U- S& J5 j

return nil

! M: N+ {& u' U. L

}

5 V7 v- |2 C" Q, X! L

结构化日志

这里我们使用 go.uber.org/zap 包进行结构化日志输出，并输出到 /var/log/app.log 文件，每个请求开始时，注入 traceID：

cfg := zap.NewProductionConfig()

8 j0 F! R4 ?) a% @% u6 B

cfg.OutputPaths = []string{"stderr", "/var/log/app.log"}

6 H; u" G5 d5 R% q+ l( r- f

logger, _ := cfg.Build()

logger.With(zap.String("traceID", ctx.GetHeader(XRequestID)))

. O+ A7 ~2 Q+ U# r- h8 b

使用 OTel Collector 进行 metric、trace 收集

" S) C( _9 Y9 W6 a" t3 q% U% N, z

因为 demo app 的 metrics 使用 Prometheus SDK 导出，所以 OTel Collector 需要使用 Prometheus recevier 进行抓取，然后我们再通过 Prometheus remotewrite 将数据 push 到 Mimir。

7 J$ x6 }" T+ h/ Q0 ^/ @

针对 traces，demo app 使用 OTLP HTTP 进行了导出，所有 Collector 需要用 OTP HTTP recevier 进行接收，最后再使用 OTLP gRPC 将数据 push 到 Tempo，对应配置如下：

receivers:

9 o! L* B( s0 x* m- i# y {0 P

otlp:

protocols:

grpc:

. c, p% \' v. E3 Z- l- W1 }+ N1 K

http:

- k; l# K# R! h# \& N4 ~9 B6 s. p

prometheus:

config:

scrape_configs:

: I+ v: V1 l+ ^/ \) |4 t, M3 u

- job_name: app

scrape_interval: 10s

) X" I9 o$ u" R+ P3 G. f% r8 k

static_configs:

' L2 J$ U" ~1 r1 U. l; c' O J

- targets: [app:8080]

exporters:

otlp:

! K. N: a" b6 b8 Q3 i" ?& O" \# C/ Z

endpoint: tempo:4317

# j& l9 `; _/ V7 M% f$ x2 H9 z/ n# }

tls:

insecure: true

0 y+ B/ b& z5 q5 n3 k, _- n

prometheusremotewrite:

; W4 O2 w6 w- P0 _+ W6 ^ E0 Y

endpoint: http://mimir:8080/api/v1/push

% M, t; `3 B3 {) e/ z

tls:

1 ~* a- }# k4 R* A

insecure: true

$ R1 }- n" m; r% Q! h3 O+ y

headers:

X-Scope-OrgID: demo

. x3 P' X' A( d: k' |

processors:

5 y. h! u! c4 _/ U# a5 N' y3 z3 Y

batch:

/ G$ c: l2 P% {7 V9 M

service:

pipelines:

traces:

receivers: [otlp]

processors: [batch]

exporters: [otlp]

metrics:

# M+ c/ A/ {8 o/ [/ C9 P

receivers: [prometheus]

0 O( u5 s' R/ C3 d3 k

processors: [batch]

exporters: [prometheusremotewrite]

使用 OTel Collector Contrib 进行 log 收集

9 I+ j( [3 z( Y& y, @6 U2 v& i

因为我们结构化日志输出到了/var/log/app.log 文件，所以这里使用 filelog receiver 进行最新日志读取，最后再经过loki exporter 进行导出，配置如下：

0 L" O n% l6 q" P+ U

receivers:

1 ?* R$ b2 z& C( R5 ^ J9 c8 ~3 L

filelog:

include: [/var/log/app.log]

exporters:

loki:

3 ^: \# U( s% u

endpoint: http://loki:3100/loki/api/v1/push

tenant_id: demo

labels:

attributes:

log.file.name: "filename"

m: n) e" V) P7 r" l

processors:

# g3 P+ V! D+ ]

batch:

( F- K9 M% ~1 w

service:

pipelines:

( W+ y9 Q4 ~9 g3 T

logs:

7 Z8 S: A3 E& l' D

receivers: [filelog]

processors: [batch]

exporters: [loki]

以上就是有关 demo app 可观测性与 Grafana LGTM 技术栈集成的核心代码与配置，全部配置请参考 https://github.com/grafanafans/prometheus-exemplar 。

7 [/ y# F' u: q% Y, @7 }

总结

z8 a7 M7 [# N

本文我们通过一个简单的 Go 程序，导出了可观测性相关的遥测数据，其中包括 metrics、traces、logs, 然后统一由 OTel Collector 进行抓取，分别将三种遥测数据推送到 Grafana 的 Mimir、 Tempo、Loki 进行存储，最后再通过 Grafana 统一看板并进行 metrics、traces、logs 关联查询。

这里关联的逻辑为使用 Prometheus 的 exemplar 记录采样对应的 traceID，然后通过该 traceID 进行相关日志和 trace 查询。返回搜狐，查看更多

# i7 _8 D1 [+ k0 B0 q. C! n

责任编辑：

6 f% O8 O- `& Y& P+ m ; V) D2 y9 }: p