原创 基于 Grafana LGTM 可观测平台的构建

: V, U, Z3 h. j; |6 @2 p2 N

原标题：基于 Grafana LGTM 可观测平台的构建

/ N! G& k8 w# {4 i9 a+ O+ `

可观测性目前属于云原生一个比较火的话题，它涉及的内容较多，不仅涉及多种遥测数据（信号），例如日志（log）、指标(metric)、分布式追踪（trace）、连续分析(continuous profiling)、 事件（event）；还涉及遥测数据各生命周期管理，比如暴露、采集、存储、计算查询、统一看板。

目前社区相关开源产品较多，各有各的优势，今天我们就来看看如何使用 Grafana LGTM 技术栈（Grafana、Loki、Tempo、Mimir）快速构建一个自己的可观测性平台。

+ J1 I6 s) P% u3 N3 ^# |

通过本文你将了解：

如何在 Go 程序中导出 metric、trace、log、以及它们之间的关联 TraceID

+ m$ D2 @( v5 Y( Z- f% @+ ]

如何使用 OTel Collector 进行 metric、trace 收集

如何使用 OTel Collector Contrib 进行日志收集

* Y |; d( n4 d+ J0 H7 T

如何部署 Grafana Mimir、Loki、Tempo 进行 metric、trace、log 数据存储

如何使用 Grafana 制作统一可观测性大盘

0 E; w! J @& d4 c8 n, D& A

为了本次的教学内容，我们提前编写了一个 Go Web 程序，它提供 /v1/books 和 /v1/books/1 两个 HTTP 接口。

( F" f6 N" {5 B# I$ o$ L- y

当请求接口时，会先访问 Redis 缓存，如果未命中将继续访问 MySQL；整个请求会详细记录相关日志、整个链路各阶段调用情况以及整体请求延迟，当请求延迟 >200ms 时，会通过 Prometheus examplar 记录本次请求的 TraceID，用于该请求的日志、调用链关联。

' M" m/ L! v. Q9 f- f! w. T

下载并体验样例

我们已经提前将样例程序上传到 github，所以您可以使用 git 进行下载：

# D1 x- q8 j) h% i3 L" ]

git clone https://github.com/grafanafans/prometheus-exemplar.git

cd prometheus-exemplar

使用 docker-compose 启动样例程序:

docker-compose up -d

; u5 s' Z) K! D. r% u5 f- U

这个命令会启动以下程序：

& P2 R% ?! x8 y4 @( O0 N" z/ A

使用单节点模式分别启动一个 Mimir、Loki、Tempo

启动一个 Nginx 作为统一可观测平台查询入口，后端对接 Mimir、Loki、Tempo

启动 demo app, 并启动其依赖的 MySQL 和 Redis， demo app 可以使用 http://localhost:8080 访问

+ j; K: k1 d4 |/ t4 B

启动 Grafana 并导入预设的数据源和 demo app 统一看板，可以使用 http://localhost:3000 访问

整个部署架构如下：

+ }2 ^- V6 ]2 y. C

当程序部署完成后，我们可以使用 wrk 进行 demo app 接口批量请求：

wrk http://localhost:8080/v1/books

wrk http://localhost:8080/v1/books/1

最后通过 http://localhost:3000 页面访问对应的看板：

细节说明

3 G) G: L: W6 A5 L! b8 C% O+ X

使用 Promethues Go SDK 导出 metrics

4 o( Y g! z, Y$ l6 \1 n

在 demo app 中，我们使用 Prometheus Go SDK 作为 metrics 导出，这里没有使用 OpenTelmetry SDK 主要因为当前版本（v0.33.0）还不支持 exemplar， 代码逻辑大致为：

2 W; H8 f6 t1 \% A

func Metrics(metricPath string, urlMapping func(string) string) gin.HandlerFunc <{p> httpDurationsHistogram := prometheus.NewHistogramVec(prometheus.HistogramOpts<{p> Name: "http_durations_histogram_seconds",

7 e+ i0 z, N" n7 l

Help: "Http latency distributions.",

3 ^/ S3 b% q$ s* h; R3 x6 r, H. \( i/ _% G

Buckets: []float64{0.05, 0.1, 0.25, 0.5, 1, 2},

$ a0 j+ M7 \! g" v

}, []string{"method", "path", "code"})

& ~8 K" s5 u, O5 Z/ q& h

prometheus.MustRegister(httpDurationsHistogram)

return func(c *gin.Context) <{p> .....

, Y- E8 N2 O, G3 ?4 M" J; v

observer := httpDurationsHistogram.WithLabelValues(method, url, status)

/ Q5 X z6 [8 |

observer.Observe(elapsed)

8 j% B' ^1 b6 j* A6 \

if elapsed > 0.2 <{p> observer.(prometheus.ExemplarObserver).ObserveWithExemplar(elapsed, prometheus.Labels<{p> "traceID": c.GetHeader(api.XRequestID),

! t) ^8 ]" ]5 j

})

% j" a0 V0 W5 G5 ~- I# l3 }- L

}

, b F6 M" T1 V' S2 e% e

}

) z( g/ v' [& U |6 c0 \

}

使用 OTLP HTTP 导出 traces

使用 OTel SDK 进行 trace 埋点：

1 R a& Y& P4 I, g# I/ R

func (*MysqlBookService) Show(id string, ctx context.Context) (item *Book, err error) <{p> _, span := otel.Tracer().Start(ctx, "MysqlBookService.Show")

span.SetAttributes(attribute.String("id", id))

defer span.End()

4 h8 s0 |1 Z3 V/ L# P$ d

// mysql qury random time duration

time.Sleep(time.Duration(rand.Intn(250)) * time.Millisecond)

3 D% z0 h$ s2 }5 e; r( M5 k& j

err = db.Where(Book{Id: id}).Find(&item).Error

' B7 w; S: a: Q9 n& c& ^7 |# b4 ]

return

5 X; {1 s3 K" g( ]4 S. `/ z7 p

}

使用 OLTP HTTP 进行导出：

func SetTracerProvider(name, environment, endpoint string) error <{p> serviceName = name

client := otlptracehttp.NewClient(

otlptracehttp.WithEndpoint(endpoint),

( c5 ?8 v# Q0 G6 C5 B6 _

otlptracehttp.WithInsecure(),

)

R4 r( s- w7 `% W& @- [ {* R

exp, err := otlptrace.New(context.Background(), client)

' m# [8 a# H: g$ G+ b% C6 j

if err != nil <{p> return err

8 ?* J: q! c2 @7 D" e

}

* @5 W/ f Z3 g6 }2 ^( d

tp := tracesdk.NewTracerProvider(

tracesdk.WithBatcher(exp),

tracesdk.WithResource(resource.NewWithAttributes(

2 p( i; x$ Y% ~* j$ o( X8 p

semconv.SchemaURL,

semconv.ServiceNameKey.String(serviceName),

attribute.String("environment", environment),

& |5 p; C7 t- u6 ?9 u7 V$ A

)),

)

5 o0 ]7 [2 W9 X, S

otel.SetTracerProvider(tp)

return nil

}

6 c+ l" h: ?9 R/ ?0 A* C1 n

结构化日志

这里我们使用 go.uber.org/zap 包进行结构化日志输出，并输出到 /var/log/app.log 文件，每个请求开始时，注入 traceID：

cfg := zap.NewProductionConfig()

4 C* `3 [7 j( m. M5 d

cfg.OutputPaths = []string{"stderr", "/var/log/app.log"}

logger, _ := cfg.Build()

# y7 r% y. n$ z" a

logger.With(zap.String("traceID", ctx.GetHeader(XRequestID)))

% x8 _# G7 K, }3 D# P& O

使用 OTel Collector 进行 metric、trace 收集

因为 demo app 的 metrics 使用 Prometheus SDK 导出，所以 OTel Collector 需要使用 Prometheus recevier 进行抓取，然后我们再通过 Prometheus remotewrite 将数据 push 到 Mimir。

针对 traces，demo app 使用 OTLP HTTP 进行了导出，所有 Collector 需要用 OTP HTTP recevier 进行接收，最后再使用 OTLP gRPC 将数据 push 到 Tempo，对应配置如下：

# ?6 q) a9 m% E8 X0 w, W* X# k$ }

receivers:

otlp:

protocols:

grpc:

http:

prometheus:

, \2 d, N. U; A% ^* N8 X' K5 P

config:

1 [2 O( d( v2 X8 Z3 t

scrape_configs:

% V, w) e, q B s' _( P

- job_name: app

scrape_interval: 10s

static_configs:

- targets: [app:8080]

exporters:

otlp:

endpoint: tempo:4317

4 A9 g9 c$ ]5 G) B. i. E h

tls:

' u% [: ]+ }2 f( E4 D, o

insecure: true

/ j N2 S- i5 L& [( ]" n+ U5 k; s

prometheusremotewrite:

endpoint: http://mimir:8080/api/v1/push

tls:

insecure: true

headers:

8 O" e. P: n* M y6 R3 E4 o

X-Scope-OrgID: demo

( h2 q" E0 X' E4 ?! _ t$ A

processors:

( p3 z+ H9 T+ Q

batch:

service:

pipelines:

traces:

receivers: [otlp]

. ?' f$ Q, d5 g! e( P/ W

processors: [batch]

9 O) ^5 d, I" v& z

exporters: [otlp]

metrics:

receivers: [prometheus]

+ C1 U" f5 M) ~' E1 L

processors: [batch]

exporters: [prometheusremotewrite]

4 W5 B1 q, s8 w7 t

使用 OTel Collector Contrib 进行 log 收集

因为我们结构化日志输出到了/var/log/app.log 文件，所以这里使用 filelog receiver 进行最新日志读取，最后再经过loki exporter 进行导出，配置如下：

3 c: g, [9 M3 {+ I3 \# g

receivers:

filelog:

include: [/var/log/app.log]

exporters:

/ t8 i) F1 ]# Y6 b& `$ y/ L

loki:

7 N( l# D4 k8 J2 j

endpoint: http://loki:3100/loki/api/v1/push

tenant_id: demo

labels:

attributes:

' b7 `6 B4 [; F2 j4 Y H

log.file.name: "filename"

processors:

1 c7 a. \* N3 ^- i& |6 K, R

batch:

) c W7 a* |0 h. X

service:

pipelines:

% N! w$ g5 a: D' ~; \: A' u a' a

logs:

receivers: [filelog]

! |8 S& I! J. w5 T* K$ s

processors: [batch]

& ], h' g5 I6 S& D* N

exporters: [loki]

以上就是有关 demo app 可观测性与 Grafana LGTM 技术栈集成的核心代码与配置，全部配置请参考 https://github.com/grafanafans/prometheus-exemplar 。

总结

+ u+ D$ L% d! l7 z5 G* ]* `

本文我们通过一个简单的 Go 程序，导出了可观测性相关的遥测数据，其中包括 metrics、traces、logs, 然后统一由 OTel Collector 进行抓取，分别将三种遥测数据推送到 Grafana 的 Mimir、 Tempo、Loki 进行存储，最后再通过 Grafana 统一看板并进行 metrics、traces、logs 关联查询。

8 g& f& w! Z/ E' g& r

这里关联的逻辑为使用 Prometheus 的 exemplar 记录采样对应的 traceID，然后通过该 traceID 进行相关日志和 trace 查询。返回搜狐，查看更多

, L& S% T3 T! r0 _) f

责任编辑：

0 \6 a% I- m1 X0 \