原创 基于 Grafana LGTM 可观测平台的构建

原标题：基于 Grafana LGTM 可观测平台的构建

9 h* K7 S: Z: w8 H5 P , }6 P9 x: `+ o+ ^/ E

可观测性目前属于云原生一个比较火的话题，它涉及的内容较多，不仅涉及多种遥测数据（信号），例如日志（log）、指标(metric)、分布式追踪（trace）、连续分析(continuous profiling)、 事件（event）；还涉及遥测数据各生命周期管理，比如暴露、采集、存储、计算查询、统一看板。

目前社区相关开源产品较多，各有各的优势，今天我们就来看看如何使用 Grafana LGTM 技术栈（Grafana、Loki、Tempo、Mimir）快速构建一个自己的可观测性平台。

通过本文你将了解：

5 u. h3 T* ^. B- N' A( v% f$ T/ ^

如何在 Go 程序中导出 metric、trace、log、以及它们之间的关联 TraceID

如何使用 OTel Collector 进行 metric、trace 收集

% }1 i y+ k& D" h$ q: R

如何使用 OTel Collector Contrib 进行日志收集

0 B% t8 Y9 U' n8 s: c

如何部署 Grafana Mimir、Loki、Tempo 进行 metric、trace、log 数据存储

7 Z7 v# F! M: y# k6 e7 O+ k

如何使用 Grafana 制作统一可观测性大盘

为了本次的教学内容，我们提前编写了一个 Go Web 程序，它提供 /v1/books 和 /v1/books/1 两个 HTTP 接口。

当请求接口时，会先访问 Redis 缓存，如果未命中将继续访问 MySQL；整个请求会详细记录相关日志、整个链路各阶段调用情况以及整体请求延迟，当请求延迟 >200ms 时，会通过 Prometheus examplar 记录本次请求的 TraceID，用于该请求的日志、调用链关联。

" l; i; G. e! F& G3 L5 `0 o

下载并体验样例

我们已经提前将样例程序上传到 github，所以您可以使用 git 进行下载：

% V: S1 z6 r6 g( I" S# L1 ?& c

git clone https://github.com/grafanafans/prometheus-exemplar.git

cd prometheus-exemplar

2 u0 y {5 z* n: G1 L* @

使用 docker-compose 启动样例程序:

! L* ^ Q1 t# `% `

docker-compose up -d

3 w5 W9 d/ Y1 r$ |6 B( X

这个命令会启动以下程序：

使用单节点模式分别启动一个 Mimir、Loki、Tempo

( Q; H- e2 q4 f, f8 V# L% Y, \& r

启动一个 Nginx 作为统一可观测平台查询入口，后端对接 Mimir、Loki、Tempo

3 [+ T; P' c, Q5 Z$ B

启动 demo app, 并启动其依赖的 MySQL 和 Redis， demo app 可以使用 http://localhost:8080 访问

& M8 B' M9 o3 D# r0 N8 G3 O

启动 Grafana 并导入预设的数据源和 demo app 统一看板，可以使用 http://localhost:3000 访问

整个部署架构如下：

当程序部署完成后，我们可以使用 wrk 进行 demo app 接口批量请求：

wrk http://localhost:8080/v1/books

0 u: T% ?! @0 i1 W$ u

wrk http://localhost:8080/v1/books/1

最后通过 http://localhost:3000 页面访问对应的看板：

4 D5 g# k3 N! h2 ^+ R- z: ~

. _- }% W/ w0 l* y9 @3 p) M

细节说明

使用 Promethues Go SDK 导出 metrics

* [9 H6 ^1 G/ B0 B9 i7 `2 T

在 demo app 中，我们使用 Prometheus Go SDK 作为 metrics 导出，这里没有使用 OpenTelmetry SDK 主要因为当前版本（v0.33.0）还不支持 exemplar， 代码逻辑大致为：

( i, A2 K, I6 v+ x/ S, p' h7 ?

func Metrics(metricPath string, urlMapping func(string) string) gin.HandlerFunc <{p> httpDurationsHistogram := prometheus.NewHistogramVec(prometheus.HistogramOpts<{p> Name: "http_durations_histogram_seconds",

Help: "Http latency distributions.",

Buckets: []float64{0.05, 0.1, 0.25, 0.5, 1, 2},

}, []string{"method", "path", "code"})

prometheus.MustRegister(httpDurationsHistogram)

/ D! K, l$ `! }5 W, Q p

return func(c *gin.Context) <{p> .....

8 Y" M; W4 P; J" b

observer := httpDurationsHistogram.WithLabelValues(method, url, status)

observer.Observe(elapsed)

if elapsed > 0.2 <{p> observer.(prometheus.ExemplarObserver).ObserveWithExemplar(elapsed, prometheus.Labels<{p> "traceID": c.GetHeader(api.XRequestID),

! n3 {! T r4 L q c

})

}

( M$ `6 O) ^* h9 Q6 m

}

}

6 G; G) w+ f1 H; ~6 h4 L

使用 OTLP HTTP 导出 traces

" u$ u2 t, K- g/ Y t! A/ [. O

使用 OTel SDK 进行 trace 埋点：

( M% z+ S T) j% A* U K

func (*MysqlBookService) Show(id string, ctx context.Context) (item *Book, err error) <{p> _, span := otel.Tracer().Start(ctx, "MysqlBookService.Show")

span.SetAttributes(attribute.String("id", id))

defer span.End()

o9 H% U. ^7 P& y9 @: r' ?5 R

// mysql qury random time duration

time.Sleep(time.Duration(rand.Intn(250)) * time.Millisecond)

$ [9 |) n9 x0 a0 S" t

err = db.Where(Book{Id: id}).Find(&item).Error

( i* g0 K! u" h6 ]

return

}

使用 OLTP HTTP 进行导出：

func SetTracerProvider(name, environment, endpoint string) error <{p> serviceName = name

1 \: \6 u4 ?8 u d) e9 c

client := otlptracehttp.NewClient(

8 e4 A& K8 }& \' N, V

otlptracehttp.WithEndpoint(endpoint),

3 J3 H9 O2 b$ S, v* ]( H) i

otlptracehttp.WithInsecure(),

+ z, }" e: n/ J8 _7 ` i j. g

)

$ f" s0 `' d |& Q* v* t, _. B

exp, err := otlptrace.New(context.Background(), client)

if err != nil <{p> return err

3 N- y5 M a0 c( _) b& o' j/ B8 A

}

! I" `, J: X+ B

tp := tracesdk.NewTracerProvider(

- M1 S, B0 _' Z7 I% U; S% G

tracesdk.WithBatcher(exp),

tracesdk.WithResource(resource.NewWithAttributes(

semconv.SchemaURL,

semconv.ServiceNameKey.String(serviceName),

& J ]# @; i5 j

attribute.String("environment", environment),

)),

)

otel.SetTracerProvider(tp)

+ ?$ Z. {* f* ]2 d

return nil

" }, M( D+ g e' @/ b+ y

}

结构化日志

这里我们使用 go.uber.org/zap 包进行结构化日志输出，并输出到 /var/log/app.log 文件，每个请求开始时，注入 traceID：

! t. l" j0 q1 d$ z6 [

cfg := zap.NewProductionConfig()

# v, P) m1 ~2 Y- k5 n5 z

cfg.OutputPaths = []string{"stderr", "/var/log/app.log"}

7 ]4 h, A7 Z3 C4 P/ Z6 K ^# s

logger, _ := cfg.Build()

logger.With(zap.String("traceID", ctx.GetHeader(XRequestID)))

使用 OTel Collector 进行 metric、trace 收集

! F% p a, e& f) D) I: w

因为 demo app 的 metrics 使用 Prometheus SDK 导出，所以 OTel Collector 需要使用 Prometheus recevier 进行抓取，然后我们再通过 Prometheus remotewrite 将数据 push 到 Mimir。

针对 traces，demo app 使用 OTLP HTTP 进行了导出，所有 Collector 需要用 OTP HTTP recevier 进行接收，最后再使用 OTLP gRPC 将数据 push 到 Tempo，对应配置如下：

" a8 C- G/ T! f

receivers:

otlp:

* a9 S5 M! n( Y# W- {( T& _0 Q+ |

protocols:

& u# c% H5 b* p# K

grpc:

& O# G( G% r6 M' s) M) X

http:

2 x) ~3 q" c3 M

prometheus:

& n& L) a" j' W8 S, E

config:

scrape_configs:

- Y5 N, B; [- [' G* M

- job_name: app

9 e7 W& D. y/ q$ ?3 c; b

scrape_interval: 10s

' ]8 _1 g' v) R

static_configs:

- targets: [app:8080]

* g( W) {7 S# k8 P( I) ^

exporters:

otlp:

' r7 K9 X" g8 K- {1 U0 {

endpoint: tempo:4317

tls:

insecure: true

9 \! D. `# l5 G9 |+ k. y. M

prometheusremotewrite:

endpoint: http://mimir:8080/api/v1/push

tls:

- v/ r+ u6 x& i" b4 M1 Q/ Q

insecure: true

headers:

X-Scope-OrgID: demo

processors:

batch:

0 Z$ Z7 k* t# v; f

service:

1 E5 h+ S9 N, Z; k( r" s+ M

pipelines:

" B4 K/ D+ } k/ j/ o

traces:

receivers: [otlp]

9 X* q! U3 ?$ i8 J

processors: [batch]

2 j! O. g+ _' m. E" o

exporters: [otlp]

metrics:

receivers: [prometheus]

8 {7 o# o1 P/ r0 V

processors: [batch]

6 f! Y) S9 F( ^4 Z9 P

exporters: [prometheusremotewrite]

使用 OTel Collector Contrib 进行 log 收集

因为我们结构化日志输出到了/var/log/app.log 文件，所以这里使用 filelog receiver 进行最新日志读取，最后再经过loki exporter 进行导出，配置如下：

; C( K" q, g1 Z, v3 y3 [, h

receivers:

filelog:

- w- x: \) M; C* R/ b

include: [/var/log/app.log]

exporters:

loki:

endpoint: http://loki:3100/loki/api/v1/push

) I, Z7 Y! n! |7 T9 t+ t S

tenant_id: demo

labels:

9 N* A* W! }" Y

attributes:

4 h8 a9 ?" ^" m3 O6 }

log.file.name: "filename"

( _! y; O7 f% n5 b. k+ a' M

processors:

batch:

service:

) v+ \+ d; Y0 d8 [. x5 Q& b

pipelines:

logs:

receivers: [filelog]

) z; a, K" |) @ i+ K

processors: [batch]

exporters: [loki]

4 i/ L/ v! b1 A+ ]* U- O0 D

以上就是有关 demo app 可观测性与 Grafana LGTM 技术栈集成的核心代码与配置，全部配置请参考 https://github.com/grafanafans/prometheus-exemplar 。

* V x3 c5 d/ u& q) E& |- Q

总结

% u3 H4 B/ w: Y2 M

本文我们通过一个简单的 Go 程序，导出了可观测性相关的遥测数据，其中包括 metrics、traces、logs, 然后统一由 OTel Collector 进行抓取，分别将三种遥测数据推送到 Grafana 的 Mimir、 Tempo、Loki 进行存储，最后再通过 Grafana 统一看板并进行 metrics、traces、logs 关联查询。

! J* w3 \/ o, B$ d7 ~0 P% F! Z

这里关联的逻辑为使用 Prometheus 的 exemplar 记录采样对应的 traceID，然后通过该 traceID 进行相关日志和 trace 查询。返回搜狐，查看更多

责任编辑：

/ a( Q) J% G, W7 f ) U& M' V. E, {8 h 7 _( |% S$ b# H, n0 {% h. p+ u# T