大厂的同事们，你们是怎么定位线上故障的？

tail -f xxx.log | grep xxx --color

全链路+网关+告警啊

@whoami9426 #30 异常直接到群里自动分析堆栈并找到代码的提交人 at 对应的人处理并附带上全链路的日志

skywalking + 自研类似 skywalking 项目 + EBPF + 知识图谱系图数据资产

一边复现, 一边看日志

这帖子看得我笑中带泪啊🥹

arthas 直接排查

less xxx.log;
xx%;
page down...

日志+监控基本能够排查绝大部分故障

接口响应时间+服务器的各种监控告警。。

@whoami9426 q 请问这个怎么实现的

@Sanow 这玩意来不及的！我不知道你们线上是怎么靠这个查问题的

docker service logs -t app 打开,测试你再点一下

线上直接 debug

php lumen 框架
error handle 写日志
filebeat 收集上报 elk
python 每 20 分钟定时统计，有错误发通知到群里

@lilyou readm 中有介绍原理,主要是通过 @AfterThrowing

小厂直接上阿里云的 tracing 就行了, 很便宜, 全量 30 天存储一个月几千块


https://www.shiguopeng.cn/posts/2024032815/
不过上了之后, 又发现一个别的 bug >_

一个在用的方案:
日志: k8s 容器 (写文件 | 标准输出), 阿里云 SLS 自动收集到对应的服务
链路: 使用标准的 opentelemetry 协议上报到 阿里云 ARMS, 如上图
报警: 总共三层 日志(SLS)聚合, tracing 聚合(p95, HTTP 错误), gateway 错误
gateway (这一层一定要加, 曾经吃过亏, 服务进程卡死, 日志不收集, tracing 也不上报了, 直到 gateway 层 500 错误很多)

less run.log :G :?error

@0x49 超小微公司, 我们也是