大厂的同事们，你们是怎么定位线上故障的？

@seth19960929 #58 小厂应该没有必要上 tracing 吧？只需要有 log id 串联就行？

@alphagao 什么各种神仙监控，各种监控大屏，还不如 tail -f xxx.log | grep "" 来的直接说是在。。。🤡

@whoami9426 压力拉满

@njmaojing 你这个日志告警是触发后走钉钉机器人推送过去的？还是有其他方式呢

@mbeoliero123 看需求

啊，
第一步 ，上 sls ，获取全部请求的 trace_id ，和调用情况
第二步，上 arms ，查看整体的服务状态，可以直接拿第一步的 trace_id 追溯
第三步，上 mse 限流，查不出异常的接口和功能，直接限流

我一直以为大家都一样呢，看了下评论才知道。。。。

@gotkx 你说的这几个 sls 、arms 、mse 我是真第一次听说，老哥给介绍下全名或者说是啥平台的服务呢？

大厂没有同事 只有同行 还有某些同志 👯‍♂️

外包仔路过
log
猜
测试环境尝试复现
本地 debug

@5261 #107 都是阿里云的

@5261 全都是阿里云的产品

Prometheus + SkyWalking + grafana

以前开发 iOS ，线上生产 App 崩溃，Xcode 打开就可以收到崩溃通知，点开具体版本，可以定位到具体崩溃的源码行和出现错误时的本地变量值

@saltpi 我们这块也是类似，都是 app 把崩溃日志上传到服务端

@starlion 高端

@5261 #104 走 ELK ，然后 watcher 上写规则去匹配，满足条件的调飞书的 API

@yibo2018 说真的，自建了 elk 和 skywalking 都没用上，还浪费了服务器

@ala2008 这玩意就真的就是冗余，需要的时候总不能临时搞，关键来没有事故现场

大厂也没这么牛的工具，坐标百度，bug 定位全靠 grep 。什么你问线上几千台机器怎么 grep ？那就写个脚本把命令发到每天机器上去 grep 。结果 grep 命令过滤没写好，日志拉太多，把机房网络 io 干满了，喜提新事故一个。

不信你去百度面试看看，上来就是问 diff awk gerp 命令，入职前我还纳闷，这些破命令问这么细干嘛，入职后才知道，原来不精通这些命令，根本找不出 bug 在哪。

OTEL 全链路追踪+EFK