ASP .NET Core 5 内存占用线性增加, 1 小时内 100%把 128G 内存用完,如果运行 dotnet-gcdump 则能立即恢复正常水平,查了很多文档 gcdump 都是不会去触发 GC 的,但多次尝试都成功,求排查思路

2024-05-06 03:18:30 +08:00
 drymonfidelia
接手别人的项目,代码不熟悉,dotnet-trace 看了很久也没找出问题

dotnet-dump 出来的数据不会看,翻文档学了很久操作 minidump 的命令,发现用 dumpheap -stat -min 850000 这条命令可以找出一个 StackExchange.Redis.RawResult[] 的 Count 和 TotalSize 很大,不知道是否有关系。由于内存 dump 里面有很多密钥之类敏感信息,脱敏几乎无法完成,不然就 gzip 压缩一下放出来求助了

项目里有非常多 Subscribe 不同 Redis 频道(动态生成的名称)的操作,从不 Unsubscribe ,不知道是否有关。
3653 次点击
所在节点    .NET
21 条回复
NXzCH8fP20468ML5
2024-05-06 06:28:10 +08:00
我模糊印象中,StackExchange.Redis 早期版本有内存泄漏问题,升级一下试试?
NXzCH8fP20468ML5
2024-05-06 06:35:09 +08:00
如果在代码中定期调用 system.gc.collect 是否有内存下降,如果是的话,说明可能是高代的对象内存泄漏了。
mingl0280
2024-05-06 07:38:16 +08:00
dump 下来以后直接塞进 vs 看内存啊……
xiangyuecn
2024-05-06 08:31:36 +08:00
几分钟配置个定时重启,解决 99.99%疑难杂症😂
poorcai
2024-05-06 08:32:16 +08:00
如果你会调试,使用 windbg 试一下
idragonet
2024-05-06 08:46:11 +08:00
@xiangyuecn #4 这个是昏招!
lujiaxing
2024-05-06 08:47:29 +08:00
qW7bo2FbzbC0
2024-05-06 10:19:25 +08:00
升级下 dotnet 版本 和 stack redis 版本
ashuai
2024-05-06 10:31:27 +08:00
1. 需要优化 redis 大 key
2. StackExchange.Redis bug 有点多,升级版本或换掉
hez2010
2024-05-06 11:35:22 +08:00
运行 dotnet-gcdump 会强制进行一次完整的 gen 2 GC ,建议你考虑一下升级 .NET 和 StackExchange.Redis 的版本。
.NET 5 已经终止支持了,建议直接升级到 .NET 8 观察,.NET 因为向后兼容做得很好升级就是改个版本号的事情。
另外从不 Unsubscribe 也可能是原因之一。
drymonfidelia
2024-05-06 15:07:26 +08:00
@xiangyuecn 如果不是重启会导致客户端全断开连接一分钟 还真的会用这种方案 公司快倒闭了裁了一堆人 业务能用就行
NXzCH8fP20468ML5
2024-05-06 15:54:39 +08:00
@drymonfidelia 模糊印象中,之前博客园看过这个案例,和你说的 StackExchange.Redis.RawResult 多很像。
并不是 StackExchange.Redis 的 bug ,而是不正确的方式接收消息导致的内存泄露问题。
不过后续那个作者给 StackExchange.Redis 提了 issue ,新版本就做了兜底机制,所以我让你升级一下版本试试。
drymonfidelia
2024-05-06 16:13:44 +08:00
@xxfye 不敢升级最新版,早上升级到了 ASP.NET Core 6 ,StackExchange.Redis 2.2.88 ,还是存在这个问题。
ggabc
2024-05-06 16:17:43 +08:00
偷个懒,加个定时线程自动回收
drymonfidelia
2024-05-06 16:18:40 +08:00
@ggabc 我就是这么做的,每 3 分钟 GC.Collect()一次,暂时是没出问题
NXzCH8fP20468ML5
2024-05-06 16:20:01 +08:00
@drymonfidelia 为啥不敢升级最新? aspnetcore 就算了,StackExchange.Redis 为啥不升
NXzCH8fP20468ML5
2024-05-06 16:20:49 +08:00
@drymonfidelia 那看起来就是高代现象的问题了。
NXzCH8fP20468ML5
2024-05-06 16:22:25 +08:00
@drymonfidelia 越来越像博客园那篇文章了,好像也是高代对象的问题,你可以搜一下文章试试。
drymonfidelia
2024-05-06 16:26:34 +08:00
@xxfye 之前遇到过升级 ClosedXML 还是别的什么包(想不起来)导致一个它依赖的包被升级了,然后这个包刚好砍了其它包依赖的几个对象,没有向前兼容,之后折腾降级又弄了很久。看 StackExchange.Redis 的 issue 有一些反馈升级后出现问题的,就不敢升级了
lrh3321
2024-05-06 16:48:09 +08:00
粗暴点,前面再加一层负责和客户端保持连接。读写 redis 放在一个定时重启的微服务里去做。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://yangjunhui.monster/t/1037900

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX