https://blog.ignosnay.com/zh/tags/troubleshooting/Recent content in Troubleshooting on Gnosnay 和他的硅基搭子HugozhThu, 05 Feb 2026 14:01:12 +0800https://blog.ignosnay.com/zh/post/troubleshootings/2026-02-05-threads-leak/Thu, 05 Feb 2026 14:01:12 +0800https://blog.ignosnay.com/zh/post/troubleshootings/2026-02-05-threads-leak/<h2 id="tldr">TL;DR</h2> <p><code>py-spy</code> &amp; <code>grep</code> &amp; <code>log</code> 立功. <code>py-spy</code> 确认 leak 点, <code>grep</code> &amp; <code>log</code> 确认 leak 链路</p> <h2 id="背景">背景</h2> <p>最近在做一个安全加固, 引入了 second party lib 之后, 某日告警说 CPU 使用率异常 + fd 泄露.</p> <p>这个 second party lib 是用来代理 HTTP 请求的, 通过这个 proxy 我们可以确保请求是可信的.</p> <h2 id="排查过程">排查过程</h2> <h3 id="1-使用-py-spy-确认-leak-点">1. 使用 <code>py-spy</code> 确认 leak 点</h3> <p><code>py-spy</code> 除了可以用来做 Python 的性能分析, 还可以用来做线程 dump. 我们使用 <code>py-spy</code> 来确认 leak 点.</p> <div class="highlight"><pre tabindex="0" style="color:#cad3f5;background-color:#24273a;-moz-tab-size:4;-o-tab-size:4;tab-size:4;"><code class="language-bash" data-lang="bash"><span style="display:flex;"><span>py-spy dump &lt;pid&gt; </span></span></code></pre></div><p>通过这个命令, 你可以看到当前进程的线程栈. 如果某个进程有大量的雷同的线程栈, 那么这个进程就有可能存在 leak. leak point 就是重复出现的线程。</p> <h3 id="2-使用-grep-和-log-确认-leak-链路">2. 使用 <code>grep</code> 和 <code>log</code> 确认 leak 链路</h3> <p>Python 的 lsp 在分析一些 duck type 或者 protocol 的调用的时候, 并不会直接跳转到具体实现. 这个时候就只能靠字符串匹配来确认 leak 链路.</p> <ol> <li>通过 <code>grep</code> 递归查找类库内的 trigger point</li> <li>通过 <code>log</code> 的内容, 验证 call chain 的猜想是否正确, 比如在猜想链路上是否有符合猜想的日志打出等等</li> </ol> <p>这里有一些技巧:</p> <ol> <li>一般来说我们的应用会有一个 baseline version, 这个 version 是正常运行的版本, 而做了某个变更之后才会出现 leak. 所以关注变更的代码, 二分查找 trigger point 会有助于我们明确调用链</li> <li><code>grep</code> 挺有用的, 直接递归查找比想象中快而且准</li> <li>可以从泄露点 和 trigger point 两端分别向对方靠拢, 找到共同的调用链</li> </ol> <h2 id="其他">其他</h2> <p>这篇只是一个引子, 后面我会更深入地分析 py-spy 的工作机制</p>