Est's Blog
·
[AI] curl -NT. 导致100% CPU原因
内容提要
在使用curl连接持续推送数据的流服务器时，可能会出现100% CPU占用的问题。这是因为stdin未加入curl_multi_poll的pollset，导致在上传和下载之间形成忙等循环。解决方案包括不使用-T选项，或在源码中优化回调逻辑，以减少CPU负担。
关键要点
-
在连接持续推送数据的流服务器时，使用curl的-T选项可能导致100% CPU占用。
-
问题的根源在于stdin未加入curl_multi_poll的pollset，导致忙等循环。
-
解决方案包括不使用-T选项，或在源码中优化回调逻辑以减少CPU负担。
-
如果不需要从stdin上传数据，可以使用curl -N命令或重定向stdin为空来避免问题。
-
对于需要双向流的情况，目前没有完美的用户侧解决方案，可以考虑使用管道加一层缓冲。
-
源码级修复建议包括在tool_write_cb中去掉盲目解除暂停的逻辑，并增大退避时间。
延伸解读
CPU占用的根本原因
在使用curl连接流服务器时，100% CPU占用的根本原因是stdin未加入curl_multi_poll的pollset。这导致了忙等循环，造成CPU资源的浪费。了解这一点有助于开发者在使用curl时避免不必要的性能问题。
用户侧解决方案
如果不需要从stdin上传数据，建议使用curl -N命令或重定向stdin为空，以避免进入忙等循环。这种方法可以有效降低CPU占用，提升程序的运行效率。
源码级修复建议
对于开发者而言，源码级修复是解决问题的另一种方式。建议在tool_write_cb中去掉盲目解除暂停的逻辑，并增大退避时间，以减少CPU负担。这需要对curl的源码有一定的了解和修改能力。
延伸问答
使用curl时，为什么会出现100% CPU占用的问题？
出现100% CPU占用是因为在连接持续推送数据的流服务器时，stdin未加入curl_multi_poll的pollset，导致忙等循环。
如何解决curl使用中的CPU占用问题？
解决方案包括不使用-T选项，或在源码中优化回调逻辑以减少CPU负担。
如果不需要从stdin上传数据，应该如何使用curl？
可以使用curl -N命令，或者重定向stdin为空来避免问题。
在双向流的情况下，有什么用户侧的解决方案吗？
可以考虑使用管道加一层缓冲，但效果有限，目前没有完美的用户侧解决方案。
curl的-T选项在什么情况下会导致问题？
在连接持续推送数据的流服务器时，使用-T选项可能导致100% CPU占用。
源码级修复建议是什么？
建议在tool_write_cb中去掉盲目解除暂停的逻辑，并增大退避时间。
