首页 > Web开发 > 详细

nodejs使用superagent写爬虫dns超时

时间:2019-08-27 09:57:01      阅读:138      评论:0      收藏:0      [点我收藏+]

nnodejs使用superagent写爬虫,在执行一段时间之后全部抛出异常 EAI_AGAIN,查询错误代码 DNS lookup time out,主要是因为nodejs不缓存DNS信息,每发出一个请求都要先去DNS服务器磨叽一段时间,既浪费时间,并且短时间到高并发访问DNS服务器就会悲剧了,解决方法:

const res = await superagent.get(‘https://abc.com‘).connect({
   ‘abc.com‘:‘123.123.123.123‘     //该域名的IP地址
})

 

nodejs使用superagent写爬虫dns超时

原文:https://www.cnblogs.com/convincee/p/11416366.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!