使用go语言用原生net/http写爬虫如何优雅的控制并发和请求速度

go程序的执行效率相对python要快的多，且占用的内存和cpu更少
本教程实现控制爬虫程序并发上限，同时控制程序对外请求上限。

如果只是控制并发程序对外请求速度并不稳定，所以我们需要同时控制请求速度

控制并发

var maxTaskLen = make(chan bool, 1000) // 通过管道控制并发数量，最大100个并发
var wg = sync.WaitGroup{}             // 计数器，记录正在执行的任务数量
func main()  {for i:=0;i<= 100;i++{// 提交异步任务maxTaskLen <- true // 当管道满了。会在这里阻塞wg.Add(1)          // 计数器加一// 开启协程go func(goodsId string, mongoObjectId string) {defer func() {<-maxTaskLen // 从管道取出一个wg.Done()    // 并发计数器减一}()TB(goodsId, mongoObjectId)  // 爬虫函数}(result.GoodsId, result.Id)}wg.Wait() // 等待计数器归零（所有任务执行完毕）再结束主进程
}

限流

var rateLimit = rate.NewLimiter(500, 20)	// 限流
func main()  {for i:=0;i<= 100;i++{// 限流for {if rateLimit.Allow() {  // 桶满了阻塞在这里break}}// 开启协程go func(goodsId string, mongoObjectId string) {TB(goodsId, mongoObjectId)  // 爬虫函数}(result.GoodsId, result.Id)}
}

并发和限流的区别

简单说明

可以将整个采集流程看成一段河流，将数据当作水。
并发就相当于河道的宽度，河道越宽单位时间内流过的水就越多。
而限流就相当于桥洞，河流要经过桥洞，桥洞的大小决定了瞬间有多少水流过河流

有了并发控制为什么还要限流

采集过程中需要使用代理，代理是有并发和带宽的上限的，代理的上限就是限流的大小，限流只控制爬虫调用代理的速度，踩着代理的上限跑爬虫

最总代码

var maxTaskLen = make(chan bool, 1000) // 通过管道控制并发数量，最大100个并发
var wg = sync.WaitGroup{}             // 计数器，记录正在执行的任务数量
var rateLimit = rate.NewLimiter(500, 20)	// 限流
func main()  {for i:=0;i<= 100;i++{// 限流for {if rateLimit.Allow() {  // 桶满了阻塞在这里break}}// 提交异步任务maxTaskLen <- true // 当管道满了。会在这里阻塞wg.Add(1)          // 计数器加一// 开启协程go func(goodsId string, mongoObjectId string) {defer func() {<-maxTaskLen // 从管道取出一个wg.Done()    // 并发计数器减一}()TB(goodsId, mongoObjectId)  // 爬虫函数}(result.GoodsId, result.Id)}wg.Wait() // 等待计数器归零（所有任务执行完毕）再结束主进程
}