Distribute Scraping for Gophers

分布式爬虫

分布式爬虫是一套任务分发和执行系统,常见的任务分发,因为上下游存在速度不匹配问题,需要借助消息队列

分布式消息队列

  • nats

    nats是Go实现的高性能分布式消息队列,适用于高并发吞吐量的消息分发场景.