Distribute Scraping for Gophers 发表于 2021-09-03 分类于 Distributed Systems 阅读次数: 本文字数: 103 阅读时长 ≈ 1 分钟 分布式爬虫 分布式爬虫是一套任务分发和执行系统,常见的任务分发,因为上下游存在速度不匹配问题,需要借助消息队列 分布式消息队列 nats nats是Go实现的高性能分布式消息队列,适用于高并发吞吐量的消息分发场景.