Crawlab - The Ultimate Web Crawler Management Platform

资源简介

网络爬虫难以管理。我们在网络爬虫和蜘蛛的管理艺术方面做到了极致。

相关资源

crawlab一个基于Golang的分布式爬虫管理平台

Crawlab是一个基于Golang的分布式爬虫管理平台，用户可以在该平台上创建多个爬虫项目，支持多种编程语言以及多种爬虫框架，包括Scrapy和Selenium等。 Crawlab目前可以实现的功能包括定时任务、数据分析、可配置爬虫、SDK、消息通知、Scrapy支持、Git同步等。它主要解决的是大量爬虫管理困难的问题，例如需要监控上百个网站的参杂Scrapy和Selenium的项目不容易