这是一个基于 Python 的网页自动化工具，支持 Chromium 内核浏览器。它将控制浏览器和收发请求两大功能合二为一，并提供了统一、简洁的接口。

该项目可以让用户在图形化界面下，无需写代码实现自动采集/爬虫的功能。用户只需要在网页上选择想要爬的内容，并根据提示框操作即可完成爬虫的设计和执行。

写爬虫的小伙伴都感受过解析 HTML 的痛苦，常用工具 BeautifulSoup、lxml、Scrapy 的 selector 等。今天你有了新的选择 requests-html，支持 XPath、CSS 选择器、动态页面、过滤指定内容等。上手特别简单和迅速，我的爬虫项目 [Hydra](https://github.com/HelloGitHub-Team/Hydra) 中就用了它，解析 HTML 变得轻松了许多。

该项目是 Go 语言封装的 DevTools 协议库，实现用 Go 语言操作浏览器，自动化之前需要手动完成的操作，比如：爬取客户端渲染的页面、端到端测试、自动填写表单、模拟点击等操作。项目包含丰富的示例代码，改改就能上手使用。

该项目可以快速爬取网页上的 URL 地址、JS 文件里的 API 接口等信息，支持批量抓取、深入抓取、安全抓取等模式。

用流程图的方式编写爬虫的平台。无需写代码就可以快速完成一个简单的爬虫。

Python 写的微博爬虫，命令行直接启动。支持获取微博用户、内容字段丰富。虽然爬虫的实战项目很多，但能一直更新的很少，因为只要数据源变动爬虫就要跟进迭代。这个项目更新稳定回复问题及时实属不易，希望大家在享受项目带来的便利同时也可以 Star 支持一下 ``` # 安装 $ git clone https://github.com/dataabc/weiboSpider.git $ cd weiboSpider $ pip install -r requirements.txt # 启动 $ python3 -m weibo_spider ```

我们写爬虫一般是请求+解析两步走，该项目将 Requests(请求) 和 BeautifulSoup(解析) 两大 Python 爬虫常用库，封装成一个浏览器对象(StatefulBrowser)，将上面说的两步并成一步。后面仅需一个浏览器对象，就可以完成请求页面、过滤内容、提交表单、跳转地址等操作，使得代码更加简单、操作更加方便。又因为它不依赖浏览器进程，所以相较于 Selenium 它更加轻巧，但缺点是不支持 JS 动态渲染的页面。

它拥有友好的 API 和丰富代码示例，短时间内即可上手。性能方面单核能达到 1K 请求/秒，还可以轻松管理请求方式、间隔和最大并发数，功能强大且优雅。

这是一个用 Node.js 写的种子搜索网站——手撕包菜。