下拉刷新
项目详情
navbar_avatar分享
repo_avatar
HelloGitHub 评分
10.0
2 人评分
LLM 友好的异步爬虫框架
开源Apache-2.0
认领
收藏
分享
18.6k
星数
中文
HTML
主语言
活跃
25
贡献者
111
Issues
组织
最新版本
1k
Forks
Apache-2.0
协议
更多
这是一款用 Python 开发的异步爬虫框架,能够将网站上的数据转化成 Markdown、JSON 等 LLM 友好的输出格式。它完全开源且免费,极大地简化了异步爬虫的编写。相比于付费的 Firecrawl,它具有更快的爬取速度,支持同时抓取多个 URL、页面截图、关键字优化提取(基于 LLM)和复杂的多页面会话管理等功能。
标签:
爬虫
Python

评论

评分:
暂无精选评论