众多数据源的爬虫工具箱: InfoSpider

国内一位开发者在 Github 上开源了个集众多数据源于一身的爬虫工具箱:InfoSpider。其主要目的,在于帮助用户安全快捷的拿回自己的数据,并提供数据分析功能,基于用户数据生成图表文件,让用户能更直观、深入了解自己的信息。目前该工具箱支持了包括 Github 、知乎、B 站、以及各大知名邮箱与社交网站的用户数据爬取。

众多数据源的爬虫工具箱: InfoSpider

依赖安装

  1. 安装python3和Chrome浏览器
  2. 安装与Chrome浏览器相同版本的驱动
  3. 安装依赖库 pip install -r requirements.txt

工具运行

  1. 进入 tools 目录
  2. 运行 python3 main.py
  3. 在打开的窗口点击数据源按钮, 根据提示选择数据保存路径
  4. 弹出的浏览器输入用户密码后会自动开始爬取数据, 爬取完成浏览器会自动关闭.
  5. 在对应的目录下可以查看下载下来的数据(xxx.json), 数据分析图表(xxx.html)

DocumentatiON:https://infospider.vercel.app

Github:https://github.com/kangvcar/InfoSpider

微信公众号【木头分享】,超多福利超多资源木头分享 » 众多数据源的爬虫工具箱: InfoSpider
微信公众号:ex-tool
微信公众号【木头分享】,超多福利超多资源
142518人已关注
分享到:
赞(0) 打赏

评论抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

女装大佬众筹计划qwq

支付宝扫一扫打赏

微信扫一扫打赏