0
点赞
收藏
分享

微信扫一扫

scrapyd

cnlinkchina 2022-03-19 阅读 45

一、scrapyd介绍

scrapyd是一个用于部署和运行scrapy爬虫的程序,它允许你通过JSON API来部署爬虫项目和控制爬虫运行,scrapyd是一个守护进程,监听爬虫的运行和请求,然后启动进程来执行它们

二、安装scrapyd

1、安装命令

pip install scrapyd

2、启动scrapyd

scrapyd

访问链接,访问不成功 原因:

  • 防火墙问题(尝试把防火墙关掉在开启scrapyd服务)
systemctl status firewalld   # 查看防火墙状态


systemctl stop firewalld    # 关闭防火墙


systemctl start firewalld  # 开启防火墙
  • 查看scrapyd的配置文件:
    /usr/local/lib/python3.9/site-packages/scrapyd/default_scrapyd.conf

    配置文件选项

举报

相关推荐

0 条评论