服务器安装
pip install scrapyd
pip install scrapydweb
pip install logparser
配置scrapyd文件
sudo find / -name 'default_scrapyd.conf'
修改
vi /usr/local/python3/lib/python3.8/site-packages/scrapyd/default_scrapyd.conf
把bind_address 改为0.0.0.0
bind_address = 0.0.0.0
启动scrpyd
sudo scrapyd &
默认端口是6800
http://服务器地址:6800
点击Jobs
本地安装 Scrapyd客户端
pip install scrapyd-client
安装的根目录D:\Python38\Scripts中可以查看这个文件是没有后缀名的scrapyd-deploy
在同目录下，新建文件scrapyd-deploy.bat
@echo off
"D:\Python38\python.exe" "D:\Python38\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9
编辑需要部署的项目的scrapy.cfg文件
url = http://服务器地址:6800/
project = 项目名
部署项目到服务器上的scrpyd
scrapyd-deploy -p 项目名称
启动项目
curl http://ip:端口/schedule.json -d project=项目名称 -d spider=爬虫名称
curl http://服务器ip:6800/schedule.json -d project=bbs_spider -d spider=qiushibaike_spider
关闭项目
curl http://ip:端口/cancel.json -d project=项目名称 -d job=jobid
curl http://服务器ip:6800/cancel.json -d project=bbs_spider -d job=3927a14a9b1d11ea8b8e00163e0a1c21
启动scrapydweb
/usr/local/python3/bin
./scrapydweb &
默认端口是5000
http://服务器地址:5000
Timer Tasks添加任务
task results查看运行结果
评论区