文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

经验拾忆(纯手工)=> docker-

2023-01-31 08:18

关注

踩了 5-6个小时的坑,各种测试。人要没了。不过结果我已经满意了。
这篇文章是对 https://segmentfault.com/a/11... 的完善与排初BUG!

我用的Docker (我记得之前不用docker的时候scrapyd的配置文件好像是默认的 0.0.0.0)
但是我发现 Docker容器里面 默认是 bind 127.0.0.1 (真是 f--k了.. 弄了好几个小时没发现)
如果你用的docker, 先在Docker 同级目录下新建一个 default_scrapyd.conf
然后写入如下配置(不用犹豫,全部复制进去即可):

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0
http_port   = 6800
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application
launcher    = scrapyd.launcher.Launcher
webroot     = scrapyd.website.Root

[services]
schedule.json     = scrapyd.webservice.Schedule
cancel.json       = scrapyd.webservice.Cancel
addversion.json   = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json  = scrapyd.webservice.ListSpiders
delproject.json   = scrapyd.webservice.DeleteProject
delversion.json   = scrapyd.webservice.DeleteVersion
listjobs.json     = scrapyd.webservice.ListJobs
daemonstatus.json = scrapyd.webservice.DaemonStatus

最后在你的Dockerfile中末尾写入(视情况而定。 每个人的目录结构都不同)

COPY default_scrapyd.conf /usr/local/lib/python3.6/site-packages/scrapyd/default_scrapyd.conf

scrapyd部署需要两步:

  1. 先开启 scrapyd 服务 (scrapyd 命令即可)
  2. 再把爬虫程序通过 scrapyd-deploy 推送到 scrapyd服务上

很明显:2 是依赖 1 的。

错误解决方式:

但是,docker-compose command: 只能运行一条命令。 我按照常理使用N种思想想让他支持多条命令:

  1. 起初 用 &&
  2. 用 sh脚本
  3. 这个命令是最荒唐的。。。 网上千篇一律的博客。 百分之80都是互相抄袭的。(然后我还真用了。。)

最荒唐的命令如下:(我一直窃喜,以为找到解决办法了,就一直以这个命令为轴做调试,测试。。。。)

#    command:
#      - /bin/bash 
#      - -c 
#      - |
#        scrapyd 
#        scrapyd-deploy Cython_lin -p Baidu

这个命令有两种结果(这两种结果还tm是随机的。 生无可恋):

  1. scrapyd先执行,直接堵塞。后面命令失效(即使你用& 也解决不了随机启动顺序问题)
  2. scrapyd-deploy Cython_lin -p Baidu 先执行 (直接报错,以为scrapyd还没起来呢)

到此为止::::::: 我上面说的都是错误的方式!!!!!!!!!!!!!!
(差点一棵树上勒到死, 既然docker-compose文件内部只能运行一条命令。那么我们拿外面去运行啊!!)
(思想已经绝望僵化的我, 这次是真的看见了希望,曙光)

正确解决方式:

docker-compose.yml文件里面只写:

command: scrapyd

然后保存退出, 然后执行 :

docker-compose up -d
# 我们需要让 scrapyd启动一会,才可以启动 scrapy-deploy的(等一小会就行了)

然后继续执行:

docker-compose exec crawl  scrapyd-deploy Cython_lin -p Baidu


特别注意!说明以下!(docker-compose命令有两种方式):
    docker-compose exec      正确
    docker-compose run       错误 (在外面千万不要用这种 (当然我是说我这个业务))

也许有些错误很小, 但是当你怀疑变多的时候,脑海会出现海量解决问题的分支。
然后机械排BUG, 最终生无可恋。。。。。
其实有时不妨先冷静下来, 然后专注,一锤定音。找出BUG!!!

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯