博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
服务器上部署scrapy爬虫项目
阅读量:6904 次
发布时间:2019-06-27

本文共 1074 字,大约阅读时间需要 3 分钟。

爬爬们,如果你已经开始部署项目了,那么你肯定也已经写好了完整的爬虫项目,恭喜你,你很优秀!

**今天忙了小半天的服务器部署,跟大家分享一些心得~

  1. 首先我们要有一台服务器,不好意思,这是废话,略过。。。。。
  2. 安装python

    # 下载安装包,好习惯可以自己创建文件夹/home/download/   $ wget https://www.python.org/ftp/python/3.4.1/Python-3.4.1.tgz   # 解压   $ tar zxvf Python-3.4.1.tgz /us   3进入解压后的目录,执行安装配置   $ ./configure   #或指定安装目录   $ ./configure --prefix=/opt/python3   $ make   $ make install   #安装后建立一个链接,这样我们可以用python3直接运行程序,和python2区别开来。   $ ln -s /opt/python3/bin/python3 /usr/bin/python3

注意:1.在安装之前最好要安装各种依赖包

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

若已经安装python3并改软链接了,请修改/usr/bin/yum文件中的第一行python后加2.?版本号,还有一个文件需要修改叫什么我忘记了,同理

注意:2.pip3安装之前要建立pip3软连接

$ ln -s /opt/python3/bin/pip3 /usr/bin/pip3

3.安装scrapy

在这里我们先安装scrapyd避免手动安装scrapy需要的插件pip3 install scrapydpip3 install scrapy

注意:若没有在第二步安装依赖环境 sqlite-devel,那么在启动scrapyd的时候会报错。

安装各种依赖包最好创建虚拟环境,

#安装pip3 install virtualenv#建立软连接$ ln -s /opt/python3/bin/virtualenv /usr/bin/virtualenv#进入项目目录创建虚拟环境$ virtualenv venv# 在venv/bin目录下source activate

转载地址:http://rkmdl.baihongyu.com/

你可能感兴趣的文章
QUnit系列 -- 1.介绍单元测试(上)
查看>>
开发API文档相关问题(*.chm)
查看>>
分布拟合——正态/拉普拉斯/对数高斯/瑞利 分布
查看>>
隐藏执行批处理bat文件
查看>>
函数y=sin(1/x)曲线
查看>>
WebStorm for Mac(Web 前端开发工具)破解版安装
查看>>
computational biology | Bioinformatician | 开发者指南
查看>>
从0开始--倒序输出。
查看>>
吉特仓库管理系统-.NET打印问题总结
查看>>
POJ 3026 Borg Maze(bfs+最小生成树)
查看>>
sqlplus 返回2 由于命令后没有加分号
查看>>
android Intent类
查看>>
IOS设计模式学习(19)策略
查看>>
poj 2155 Matrix
查看>>
shell中(),[]和[[]]的区别
查看>>
C# 利用反射动态创建对象[摘录]
查看>>
NLP系列学习:潜在语义牵引
查看>>
Swift 4官方文档中文版 Collection Types(上)
查看>>
Linux学习之初识
查看>>
NLP系列学习:DBOW句向量
查看>>