Python3 网络爬虫（请求库的安装）
爬虫可以简单分为几步：抓取页面，分析页面和存储数据
在页面爬取的过程中我们需要模拟浏览器向服务器发送请求，所以需要用到一些python库来实现HTTP的请求操作，我们用到的第三方库有requests Selenium 和aiohttp
requests 的安装
相关链接：
- GitHub :https://github.com/requests/requests
- PypI:https://pypi.python.org/pypi/requests
- 官方文档：http://www.python-requests.org
- 中文文档：http://docs.python-request.org/zh_CN/latest
安装：
最好用的安装方式：pip 安装
pip3 install requests
验证是否安装成功
打开控制台进入命令行模式，首先输入python3 然后输入import requests 如果什么报错或提示说明安装成功
#!/usr/bin/env python # -*- coding:utf-8 -*- #__author__=v_zhangjunjie02 import requests
Selenium 的安装
selenium是一种自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击，下拉等操作，对于一些JavaScript 渲染的页面来说，这种抓取方式非常有效，下面来看看selenium 的安装过程
相关链接
- 官方网站：http://www.seleniumhq.org
- GitHub :https://github.com/SeleniumHQ/selenium/tree/master/py
- PypI: https://pypi.python.org/pypi/selenium
- 官方文档：http://selenium-python.readthedocs.io
- 中文文档：http://selenium-python-zh.readthedocs.io
还是用pip 安装
pip3 install selenium
验证是否安装成功：
打开控制台进入命令行模式，首先输入python3 然后输入import selenium 如果什么报错或提示说明安装成功
ChromeDriver 的安装
前面我们已经安装好了Selenium库，但是它是一个自动的测试工具，需要浏览器来配合使用，下面我们是Chrome浏览器和ChromeDriver驱动的配置
首先下载chromedriver
随后安装chromedriver ,因为安装了Chromedriver 才能驱动Chrome完成相应的操作
Chromedriver 相关链接
- 官方网站：https：//sites.google.com/a/chromium.org/chromedriver
- 下载地址：https://chromedriver.storage.googleapis.com/index.html
安装的chromedriver 要和Chrome 的版本一致
环境变量的配置：
1.下载完成后 将ChromeDriver 的可执行文件配置到环境变量下
在Windows下建议直接将chromedriver.exe 文件拖拽到Python的Script 目录下，此外还可以单独配置其所在路径到环境变量
在Linux 和Mac 下需要将可执行文件配置到环境变量，或将文件移动到所属环境变量的文件里
例如，要移动文件到/user/bin 目录 ，首先需要在命令行模式下进入其文件的所在路径，然后将其移动到/user/bin:
sudo mv chromedriver /user/bin
另外如果你的系统是Mac OS X EI Capitan 及更新版本的话，需要关闭Rootless 内核保护机制，具体参考http://www.pc6.com/edu/86809.html
当然，也可以将ChromeDriver 配置到$PATH :首先，可以将可执行文件放到某一目录，目录可以任意选择，例如将当前的可执行文件放到/user/local/chromedriver 目录下，接下来在Linux 下修改～/.profile 文件，在Mac 下可以修改～/.bash_profile文件添加如下内容
export PATH="$PATH:/usr/local/chromedriver"
保存后Linux下执行如下命令：
source ~/.profile
在mac 下执行：
source ~/.bash_profile
即可完成环境变量的添加
我们在程序中测试，执行如下代码：
from selenium import webdriver
browser=webdriver.Chrome()
运行之后，如果弹出一个空白的Chrome 浏览器，则证明所有的配置都没有问题，如果没有弹出，则需要检查之前的每一步配置
如果弹出后闪退，可能是Chrome 版本和chromedriver 版本不兼容导致的，更换对应的版本即可
GeckoDriver 的安装
GeckoDriver 是Firefox 浏览器的驱动
它的安装如下：
相关链接：
- GitHub：https://github.com/mozilla/geckodriver
- 下载地址：https://github.com/mozilla/geckodriver/releases
我们可以在github 上找到它的发行版本
环境变量配置同上
PhantomJS 的安装
phantomjs 是一个无界面，可脚本编程的WebKit浏览器引擎，它原生支持多种Web 标准：DOM操作，css 选择器，JSON ，Canvas 以及SVG
selenium支持phantomjs ,在运行的时候不会弹出一个浏览器，而且phantomjs 的运行效率也很高，还支持各种参数配置，使用非常方便：它的安装如下：
相关链接：
- 官方网站：http://phantomjs.org
- 官方文档：http://phantomjs.org/quick-start.html
- 下载地址：http://phantomjs.org/download.html
- API 接口说明：http://phantomjs.org/api/command-line.html
我们在官网上下载对应的安装包后，需要将可执行文件添加进环境变量（环境变量的添加方法，同上）
验证是否配置成功：在命令行输入phantomjs-v 如果输出对应的版本，说明配置成功
验证是否安装成功：
from selenium import webdriver
browser=webdriver.PhantomJS()
browser.get('https://www.baidu.com')
print(browser.current_url)
运行后不会有浏览器弹出，但是把url打印出来了，说明安装成功了
aiohttp 的安装
之前介绍的requests 库是一个阻塞式HTTP请求库，当我们发送一个请求后，程序会一直等待服务器响应，直到得到响应后程序才会做下一步处理，其实这个过程比较费时，如果程序可以在等待的过程中做一些其他的事情，如请求的调度，响应的处理等，那么爬取效率一定会大大提高
aiohttp 就是这样一个提供异步web服务的库，从python3.5 开始，Python加入了async/await 关键字，使的回调的方法更加直观和人性化，aiohttp 的异步操作借助于 async/await 关键字的写法变得更加简洁，架构更加清晰，使用异步请求库进行数据抓取时，会大大提高s效率（比如维护一个代理池，利用异步的方式检测大量代理的运行情况，会极大提升效率）
它的安装：
相关链接：
- 官方文档：http://aiohttp.readthedocs.io/en/stable
- GitHub:https://github.com/aio-libs/aiohttp
- PyPI:https://pypi.python.org/pypi/aiohttp
pip 安装
pip3 install aiohttp
另外，官方还推荐安装如下两个库：一个是字符编码检测库cchardet ,另一个是加速DNS的解析库aiodns 安装命令如下
pip3 install cchardet aiodns
测试安装：
在python命令下导入 import aiohttp 如果没有报错，说明安装成功
解析库的安装
抓取网页之后，下一步就是从网页中提取信息，提取信息的方式有多种多样，可以使用正则来提取，但是写起来相对比较繁琐，这里还有很多强大的解析库：如 lxml ,Beautiful Soup ,pyquery 等，此外还提供了大量的解析方法。如Xpath 解析和CSS 选择器解析等，利用它，们我们可以便捷高效的从网页中提取有用的信息
lxml 的安装
lxml 是python的一个解析库，支持HTML 和XML 的解析，支持Xpath 解析方式，而且解析效率非常高，它的安装如下：
相关链接：
官方网站：http://lxml.de
GitHub: https://github.com/lxml/lxml
PyPI: https://pypi.python.org/pypi/lxml
mac 下安装
使用pip 安装：pip3 install lxml
如果产生错误，可以执行如下命令将必要的类库安装
xcode-select --install
之后再重新尝试pip 安装就没有问题了
lxml 是一个非常重要的库，后面的Beautiful Soup Scrapy 都要用到此库，所以一定要安装成功
Beautiful Soup 的安装
Beautiful soup 是python的一个HTML 或XML的解析库，我们可以用它来方便的从网页中提取数据，它拥有强大的API和多样的解析方式，它的安装如下：
相关链接：
官方文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc
中文文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh
PyPi:https://pypi.python.org/pypi/beautifulsoup4
准备工作：
Beautiful soup 的HTML ，XML的解析库依赖于 lxml 库，所以安装之前确保已经安装成功了 lxml 库
pip 安装
pip3 install beautifulsoup4
验证安装：
from bs4 import BeautifulSoup
soup=BeautifulSoup('<p>Hello</p>','lxml')
print(soup.p.string)
运行结果如下：
Hello
如果一致，说明安装成功
️注意，这里我们虽然安装的是beautifulsoft4 这个包，但是引入的时候却引入bs4, 这是因为这个包源代码本身的库文件夹的名称就是bs4
pyquery 的安装
pyquery 同样是一个强大的网页解析工具，它提供了类似 jQuery 类似的语法来解析HTML文档，支持css 选择器，使用非常方便，它的安装如下：
相关链接：
GitHub:https://github.com/gawel/pyquery
PyPI : https://pypi.python.org/pypi/pyquery
官方文档：http://pyquery.readthedocs.io
pip 安装
pip3 install pyquery
验证同上
tesserocr 的安装
在爬虫的过程中难免会遇到各种各样的验证码，大多数验证码都是图形验证码，这时候我们可以直接用ocr 来识别
tesserocr是python的一个OCR库，但其实是对tesseract 做的一层Python API 的封装，所以它的核心是tesseract ,因此在安装tesserocr 之前，我们需要安装tesseract
相关链接
- tesserocr GitHub :https://github.com/sirfz/tesserocr
- tesserocr PyPI : https://pypi.python.org/pypi/tesserocr
- tesseract 下载地址：http://digi.bib.uni-mannheim.de/tesseract
- tesseract GitHub :https://github.com/tesseract-ocr/tesseract
- tesseract 语言包：https://github.com/tesseract-ocr/tessdata
- tesseract 文档：https://github.com/tesseract-ocr/tesseract/wiki/Documentation
Mac 下安装
brew 的安装参考：https://brew.sh/
或在终端执行/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
首先使用Homebrew 安装ImageMagick 和tesseract
brew install imagemagick
brew install tesseract --all-languages
接下来我们再安装tesserocr
pip3 install tesserocr pillow
这样我们便完成了tessercor 的安装
数据库的安装
MySql的安装
MySql 是一个轻量级的关系型数据库，
相关链接
- 官方网站：http://www.mysql.com/cn
- 下载地址：https://www.mysql.com/cn/downloads
- 中文教程：http://www.runoob.com/mysql/mysql-tutorial.html
mac 下安装
brew instal mysql
启动，停止和重启MySQl服务的命令
sudo mysql.server start
sudo mysql.server stop
sudo mysql.server restart
MongoDB 的安装
mongoDB 是由c++ 语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似json 对象，他的字段值可以包含其他文档，数组及文档数组，非常灵活
mangoDB 支持多种平台，包括windows,linux ,MAX OS 在其官方网站上（http://www.mangodb.com/download-center)均可找到对应的安装包
它的安装过程
- 官方网站：https://www.mongodb.com
- 官方文档：https://docs.mangodb.com
- GitHub:https://github.com/mongodb
- 中文教程：http://www.runoob.com/mongodb/mongodb-tutorial.html
Mac 下安装
brew install mongodb
然后新建一个文件夹/data/db 用于存放MongoDB 数据
这里启动MongoDB 服务的命令如下
brew services start mongodb
sudo mongod
停止和重启MongoDB 服务的命令分别是
brew services stop mongodb
brew services restart mongodb
可视化工具
这里推荐一个可视化工具 RoboMongo/Robo 3T 官方网站为：https://robomongo.org/下载链接：https://robomongo.org/download
Redis的安装
redis 是一个基于内存非常高效的非关系型数据库，它的安装如下
相关链接
- 官方网站：https://redis.io
- 官方文档：https://redis.io/documentation
- 中文文档：http://www.redis.cn
- GItHub: https://github.com/antirez/redis
- 中文教程：http://www.runoob.com/redis/redis-tutorial.html
- Redis Desktop Manager:https://redisdesktop.com
- Redis Desktop Manager GitHub : https://github.com/uglide/RedisDesktopManager
mac 下安装
brew install redis
启动Redis 服务的命令如下
brew services start redis
redis-server /use/local/etc/redis.conf
在mac 下Redis 的配置文件路径是/user/local/etc/redis.conf 可以通过修改它来配置访问密码
修改配置文件后，需要重启Redis 服务，停止和重启Redis 服务的命令分别如下
brew services stop redis
brew services restart redis
另外，在mac 下可以安装Redis Desktop Manager 可视化管理工具来管理Redis
存储库的安装
PyMySql的安装
相关链接
- GitHub :https://github.com/PyMySQL/PyMySQL
- 官方文档：http://pymysql.readthedocs.io/
- PyPI: https://pypi.python.org/pypi/PyMySQL
pip安装
pip3 install pymysql
PyMongo 的安装
pip3 install pymongo
redis-py的安装
pip3 install redis
RedisDump 的安装
它是一个用于将redis 数据导入导出的工具，基于Ruby实现，要想安装它先的安装Ruby、
1.相关链接：
GitHub :https://github.com/delano/redis-dump
官方文档：http://delanotes.com/redis-dump
2.安装Ruby
参考：http://www.ruby-lang.org/zh_cn/documentation
3.gem 安装
gem install redis-dump
4.验证安装
redis-dump
redis-load
如果这两条命令可以成功调用，说明安装成功
web库的安装
flask 的安装
相关链接
Github:https://github.com/pallets/flask
官方文档：http://flask.pocoo.org
中文文档：http://docs.jinkan.org/docs/flask
PyPi: https://pypi.python.org/pypi/Flask
安装
pip3 install flask
tornado的安装
tornado是一个支持异步的web框架，通过使用非阻塞I/O 流，它可以支持成千上万的开放链接，效率非常高
1.相关链接
GitHub : https://github.com/tornadoweb/tornado
PyPI : https://pypi.python.org/pypi/tornado
官方文档： http://www.tornadoweb.org
安装
pip install tornado
mitmproxy 的安装
mitmproxy 是一个支持http和https 的抓包程序，类似于fiddler 和charles 只不过，它是通过控制台的形式去操作
此外mitproxy 还有两个相关组件，mitmdump ,它是mitmproxy 的命令行接口，利用它可以对接python脚本，实现监听后的处理；一个是mitmweb 它是一个web程序，通过它可以清楚的观察到mitmproxy 捕获的请求
它们的安装如下：
- GitHub :https://github.com/mitmproxy/mitmproxy
- 官方网站：https://mitmproxy.org
- PyPI:https://pypi.python.org/pypi/mitmproxy
- 官方文档：http://docs.mitmproxy.org
- mitmdump 脚本： http://docs.mitmproxy.org/en/stable/scripting/overview.html
- 下载地址：https://github.com/mitmproxy/mitmproxy/releases
- DockerHub: https://hub.docker.com/r/mitmproxy/mitmproxy
安装方式一：mac 下安装
pip3 install mitmproxy
如果不行执行
brew install mitmproxy
证书设置：
对于mitmproxy 来说，如果想捕获https 请求需要设置证书，mitmproxy 在安装后会提供一套CA证书，只要客户端信任了mitmproxy 提供的证书，就可以通过mitmproxy 捕获https请求
首先运行以下命令产生CA证书
mitmdump
接下来在用户目录下的.mitmproxy 目录里找到CA 证书，证书一共有5个
Appium 的安装
Appium是移动端的自动化测试工具，利用它可以驱动Android 和 IOS 等设备完成自动化的测试 其官方网站为：http://appium.io
1.相关链接：
GitHub : https://github.com/appium/appium
官方网站：http://appium.io
官方文档：http://appium.io/introduction.html
下载链接：https://github.com/appium/appium-desktop/release
Python Client :https://github.com/appium/python-clent
安装appium
appium 负责驱动移动端来完成一系列操作对于ios 来说，它使用苹果的UIAutonation 来实现驱动，对于Android 来说，它使用UIAutomator 和Selendroid 来实现驱动
同时Appiumd 相当于一个服务器，我们可以向它发送一些操作指令，他会根据不同的指令对移动端设备完成不同的操作
安装Appium 有两种方式，一种是直接下载Appium Desktop 来安装，另一种是通过node.js 来安装
Appium Desktop
链接地址：https://github.com/appium/appium-desktop/releases
推荐使用node.js 安装
使用node.js 安装先要安装node.js 参考链接：http://www.runoob.com/nodejs/nodejs-install-setup.html
然后使用命令npm install -g appium 安装，这条命令执行完后就完成了appium 的安装
Android 开发环境的配置
Android 环境的配置
下载Android Studio (https://developer.android.com/studio/index.html?hl=zh-cn
安卓SDK的下载
下载完Android Studio后直接在Android 的设置页面勾选要安装的SDK 即可
另外需要配置下环境变量，参考地址：https://developer.android.com/studio/intro/index.html
爬虫框架的安装
pyspidei 的安装
- 官方文档：http://docs.pyspider.org/
- PyPi:https://pypi.python.org/pypi/pyspider
- GitHub:https://github.com/binux/pyspider
- 官方教程：http://docs.pyspider.org/en/latest/tutorial
- 在线实例：http://demo.pyspider.org
准备工作：pyspider 是支持javascript 渲染的，而且这个过程依赖于PhantomJS 所以需要先安装PhantomJS
使用pip 安装
pip3 install pyspider
验证安装：
命令行执行
pyspider all
在浏览器中输入http://localhost:5000/