网络爬虫之HTTP原理
**
URI和URL
URI的全称Uniform Resource Identifier ，即统一资源标志符。URL的全称Uniform Resource Locator 即统一资源定位符。 URL是URI的子集，也就是每一个URL就是URI，但是每一个URI不一定是URL，URI还有一个子类叫URN，它的全称Universal Resource Name-统一资源名称，URN只命名资源而不指定资源位置。
HTTP和HTTPS
HTTP的全称叫 Hyper Text Transfer Protocol（超文本传输协议）。 HTTPS的全称叫 Hyper Text Transfer over Secure Socket Layer(加密的超文本协议)，HTTP加入SSL层。
HTTPS的安全基础是SSL，因此通过它传输的内容都是经过SSL加密的，它的主要作用可以分为两种：
建立信息安全通道，来保证数据传输的安全
确认网站的真实性，凡是使用了HTTPS的网站，都可以通过点击浏览器地址的锁头标志来查看网站认证之后的真实的信息，也可以通过CA机构颁发的安全签章来查询
HTTP的请求过程
右侧栏点击社区社交，即发送了一个请求。这个过程浏览器向网站所在的服务器发送了一个请求，网站的服务器收到请求解析处理和解析并返回了接口，浏览器拿到接口的数据进行渲染并显示。
请求
请求，由客户端向服务器发送，可以分为四部分，请求方法，请求网址（URL）、请求头、请求体。
请求方法 常见的请求方法有两种：GET和POST
| 方法 | 描述 |
|---|---|
| GET | 请求页面，并返回页面内容 |
| HEAD | 类似GET请求，只不过返回的响应中没有具体的内容，用于获取报头 |
| POST | 大多用于提交表单或上传文件，数据包含在请求体中 |
| PUT | 从客户端向服务器传送的数据取代指定文档中的内容 |
| DELETE | 请求服务器删除指定的页面 |
| CONNECT | 把服务器当作跳板，让服务器代替客户端访问其它网页 |
| OPTIONS | 允许客户端查看服务器的性能 |
| TRACE | 回显服务器收到的请求，主要用于测试或诊断 |
请求头 请求头，用来说明服务器需要使用的附加信息，重要的有Cookies、Referer、User-Agent。
Accept：请求报头域，用于指定客户端可接受哪些类型的信息
Accept-Language：指定客户端可接受的语言类型
Accept-Encoding：指定客户端可接受的内容编码
Host：用于指定请求资源的主机IP和端口号，其内容为请求URL的原始服务器或网关的位置。从HTTP1.1版本开始，必须包含此内容。
Cookie：也常用复数形式Cookies，这是为了辨别用户进行会话跟踪而存储在用户本地的数据。它的主要功能是维持当前访问会话。
Referer：此内容用来标识这个请求从哪个页面发过来的，服务器可以拿到这信息并做相应的处理，如来源统计、防盗链处理等
User-Agent：简称UA，它是一个特殊的字符串头，可以使服务器识别客户使用操作系统及版本、浏览器及版本信息。
Content-Type：也叫互联网媒体类型，在HTTP协议消息头中，它用来表示请求中的媒体类型信息，如text/html代表HTML，image/gif 代表GIF图片，application/json代表JSON类型。
请求体 请求体一般的内容是POST请求中的表单数据，而对GET请求，请求头为空。
| Content-Type | 提交数据方式 |
|---|---|
| application/x-www-form-urlencoded | 表单数据 |
| multpart/form-data | 表单文件上传 |
| application/json | 序列化JSON数据 |
| text/xml | XML数据 |
响应
响应，由服务器返回客户端，可分为三部分：响应状态码（Response Status Code）、响应头（Response Headers）、响应体（Response Body）.
响应状态码 响应状态码表示服务器的响应状态，如200表示服务器正常，404表示资源找不到，500表示服务器内部出错。
| 状态码 |
说明 |
详情 |
| 100 |
继续 |
请求者应当继续提出请求 服务器已收到请求的一部分，正在等待其余部分 |
| 101 |
切换协议 |
请求者已要求服务器切换协议，服务器已确认并准备切换 |
| 200 |
成功 |
服务器已成功处理了请求 |
| 201 |
已创建 |
请求成功并且服务器创建了新的资源 |
| 202 |
已接受 |
服务器已接受了请求，但尚未处理 |
| 203 |
非授权信息 |
服务器成功处理了请求，但返回的信息可能来自另外一个源 |
| 204 |
无内容 |
服务器成功处理了请求，但没有返回任何内容 |
| 205 |
重置内容 |
服务器成功处理，内容被重置 |
| 206 |
部分内容 |
服务器成功处理了部分请求 |
| 300 |
多种选择 |
针对请求，服务器可执行多种操作 |
| 301 |
永久移动 |
请求的网页已永久移动到新的位置，即永久重定向 |
| 302 |
临时移动 |
请求网页暂时跳转到其它位置，即暂时重定向 |
| 303 |
查看其它位置 |
如果原来的请求是POST，重定向目标文档应该通过GET提取 |
| 304 |
未修改 |
此请求返回的网页未修改，继续使用上次资源 |
| 305 |
使用代理 |
请求者应该使用代理访问该网页 |
| 307 |
临时重定向 |
请求的资源临时从其它位置响应 |
| 400 |
错误请求 |
服务器无法解析该请求 |
| 401 |
未授权 |
请求没有进行身份验证或验证不通过 |
| 403 |
禁止访问 |
服务器拒绝此请求 |
| 404 |
未找到 |
服务器找不到请求的网页 |
| 405 |
方法禁用 |
服务器禁用了请求指定的方法 |
| 406 |
不接受 |
无法使用请求的内容响应请求的网页 |
| 407 |
需要代理授权 |
请求者需要使用代理授权 |
| 408 |
请求超时 |
服务器请求超时 |
| 409 |
冲突 |
服务器在完成请求时发生冲突 |
| 410 |
已删除 |
请求的资源已永久删除 |
| 411 |
需要有效长度 |
服务器不接受不含有效内容长度长度标头字段的请求 |
| 412 |
未满足前提条件 |
服务器未满足请求者在请求中设置的其中一个前提条件 |
| 413 |
请求实体过大 |
请求实体过大，超出服务器的处理能力 |
| 414 |
请求URL过长 |
请求网址太长，服务器无法处理 |
| 415 |
不支持类型 |
请求格式不被请求页面支持 |
| 416 |
请求范围不符 |
页面无法提供请求的范围 |
| 417 |
未满足期望值 |
服务器未满足期望请求标头字段的要求 |
| 500 |
服务器内部错误 |
服务器遇到错误，无法完成请求 |
| 501 |
未实现 |
服务器不具备完成请求的功能 |
| 502 |
错误网关 |
服务器作为网关或代理，从上游服务器收到无效响应 |
| 503 |
服务不可用 |
服务器目前无法使用 |
| 504 |
网关超时 |
服务器作为网关或代理，但没有及时从上游服务器收到请求 |
| 505 |
HTTP版本不支持 |
服务器不支持请求中所用的HTTP版本协议 |
响应头 响应头包含服务器对请求的应答响应,如Content-Type,Server,Set-Cookie等
Date：标识响应产生的时间
Last-Modified：指定资源的最后的修改时间。
Content-Encoding:指定响应内容的编码
Sever：包含服务器的信息，比如名称、版本号等
Content-Type:文档类型，指定返回的数据类型是什么，如text/html
Set-Cookie：设置Cookies。响应头中的Set-Cookie告诉浏览器需要将此内容放在Cookies中，下次请求携带Cookies请求
Expires：指定响应的过期时间，可以使代理服务器或浏览器将加载的内容更新到缓存中。如果再次访问时，就可以直接从缓存中加载，降低服务器负载，缩短加载时间。
响应体 最重要当响应属性响应体的内容。响应体的正文数据都在响应体中。请求网页时，响应的就是HTML代码；请求一张图片时，响应的数据就是二进制数据。
1、GET和POST有什么区别
数据传输的不同：GET请求通过URL传输数据，而POST请求通过请求体传输。
安全性不同：GET请求在URL中可以看见，通过历史记录、缓存可看；POST的数据在请求体中，安全相对较高。
数据类型不同：GET只允许ASCII字符；POST无限制。
特性不同：GET是安全（这里的安全是指只读特性，就是使用这个方法不会引起服务器状态变化）且幂等（幂等的概念是指同一个请求方法执行多次和仅执行一次的效果完全相同），而POST是非安全非幂等
2、HTTP和HTTPS的区别
HTTP无CA证书，HTTPS有CA证书。
HTTP明文传输，HTTPS是具有安全性的SSL加密传输。
HTTP默认的端口是80；HTTPS默认的端口是443.
智能推荐
软件测试流程包括哪些内容？测试方法有哪些？_测试过程管理中包含哪些过程-程序员宅基地
文章浏览阅读2.9k次，点赞8次，收藏14次。测试主要做什么？这完全都体现在测试流程中，同时测试流程是面试问题中出现频率最高的，这不仅是因为测试流程很重要，而是在面试过程中这短短的半小时到一个小时的时间，通过测试流程就可以判断出应聘者是否合适，故在测试流程中包含了测试工作的核心内容，例如需求分析，测试用例的设计，测试执行，缺陷等重要的过程。..._测试过程管理中包含哪些过程
政府数字化政务的人工智能与机器学习应用：如何提高政府工作效率-程序员宅基地
文章浏览阅读870次，点赞16次，收藏19次。1.背景介绍政府数字化政务是指政府利用数字技术、互联网、大数据、人工智能等新技术手段，对政府政务进行数字化改革，提高政府工作效率，提升政府服务质量的过程。随着人工智能(AI)和机器学习(ML)技术的快速发展，政府数字化政务中的人工智能与机器学习应用也逐渐成为政府改革的重要内容。政府数字化政务的人工智能与机器学习应用涉及多个领域，包括政策决策、政府服务、公共安全、社会治理等。在这些领域，人工...
ssm+mysql+微信小程序考研刷题平台_mysql刷题软件-程序员宅基地
文章浏览阅读219次，点赞2次，收藏4次。系统主要的用户为用户、管理员，他们的具体权限如下：用户：用户登录后可以对管理员上传的学习视频进行学习。用户可以选择题型进行练习。用户选择小程序提供的考研科目进行相关训练。用户可以进行水平测试，并且查看相关成绩用户可以进行错题集的整理管理员：管理员登录后可管理个人基本信息管理员登录后可管理个人基本信息管理员可以上传、发布考研的相关例题及其分析，并对题型进行管理管理员可以进行查看、搜索考研题目及错题情况。_mysql刷题软件
根据java代码描绘uml类图_Myeclipse8.5下JAVA代码导成UML类图-程序员宅基地
文章浏览阅读1.4k次。myelipse里有UML1和UML2两种方式，UML2功能更强大，但是两者生成过程差别不大1.建立Test工程，如下图，uml包存放uml类图package com.zz.domain;public class User {private int id;private String name;public int getId() {return id;}public void setId(int..._根据以下java代码画出类图
Flume自定义拦截器-程序员宅基地
文章浏览阅读174次。需求：一个topic包含很多个表信息，需要自动根据json字符串中的字段来写入到hive不同的表对应的路径中。发送到Kafka中的数据原本最外层原本没有pkDay和project，只有data和name。因为担心data里面会空值，所以根同事商量，让他们在最外层添加了project和pkDay字段。pkDay字段用于表的自动分区，proejct和name合起来用于自动拼接hive表的名称为 ..._flume拦截器自定义开发 kafka
java同时输入不同类型数据,Java Spring中同时访问多种不同数据库-程序员宅基地
文章浏览阅读380次。原标题：Java Spring中同时访问多种不同数据库 多样的工作要求，可以使用不同的工作方法，只要能获得结果，就不会徒劳。开发企业应用时我们常常遇到要同时访问多种不同数据库的问题，有时是必须把数据归档到某种数据仓库中，有时是要把数据变更推送到第三方数据库中。使用Spring框架时，使用单一数据库是非常容易的，但如果要同时访问多个数据库的话事件就变得复杂多了。本文以在Spring框架下开发一个Sp..._根据输入的不同连接不同的数据库
随便推点
EFT试验复位案例分析_eft电路图-程序员宅基地
文章浏览阅读3.6k次，点赞9次，收藏25次。本案例描述了晶振屏蔽以及开关电源变压器屏蔽对系统稳定工作的影响， 硬件设计时应考虑。_eft电路图
MR21更改价格_mr21 对于物料 zba89121 存在一个当前或未来标准价格-程序员宅基地
文章浏览阅读1.1k次。对于物料价格的更改，可以采取不同的手段：首先，我们来介绍MR21的方式。 需要说明的是，如果要对某一产品进行价格修改，必须满足的前提条件是： ■ 1、必须对价格生效的物料期间与对应会计期间进行开启； ■ 2、该产品在该物料期间未发生物料移动。执行MR21，例如更改物料1180051689的价格为20000元，系统提示“对于物料1180051689 存在一个当前或未来标准价格”，这是因为已经对该..._mr21 对于物料 zba89121 存在一个当前或未来标准价格
联想启天m420刷bios_联想启天M420台式机怎么装win7系统(完美解决usb)-程序员宅基地
文章浏览阅读7.4k次，点赞3次，收藏13次。[文章导读]联想启天M420是一款商用台式电脑，预装的是win10系统，用户还是喜欢win7系统，该台式机采用的intel 8代i5 8500CPU，在安装安装win7时有很多问题，在安装win7时要在BIOS中“关闭安全启动”和“开启兼容模式”，并且安装过程中usb不能使用，要采用联想win7新机型安装，且默认采用的uefi+gpt模式，要改成legacy+mbr引导，那么联想启天M420台式电..._启天m420刷bios
冗余数据一致性，到底如何保证？-程序员宅基地
文章浏览阅读2.7k次，点赞2次，收藏9次。一，为什么要冗余数据互联网数据量很大的业务场景，往往数据库需要进行水平切分来降低单库数据量。水平切分会有一个patition key，通过patition key的查询能..._保证冗余性
java 打包插件-程序员宅基地
文章浏览阅读88次。是时候闭环Java应用了 原创 2016-08-16 张开涛 你曾经因为部署/上线而痛苦吗？你曾经因为要去运维那改配置而烦恼吗？在我接触过的一些部署/上线方式中，曾碰到过以下一些问题：1、程序代码和依赖都是人工上传到服务器，不是通过工具进行部署和发布；2、目录结构没有规范，jar启动时通过-classpath任意指定；3、fat jar，把程序代码、配置文件和依赖jar都打包到一个jar中，改配置..._那么需要把上面的defaultjavatyperesolver类打包到插件中
VS2015，Microsoft Visual Studio 2005,SourceInsight4.0使用经验，Visual AssistX番茄助手的安装与基本使用9_番茄助手颜色-程序员宅基地
文章浏览阅读909次。1.得下载一个番茄插件，按alt+g才可以有函数跳转功能。2.不安装番茄插件，按F12也可以有跳转功能。3.进公司的VS工程是D:\sync\build\win路径，.sln才是打开工程的方式，一个是VS2005打开的，一个是VS2013打开的。4.公司库里的线程接口，在CmThreadManager.h 里，这个里面是我们的线程库，可以直接拿来用。CreateUserTaskThre..._番茄助手颜色