python爬虫可以做什么工作-自学Python爬虫学到什么程度？就可以去找工作了？-程序员宅基地

python 爬虫学到什么程度可以去找工作了，关于这点，和大家分享下我的理解。

确立目标、了解需求

首先我们要先定位自己的目标，当然我们先以爬虫工程师来做个说明。

去招聘网上看看需求都有哪些,直接做个拉勾网爬虫（有需要的私信）出结果了：

仔细看看，我们可以得出以下几点：

1、 python 不是唯一可以做爬虫的，很多语言都可以，尤其是 java,同时掌握它们和拥有相关开发经验是很重要的加分项

2、大部分的公司都要求爬虫技术有一定的深度和广度，深度就是类似反反爬、加密破解、验证登录等等技术；广度就是分布式、云计算等等，这都是加分项

3、爬虫，不是抓取到数据就完事了，如果有数据抽取、清洗、消重等方面经验，也是加分项

4、一般公司都会有自己的爬虫系统，而新进员工除了跟着学习以外最常做的工作就是维护爬虫系统，这点要有了解

5、最后一个加分项就是前端知识，尤其是常用的 js、ajax、html/xhtml、css 等相关技术为最佳，其中 js 代码的熟悉是很重要的

6、补充一条，随着手持设备的市场占比越来越高，app 的数据采集、抓包工具的熟练使用会越来越重要

以上内容，不要求全部掌握，但是掌握的越多，那么你的重要性就越高

如何提高自己

网上教程很多，就 python 而言，只会 requests 明显是不够的，起码 scrapy 和pyspider 这俩框架要掌握，scrapy_redis 原理要理解

多做全站爬虫，比如抓取一个小说网站，能抓一本小说是基本功，你要想办法分类别把整站小说全部抓取下来，存到数据库，甚至自己建站，完全用你的方式将对方的网站 copy 下来！这个过程需要注意的是如何去重，Mongo 可以、redis 也可以。

实战项目经验

这个是在面试中经常会问到

1、你抓过哪些网站？

2、日均采集量有多少？

3、遇到哪些问题，怎么解决的？

那么，怎么找项目呢？Github 你需要多去看看，项目多到超出你的想象！

如何判断能力是否足够

很简单，去网上找一个爬虫的外包方案，自己去尝试做一下！当然你要能卖出去，那是最好了。实践是硬道理！

以上仅为个人看法，若有不足之处请指教，希望可以帮助到大家！

本文链接：https://blog.csdn.net/weixin_37988176/article/details/109376748

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

Sandboxie v5.45.2正式版系统安全工具_sandboxie系统安全工具-程序员宅基地

文章浏览阅读141次。简介：菜鸟高手裸奔工具沙盘Sandboxie是一款国外著名的系统安全工具，它可以让选定程序在安全的隔离环境下运行，只要在此环境中运行的软件，浏览器或注册表信息等都可以完整的进行清空，不留一点痕迹。同时可以防御些带有木马或者病毒的恶意网站，对于经常测试软件或者不放心的软件，可放心在沙盘里面运行！下载地址：http://www.bytepan.com/J7BwpqQdKzR..._sandboxie系统安全工具

Mac技巧|如何在 MacBook上设置一位数登录密码-程序员宅基地

文章浏览阅读230次，点赞4次，收藏5次。Mac老用户都知道之前的老版本系统是可以设置一位数登陆密码的，但是更新到10.14以后就不可以了，今天就教大家怎么在新版本下设置Mac一位数登陆密码。

chatgpt中的强化学习 PPO_chatgpt使用的强化学习-程序员宅基地

文章浏览阅读3.4k次。本该到此结束，但是上述实现的时候其实是把生成的每一步的奖励都使用统一的句子级reward，但该代码其实也额外按照每个token来计算奖励值的，为了获取每个token的奖励，我们在生成模型的隐层表示上，多加一个线性层，映射到一维，作为每个状态的预测奖励值。类似的，在文本生成中我们也可以用蒙特卡洛方法来估计一个模型的状态价值。假如我们只采样到了s1和s2，没有采样到s3，由于7和3都是正向奖励，s1和s2的训练后生成的概率都会变大，且s1的概率变的更大，这看似合理，但是s3是未参与训练的，它的概率反而减小了。_chatgpt使用的强化学习

获取不规则多边形中心点_truf计算重心-程序员宅基地

文章浏览阅读433次，点赞10次，收藏8次。尝试了3种方法，都失败了！_truf计算重心

HDU 1950最长上升子序列学习nlogn_poj 1631 hdu 1950为啥是最长上升子序列-程序员宅基地

文章浏览阅读406次。学习LIS_poj 1631 hdu 1950为啥是最长上升子序列

kubernetes===》二进制安装_sed -ie 's#image.*#image: ${ epic_image_fullname }-程序员宅基地

文章浏览阅读550次。一、节点规划主机名称IP域名解析k8s-m-01192.168.12.51m1k8s-m-02192.168.12.52m2k8s-m-03192.168.12.53m3k8s-n-01192.168.12.54n1k8s-n-02192.168.12.55n2k8s-m-vip192.168.12.56vip二、插件规划#1.master节点规划kube-apiserverkube-controller-manage_sed -ie 's#image.*#image: ${ epic_image_fullname }#g