Python爬虫是什么？
Python爬虫是什么？
Python爬虫是由Python程序开发的网络爬虫(webspider，webrobot)，是按照一定规则自动抓取万维网信息的程序或脚本。
其实一般是通过程序在网页上获取你想要的数据，也就是自动抓取数据。
为什么需要用爬虫？
你可以想象一个场景:你在微博上崇拜一个名人，被他的微博迷住了。你要把他这十年微博里的每一句话都摘抄下来。这个时候你会怎么做？手动上Ctrl+C和Ctrl+V？这个方法是对的。在数据量很小的情况下我们还是可以这样做的，但是在数据数千的情况下你还是要这样做吗？
爬虫技术可以轻松解决问题。我们可以看到爬虫技术主要可以帮助我们做两种事情：一种是对数据采集的需求，主要针对特定规则下的大量数据的信息采集；另一个是自动化需求，主要用于信息聚合和搜索。
大大提高工作效率和工作质量！
通用网络爬虫(UniversalWebcrawler)，又叫ScalableWebCrawler，从一些种子URL抓取到整个Web，主要是为搜索引擎和大型Web服务提供商收集数据。这类网络爬虫的抓取范围和数量巨大，对抓取速度和存储空间要求较高，抓取页面的顺序相对较低。比如我们常见的百度和谷歌搜索。当我们输入关键词时，他们会从整个网络中寻找与关键词相关的网页，并按照一定的顺序呈现给我们。
聚焦爬虫是指选择性地抓取与预定义主题相关的页面的爬虫。相比一般的web爬虫，聚焦爬虫只需要抓取特定的网页，抓取的广度会小很多。
一般来说，通用爬虫类似蜘蛛，需要寻找特定的食物，但是不知道蜘蛛网的哪个节点有，所以只能从一个节点开始，遇到一个节点就看一下，有食物就得到食物，如果这个节点表示某个节点有食物，就会按照指示找到下一个节点。聚焦的网络爬虫意味着这只蜘蛛知道哪个节点有食物，它只需要计划一条到达那个节点的路线就可以获得食物。
Python爬虫工程师的工资：
2019年9月，北京招聘程序员26430人。2019年9月，北京程序员平均工资17224元，工资中位数15000元，其中95%的工资在3750-45000元之间。
北京Python工程师平均工资22K，其中23.4%工资在30K-50K，38%工资在20K-30K。这个工资比2018年增长了11.9%。
2019年11月，Python工程师岗位10637个，可见Python工程师的受欢迎程度。
除了北京，上海、深圳等一线城市Python工资都超过21K:
上海Python工程师平均工资21k；
深圳Python工程师平均工资21k；
广州和杭州也不远了；
广州Python工程师平均工资17k；
杭州Python工程师平均工资17k；
我们来看看Python在二线城市的薪资情况:
武汉Python工程师平均工资14k；
成都Python工程师平均工资16k；
重庆Python工程师平均工资13k；
长沙Python工程师平均工资14k；
福州Python工程师平均工资11K；
Xi安Python工程师平均工资12k；
昆明Python工程师平均工资10k；
郑州Python工程师平均工资10k；
除了北上广深等一线城市，成都、武汉、长沙等二线城市的平均工资也超过了14K，比去年的11K多了3k。
根据智联招聘网、职友集等招聘网站的数据。可以看出随着Python语言的不断普及，对Python技术人才的需求也在不断增加——日均需求甚至达到15000+，在北上广深等一线城市的需求更是巨大。
有对Python感兴趣的同学就赶快学习起来吧，时不等人，抓紧时间开始学习之旅吧。学习没有捷径，希望大家都能少走一些弯路，在学习Python的道路上一往无前，学有所成！
