热门搜索 :
考研考公
您的当前位置:首页正文

Python爬虫实战-抓取Boss直聘招聘信息

来源:东饰资讯网

爬取过程:


在boss中查询岗位信息采用的是get的方式进行请求,页面岗位数据采用非Js的方式进行加载,但是页面元素经常变化。需要时常调整xpath读取页面元素代码。本次爬取用于对爬取时不同岗位的薪资状况的评估,不需要爬取岗位的具体要求。

步骤一:分析网页

爬取boss招聘信息需要先登录,通过分析,爬取时需要的信息如下:

请求首部:

headers = {

'accept':'application/json, text/javascript, */*; q=0.01',

'accept-encoding':'gzip, deflate, br',

'accept-language':'zh-CN,zh;q=0.8',

'cookie':'……', # 需要填写

'user-agent':'……',# 需要填写

'x-requested-with':'XMLHttpRequest',

}

请求方法:get

需要爬取的页面分析:

二、代码实现

核心代码如下图所示,不过别忘了添加headers 和导入requests、pandas、time、etree等Python附加模块。

# 调用函数代码

if __name__ =='__main__':

    get_info(2)# 爬取两页数据

Top