2017-4-4抓取赶集房源信息存入mongodb

分析页面特征并爬取每处房子的详情url

• 观察翻页时url的变动信息

• 页数与翻页
  显而易见a1o1和a1o2的o几就是页数，赶集页面好像改版了，所以不能再像原博那样分析边界条件了，我直接改变url页数试出大概有63页（技术不够，体力来凑）。

count = 0
for i in range(1, page + 1):
    url =  % i 

• 然后通过status_code对页面进行判断

    if zf_data.status_code == 404:
        pass

• 关于线程与进程只是以前看过几页书知道是怎么回事但没写过代码，代理池也并不会，慢点爬应该不会封我一个小IP吧，这次主要练习存储数据，所以就一切简单化

• 然后就遇到了一个巨大的坑，本来我是根据这个href提取url的

  
  href.png
  

  写了这样的代码

links = soup.select("class.f-list-item")

这个爬虫写完后以为不会再出bug,就run了起来然后起身去厕所，没想到回来它就停了。

在PyCharm上检查了一下，是第五个数据出了问题，然后检查代码发现好像没错，再打开赶集F12一下，哇，原来是被赶集这个源码坑了。上图

赶集把第5个规则改了一下，确实是防爬了。好了，不怕有bug，只要知道是什么原因就好解决了。改变策略，上re，用那个puid构建url（先在源码里面搜索下数量检查一下），然后写入mongodb表url_list中。

        puid = re.findall('id="puid-(.*?)"', html, re.S)
        count += 1
        print('抓到第%s页链接' % count)
        for l in puid:
            fang_url =  % l
            url_list.insert_one({'link': fang_url})
            print(fang_url)

根据每处房子的url抓取详细信息

• 用BeautifulSoup就是很简单的页面分析

        data = {
            'title': soup.select(".card-title i")[0].get_text(strip=True),
            'price': soup.select(".price")[0].get_text(strip=True),
            'synopsis': soup.select(".fang-info")[0].get_text(" ", strip=True),
            'name': soup.select(".item-con")[0].get_text(strip=True),
            'area': soup.select(".item-con")[1].get_text(strip=True),
            'describe': soup.select(".describe")[0].get_text(strip=True),
            'url': url
        }
        print(data)
        items_info.insert_one(data)

最后用函数封装起来

    it = url_list.find()
    for i in it:
        url = i['link']
        get_items(url=url)

运行了一会依然是有bug出现了

总共是3405个url，抓了912个信息存入mongodb。至于为什么912个就停了，现在丝毫不想debug，日后再说吧。

• **数据可视化还不会，抓取动态页面也还没学，还有线程代理等等要学的。B回城回满血再传送到线上继续farm **