一、python爬虫综述
一个简单的爬虫,两部分组成,下载html和解析html文档。我实现了一个爬取糗事百科的首页的笑话的网络爬虫,大家可以用来参考。
二、python爬虫开发环境的搭建
开发环境:python2.7(win10-64)
开发IDE:pycharm最新版,就OK
使用到的工具包:setuptools, pip, chardet, certifi, idna, lxml, urllib3, requests, beautifulsoup, bs4所有用到的这些包我都打包放在了我的资源里,大家可以去下载,或者,直接在网上下载最新的python工具包。
[python2.7_win10爬虫开发环境工具包.zip]
三、pythonIDE的安装
使用pycharm进行python的项目,在网上很容易下载到,在注册的时候,可以使用关键字(pycharm,2017,注册码),给大家一个参考。[pyCharm最新2017激活码]
四、源代码
1 | # coding=utf-8 |
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 LXY`S BLOG!
评论