Python爬虫技巧

  • Python爬虫之XPath语法笔记

    Python爬虫之XPath语法笔记

    摘要: XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。 同时Xpath在做爬虫时也是一款利器。一、选取节点常用的路劲表达式:表达式描述实例nodename选取nodename节点的所有子节点xpath('//div')选取了div节点的所有子节点/从根节点选取xpath('/div')从根节点上选取div节点//选取所有的当前节点,不考虑他们的位置xpath('//div')选取所有的div节点.选取当前...

  • Python一些常用的爬虫技巧总结

    Python一些常用的爬虫技巧总结

    用python也差不多一年多了,python应用最多的场景还是web快速开发、爬虫、自动化运维:写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。爬虫在开发过程中也有很多复用的过程,这里总结一下,以后也能省些事情。1、基本抓取网页get方法import urllib2 url = "http://www.baidu.com" response = urllib2.urlopen(url) print r...

1