最后一个广告位招租
由于目前访问人数飙升，每日流量等资源消耗较多，现出售广告位以支付每月机器费用，有意者请加qq联系站长。~
[Python]网络爬虫（三）：异常的处理和HTTP状态码的分类 - Charles_Chen
先来说一说HTTP的异常处理问题。
当urlopen不能够处理一个response时，产生urlError。
不过通常的Python APIs异常如ValueError,TypeError等也会同时产生。
HTTPError是urlError的子类，通常在特定HTTP URLs中产生。
1.URLError
通常，URLError在没有网络连接(没有路由到特定服务器)，或者服务器不存在的情况下产生。
这种情况下，异常同样会带有"reason"属性，它是一个tuple（可以理解为不可变的数组），
包含了一个错误号和一个错误信息。
我们建一个urllib2_test06.py来感受一下异常的处理：
import urllib2
req = urllib2.Request('')
try: urllib2.urlopen(req)
except urllib2.URLError, e:
print e.reason
按下F5，可以看到打印出来的内容是：
[Errno 11001] getaddrinfo failed
也就是说，错误号是11001，内容是getaddrinfo failed
2.HTTPError
服务器上每一个HTTP 应答对象response包含一个数字"状态码"。
有时状态码指出服务器无法完成请求。默认的处理器会为你处理一部分这种应答。
例如:假如response是一个"重定向"，需要客户端从别的地址获取文档，urllib2将为你处理。
其他不能处理的，urlopen会产生一个HTTPError。
典型的错误包含"404"(页面无法找到)，"403"(请求禁止)，和"401"(带验证请求)。
HTTP状态码表示HTTP协议所返回的响应的状态。
比如客户端向服务器发送请求，如果成功地获得请求的资源，则返回的状态码为200，表示响应成功。
如果请求的资源不存在， 则通常返回404错误。
HTTP状态码通常分为5种类型，分别以1～5五个数字开头，由3位整数组成：
------------------------------------------------------------------------------------------------
200：请求成功
处理方式：获得响应的内容，进行处理
201：请求完成，结果是创建了新资源。新创建资源的URI可在响应的实体中得到
处理方式：爬虫中不会遇到
202：请求被接受，但处理尚未完成
处理方式：阻塞等待
204：服务器端已经实现了请求，但是没有返回新的信 息。如果客户是用户代理，则无须为此更新自身的文档视图。
处理方式：丢弃
300：该状态码不被HTTP/1.0的应用程序直接使用， 只是作为3XX类型回应的默认解释。存在多个可用的被请求资源。
处理方式：若程序中能够处理，则进行进一步处理，如果程序中不能处理，则丢弃
301：请求到的资源都会分配一个永久的URL，这样就可以在将来通过该URL来访问此资源
处理方式：重定向到分配的URL
302：请求到的资源在一个不同的URL处临时保存
处理方式：重定向到临时的URL
304 请求的资源未更新
处理方式：丢弃
400 非法请求
处理方式：丢弃
401 未授权
处理方式：丢弃
处理方式：丢弃
404 没有找到
处理方式：丢弃
5XX 回应代码以“5”开头的状态码表示服务器端发现自己出现错误，不能继续执行请求
处理方式：丢弃
------------------------------------------------------------------------------------------------
HTTPError实例产生后会有一个整型'code'属性，是服务器发送的相关错误号。
Error Codes错误码
因为默认的处理器处理了重定向(300以外号码)，并且100-299范围的号码指示成功，所以你只能看到400-599的错误号码。
BaseHTTPServer.BaseHTTPRequestHandler.response是一个很有用的应答号码字典，显示了HTTP协议使用的所有的应答号。
当一个错误号产生后，服务器返回一个HTTP错误号，和一个错误页面。
你可以使用HTTPError实例作为页面返回的应答对象response。
这表示和错误属性一样，它同样包含了read,geturl,和info方法。
我们建一个urllib2_test07.py来感受一下：
import urllib2
req = urllib2.Request('http://bbs.csdn.net/callmewhy')
urllib2.urlopen(req)
except urllib2.URLError, e:
print e.code
#print e.read()
按下F5可以看见输出了404的错误码，也就说没有找到这个页面。
3.Wrapping
所以如果你想为HTTPError或URLError做准备，将有两个基本的办法。推荐使用第二种。
我们建一个urllib2_test08.py来示范一下第一种异常处理的方案：
from urllib2 import Request, urlopen, URLError, HTTPError
req = Request('http://bbs.csdn.net/callmewhy')
response = urlopen(req)
except HTTPError, e:
print 'The server couldn\'t fulfill the request.'
print 'Error code: ', e.code
except URLError, e:
print 'We failed to reach a server.'
print 'Reason: ', e.reason
print 'No exception was raised.'
# everything is fine
和其他语言相似，try之后捕获异常并且将其内容打印出来。
这里要注意的一点，except HTTPError 必须在第一个，否则except URLError将同样接受到HTTPError 。
因为HTTPError是URLError的子类，如果URLError在前面它会捕捉到所有的URLError（包括HTTPError ）。
我们建一个urllib2_test09.py来示范一下第二种异常处理的方案：
from urllib2 import Request, urlopen, URLError, HTTPError
req = Request('http://bbs.csdn.net/callmewhy')
response = urlopen(req)
except URLError, e:
if hasattr(e, 'reason'):
print 'We failed to reach a server.'
print 'Reason: ', e.reason
elif hasattr(e, 'code'):
print 'The server couldn\'t fulfill the request.'
print 'Error code: ', e.code
print 'No exception was raised.'
# everything is fine
原文链接:/articles/M3uUnu
阅读: 752 |玩蛇网提供最新Python编程技术信息以及Python资源下载！
您现在的位置：
黑客工具_Python多线程爬虫抓取扫描器
Python多线程爬虫扫描器
一、Python多线程扫描器介绍
对于小白来说，玩蛇网在这里介绍的扫描器，并非是条码扫描器；
其实多线程扫描器是中的一种，可以自动检测远程服务器、Web站点等安全漏洞、弱口令、扫描IP、文件、端口、目录的Python程序，它能够快速的准确的发现扫描目标所存在的漏洞，为渗透入侵安全检测等打下了铺垫。
python 多线程爬虫相关的知识也是Python黑客学习渗透技术必须所掌握的。
例如这个Python Hacker 工具，简单来说有如下作用：
&&&&1. 站点漏洞、木马、危险程序的扫描
&&&&2. 扫描对比文件差异、监控网站文件
&&&&3. 检测网页状态码 (200、403、404、500==)
&&&&4. 检测网站是否SEO作弊 [针对用户和搜索引擎返回不一样的结果]
&&&&5. 网站压力测试 iis连接数等 虚拟主机空间 连接数 150个
&&&&6. 模拟搜索引擎蜘蛛抓取 US User-Agent 用户代理
&&&&7. 网站程序以及版本确认，网站后台扫描
&&&&8. 扫描端口等等 玩蛇网
二、黑客多线程扫描器的功能
本次玩蛇网Python之家图文教程和视频教程中，需要实现的Python扫描器的简单功能有:
&&&&1. 扫描（加快速度）
&&&&2. 模拟搜索引擎爬虫(User-Agent)
&&&&3. 使用代理服务器(大量代理IP切换抓取)
&&&&4. 扫描状态码、文件目录等返回
&&&&5. 过滤不需要的文件或目录等
&&&&6. 可以手动更改匹配扫描的字典
&&&&7. 可以做成带图形化界面的黑客工具，
如下图所示：(本节教程为终端版，以后会推出相应的GUI版)
三、测试多线程爬虫环境搭建
&&&&1. \Mac OS X\Windows均可
&&&&2. 、Python2.X/Python3.x
&&&&3. 本地搭建测试用开源Web程序或Blog程序 (玩蛇网教程环境: apache2 + php5 + wordpress)
&&&&4. 抓取匹配的列表、目录或漏洞文件字典(wordpress , zblog, dedecms等)
&&&&5. 确保本地网络与被扫描服务器之间是连通、稳定的
&&&&6. 注：建议在本地搭建测试环境，切勿扫描网络上面其它网站、服务器，此为非法行为！
&&&& 声明：本视频教程仅为、测试使用，请勿用于非法途径和行为，
&&&& 一切后果自负与玩蛇网与斯巴达本人无关！
四、黑客工具实战代码案例剖析
# -*- coding:utf-8 -*-
__author__=&&
import urllib2
import threading
import Queue
import time
import random
q = Queue.Queue() # Queue产生一个队列，有3种类型队列 默认用 FIFO队列
threading_num = 5 # 开启5个线程
# 扫描本地IP或域名
domain_name = &http://127.0.0.1&
# 百度蜘蛛UA
Baidu_spider = &Mozilla/5.0 ( Baiduspider/2.0; +/search/spider.html)&
# 不需要的文件过滤列表
exclude_list = ['.jpg', '.gif', '.css', '.png', '.js', '.scss']
proxy_list = [ # 代理服务器，可能已经失效，换为自己的
{'http': '117.28.254.130:8080'},
{'http': '118.144.177.254:3128'},
{'http': '113.118.211.152:9797'},
# 打开字典文件，开始过滤不需要的文件路径
with open(&/home/leo/app_txt/wordpress.txt& , &r&) as lines:
for line in lines:
line = line.rstrip()
if os.path.splitext(line)[1] not in exclude_list:
q.put(line) #将line传入到队列 q 中
# 扫描器方法
def crawler():
while not q.empty(): # 循环
path = q.get() 将line从队列 q 中取出来
url = &%s%s& % (domain_name, path) # 组合url地址，用于下一步提交
random_proxy = random.choice(proxy_list) # 随机使用一个代理服务器
proxy_support = urllib2.ProxyHandler(random_proxy)
opener = urllib2.build_opener(proxy_support)
urllib2.install_opener(opener)
headers = {}
headers['User-Agent'] = Baidu_spider # 蜘蛛的头部信息
request = urllib2.Request(url, headers=headers)
response = urllib2.urlopen(request)
content = response.read()
if len(content): # 内容不为空的情况下返回状态码、路径
print &Status [%s]
- path: %s& % (response.code, path)
response.close()
time.sleep(1) # 休息一会儿，防止速度过快连接数过大被封掉IP
except urllib2.HTTPError as e:
# print e.code, path
pass # 异常处理，先暂时pass掉
if __name__ == '__main__':
# 创建多线程并指明函数的入口为crawler，以后还可以传参进去
for i in range(threading_num):
t = threading.Thread(target=crawler)
&&&&# 上面代码，我们一共导入了6个模块都是接下来需要使用的功能模块，
&&&&# os作用是对我们不需要扫描的后缀名文件进行筛选， &&&&
&&&&# urllib2负责抓取，而threading就是我们的Python多线程模块， &&&&
&&&&# 这次还需要用到Queue这个保证线程安全的队列模块， &&&&
&&&&# 其它两个比较简单，一个是随机模块random，另一个时间模块time
五、本文相关资源下载
黑客工具_Python多线程爬虫抓取扫描器 Python全部源码下载：
本地高速下载：
源码大小：1.6KB
Python多线程爬虫抓取扫描器
此为Pyhton多线程扫描器视频课程的内容页面，稍后更新，
提供课程相关资源和Python源码的下载，和详细使用图文教程。
黑客工具、黑客客扫描器、端口扫描、免费网页网站扫描器
百度网盘下载地址：
由于视频教程时长有50分钟左右，所以视频分为两节发送。
Python多线程爬虫抓取扫描器&&上节
Python多线程爬虫抓取扫描器&&下节
有任何疑问和建议都可以在评论区留言，探讨。
[ 视频播放密码 ]：QQqun
站长推荐阅读相关内容:
玩蛇网文章，转载请注明出处和文章网址：/crawler/multithreading-crawler-scanner.html []
微信扫描下图可直接关注Python公众号】
玩蛇网Python QQ群，欢迎加入： ①
修订日期：日 - 17时37分55秒
发布自玩蛇网
我要分享到：
评论列表（网友评论仅供网友表达个人看法，并不表明本站同意其观点或证实其描述）
有任何疑问和建议都可以在评论区留言，探讨。 [ 视频播放密码 ]：QQqun
书中自有123
书中自有123
视频播放密码 ]：QQqun
视频播放密码 ]：QQqun
视频播放密码 ]：QQqun
视频播放密码 ]：QQqun
视频播放密码 ]：QQqun
视频播放密码 ]：QQqun
视频播放密码 ]：QQqun
视频播放密码 ]：QQqun
视频播放密码 ]：QQqun
百家互联跟谁学
视频播放密码 ]：QQqun
视频播放密码 ]：QQqun
视频播放密码 ]：QQqun
视频播放密码 ]：QQqun
视频播放密码 ]：QQqun
视频播放密码 ]：QQqun
小狐狸的蓝色桔梗花
ilove太阳花
郭文辉不会飞丶
谢谢楼主！
i@dashen.tech ，多谢楼主
朗月明风.海
御姐范司令
下载的压缩包，字典文件.txt怎么没有? 能发一份吗，邮箱：
学习学习，多谢
学习学习，多谢
一个书生的奋斗
没有西瓜怎么算夏天
求资源，拜托了。
Happy王子Le
求资源，拜托了
谢谢斯巴达，
高升 · Mr.Black
求资源，拜托了。
邮箱： 求资源
谢谢斯巴达。 邮箱
求资源，拜托了。
必知PYTHON教程
Must Know PYTHON Tutorials
必知PYTHON模块
Must Know PYTHON Modules
最新内容 NEWS
图文精华 RECOMMEND
热点文章 HOT
Navigation
玩蛇网Python之家，简称玩蛇网，是一个致力于推广python编程技术、程序源码资源的个人网站。站长 斯巴达 是一位 长期关注 软件、互联网、服务器与各种开发技术的Python爱好者，建立本站旨在与更多朋友分享派森编程的乐趣！
本站团队成员： 斯巴达
欢迎加入团队...[python爬虫]使用python爬虫抓站的一些技巧总结：进阶篇
· · · ·
您当前的位置： → [python爬虫]使用python爬虫抓站的一些技巧总结：进阶篇
[python爬虫]使用python爬虫抓站的一些技巧总结：进阶篇
篇一 : 使用python爬虫抓站的一些技巧总结：进阶篇from&/?p=753以前写过一篇使用python爬虫抓站的一些技巧总结，总结了诸多爬虫使用的方法；那篇东东现在看来还是挺有用的，但是当时很菜（现在也菜，但是比那时进步了不少），很多东西都不是很优，属于&只是能用&这么个层次。[］这篇进阶篇打算把&能用&提升到&用得省事省心&这个层次。一、gzip/deflate支持&现在的网页普遍支持gzip压缩，这往往可以解决大量传输时间，以VeryCD的主页为例，未压缩版本247K，压缩了以后45K，为原来的1/5。这就意味着抓取速度会快5倍。然而python的urllib/urllib2默认都不支持压缩，要返回压缩格式，必须在request的header里面写明&accept-encoding&，然后读取response后更要检查header查看是否有&content-encoding&一项来判断是否需要解码，很繁琐琐碎。如何让urllib2自动支持gzip, defalte呢？其实可以继承BaseHanlder类，然后build_opener的方式来处理：import urllib2
from gzip import GzipFile
from StringIO import StringIO
class ContentEncodingProcessor(urllib2.BaseHandler):
"""A handler to add gzip capabilities to urllib2 requests """&# add headers to requests
def http_request(self, req):
req.add_header("Accept-Encoding", "gzip, deflate")
return req&# decode
def http_response(self, req, resp):
old_resp = resp
if resp.headers.get("content-encoding") == "gzip":
gz = GzipFile(
fileobj=StringIO(resp.read()),
resp = urllib2.addinfourl(gz, old_resp.headers, old_resp.url, old_resp.code)
resp.msg = old_resp.msg
if resp.headers.get("content-encoding") == "deflate":
gz = StringIO( deflate(resp.read()) )
resp = urllib2.addinfourl(gz, old_resp.headers, old_resp.url, old_resp.code)
# 'class to add info() and
resp.msg = old_resp.msg
return resp&# deflate support
import zlib
def deflate(data):
# zlib only provides the zlib compress format,&no
# so on top of all there's this workaround:
return zlib.decompress(data, -zlib.MAX_WBITS)
except zlib.error:
return zlib.decompress(data)然后就简单了，encoding_support = ContentEncodingProcessor
opener = urllib2.build_opener( encoding_support, urllib2.HTTPHandler )&#直接用opener打开网页，如果服务器支持gzip/defalte则自动解压缩
content = opener.open(url).read()二、更方便地多线程总结一文的确提及了一个简单的多线程模板，但是那个东东真正应用到程序里面去只会让程序变得支离破碎，不堪入目。在怎么更方便地进行多线程方面我也动了一番脑筋。先想想怎么进行多线程调用最方便呢？1、用twisted进行异步I/O抓取事实上更高效的抓取并非一定要用多线程，也可以使用异步I/O法：直接用twisted的getPage方法，然后分别加上异步I/O结束时的callback和errback方法即可。例如可以这么干：from twisted.web.client import getPage
from twisted.internet import reactor&links = [ '/topics/%d/'%i for i in range() ]&def parse_page(data,url):
print len(data),url&def fetch_error(error,url):
print error.getErrorMessage(),url&# 批量抓取链接
for url in links:
getPage(url,timeout=5) \
.addCallback(parse_page,url) \ #成功则调用parse_page方法
.addErrback(fetch_error,url)
#失败则调用fetch_error方法&reactor.callLater(5, reactor.stop) #5秒钟后通知reactor结束程序
reactor.run()twisted人如其名，写的代码实在是太扭曲了，非正常人所能接受，虽然这个简单的例子看上去还好；每次写twisted的程序整个人都扭曲了，累得不得了，文档等于没有，必须得看源码才知道怎么整，唉不提了。如果要支持gzip/deflate，甚至做一些登陆的扩展，就得为twisted写个新的HTTPClientFactory类诸如此类，我这眉头真是大皱，遂放弃。有毅力者请自行尝试。这篇讲怎么用twisted来进行批量网址处理的文章不错，由浅入深，深入浅出，可以一看。2、设计一个简单的多线程抓取类还是觉得在urllib之类python&本土&的东东里面折腾起来更舒服。试想一下，如果有个Fetcher类，你可以这么调用f = Fetcher(threads=10) #设定下载线程数为10
for url in urls:
f.push(url)
#把所有url推入下载队列
while f.taskleft(): #若还有未完成下载的线程
content = f.pop()
#从下载完成队列中取出结果
do_with(content) # 处理content内容这么个多线程调用简单明了，那么就这么设计吧，首先要有两个队列，用Queue搞定，多线程的基本架构也和&技巧总结&一文类似，push方法和pop方法都比较好处理，都是直接用Queue的方法，taskleft则是如果有&正在运行的任务&或者&队列中的任务&则为是，也好办，于是代码如下：import urllib2
from threading import Thread,Lock
from Queue import Queue
import time&class Fetcher:
def __init__(self,threads):
self.opener = urllib2.build_opener(urllib2.HTTPHandler)
self.lock = Lock() #线程锁
self.q_req = Queue() #任务队列
self.q_ans = Queue() #完成队列
self.threads = threads
for i in range(threads):
t = Thread(target=self.threadget)
t.setDaemon(True)
self.running = 0&def __del__(self): #解构时需等待两个队列完成
time.sleep(0.5)
self.q_req.join()
self.q_ans.join()&def taskleft(self):
return self.q_req.qsize()+self.q_ans.qsize()+self.running&def push(self,req):
self.q_req.put(req)&def pop(self):
return self.q_ans.get()&def threadget(self):
while True:
req = self.q_req.get()
with self.lock: #要保证该操作的原子性，进入critical area
self.running += 1
ans = self.opener.open(req).read()
except Exception, what:
print what
self.q_ans.put((req,ans))
with self.lock:
self.running -= 1
self.q_req.task_done()
time.sleep(0.1) # don't spam&if __name__ == "__main__":
links = [ '/topics/%d/'%i for i in range() ]
f = Fetcher(threads=10)
for url in links:
f.push(url)
while f.taskleft():
url,content = f.pop()
print url,len(content)扩展：python爬虫进阶 / python爬虫技巧 / 爬虫进阶三、一些琐碎的经验1、连接池：opener.open和urllib2.urlopen一样，都会新建一个http请求。通常情况下这不是什么问题，因为线性环境下，一秒钟可能也就新生成一个请求；然而在多线程环境下，每秒钟可以是几十上百个请求，这么干只要几分钟，正常的有理智的服务器一定会封禁你的。然而在正常的html请求时，保持同时和服务器几十个连接又是很正常的一件事，所以完全可以手动维护一个HttpConnection的池，然后每次抓取时从连接池里面选连接进行连接即可。这里有一个取巧的方法，就是利用squid做代理服务器来进行抓取，则squid会自动为你维护连接池，还附带数据缓存功能，而且squid本来就是我每个服务器上面必装的东东，何必再自找麻烦写连接池呢。2、设定线程的栈大小栈大小的设定将非常显著地影响python的内存占用，python多线程不设置这个值会导致程序占用大量内存，这对openvz的vps来说非常致命。stack_size必须大于32768，实际上应该总要32768*2以上from threading import stack_size
stack_size(32768*16)3、设置失败后自动重试def get(self,req,retries=3):
response = self.opener.open(req)
data = response.read()
except Exception , what:
print what,req
if retries&0:
return self.get(req,retries-1)
print 'GET Failed',req
return data4、设置超时import socket
socket.setdefaulttimeout(10) #设置10秒后连接超时5、登陆登陆更加简化了，首先build_opener中要加入cookie支持，参考&总结&一文；如要登陆VeryCD，给Fetcher新增一个空方法login，并在__init__()中调用，然后继承Fetcher类并override login方法：def login(self,username,password):
import urllib
data=urllib.urlencode({'username':username,
'password':password,
'continue':'/',
'login_submit':u'登录'.encode('utf-8'),
'save_cookie':1,})
url = '/signin'
self.opener.open(url,data).read()于是在Fetcher初始化时便会自动登录VeryCD网站。四、总结如此，把上述所有小技巧都糅合起来就和我目前的私藏最终版的Fetcher类相差不远了，它支持多线程，gzip/deflate压缩，超时设置，自动重试，设置栈大小，自动登录等功能；代码简单，使用方便，性能也不俗，可谓居家旅行，杀人放火，咳咳，之必备工具。之所以说和最终版差得不远，是因为最终版还有一个保留功能&马甲术&：多代理自动选择。看起来好像仅仅是一个random.choice的区别，其实包含了代理获取，代理验证，代理测速等诸多环节，这就是另一个故事了。posted @
23:16 Morya 阅读(357) 评论(0)编辑【转帖】用python爬虫抓站的一些技巧总结from&/?p=476学用python也有3个多月了，用得最多的还是各类爬虫脚本：写过抓代理本机验证的脚本，写过在discuz论坛中自动登录自动发贴的脚本，写过自动收邮件的脚本，写过简单的验证码识别的脚本，本来想写google music的抓取脚本的，结果有了强大的gmbox，也就不用写了。-这些脚本有一个共性，都是和web相关的，总要用到获取链接的一些方法，再加上simplecd这个半爬虫半网站的项目，累积不少爬虫抓站的经验，在此总结一下，那么以后做东西也就不用重复劳动了。&-1.最基本的抓站import urllib2
content = urllib2.urlopen('http://XXXX').read()-2.使用代理服务器这在某些情况下比较有用，比如IP被封了，或者比如IP访问的次数受到限制等等。import urllib2
proxy_support = urllib2.ProxyHandler({'http':'http://XX.XX.XX.XX:XXXX'})
opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler)
urllib2.install_opener(opener)
content = urllib2.urlopen('http://XXXX').read()-3.需要登录的情况登录的情况比较麻烦我把问题拆分一下：-3.1 cookie的处理import urllib2, cookielib
cookie_support= urllib2.HTTPCookieProcessor(cookielib.CookieJar())
opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)
urllib2.install_opener(opener)
content = urllib2.urlopen('http://XXXX').read()是的没错，如果想同时用代理和cookie，那就加入proxy_support然后operner改为opener = urllib2.build_opener(proxy_support, cookie_support, urllib2.HTTPHandler)-3.2 表单的处理登录必要填表，表单怎么填？首先利用工具截取所要填表的内容比如我一般用firefox+httpfox插件来看看自己到底发送了些什么包这个我就举个例子好了，以verycd为例，先找到自己发的POST请求，以及POST表单项：-可以看到verycd的话需要填username,password,continueURI,fk,login_submit这几项，其中fk是随机生成的（其实不太随机，看上去像是把epoch时间经过简单的编码生成的），需要从网页获取，也就是说得先访问一次网页，用正则表达式等工具截取返回数据中的fk项。continueURI顾名思义可以随便写，login_submit是固定的，这从源码可以看出。还有username，password那就很显然了。扩展：python爬虫进阶 / python爬虫技巧 / 爬虫进阶-好的，有了要填写的数据，我们就要生成postdataimport urllib
postdata=urllib.urlencode({
'username':'XXXXX',
'password':'XXXXX',
'continueURI':'/',
'login_submit':'登录'
})-然后生成http请求，再发送请求：req = urllib2.Request(
url = '/signin/*//',
data = postdata
result = urllib2.urlopen(req).read()-3.3 伪装成浏览器访问某些网站反感爬虫的到访，于是对爬虫一律拒绝请求这时候我们需要伪装成浏览器，这可以通过修改http包中的header来实现#&headers = {
'User-Agent':'Mozilla/5.0 (W U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/ Firefox/3.5.6'
req = urllib2.Request(
url = '/signin/*//',
data = postdata,
headers = headers
#...-3.4 反&反盗链&某些站点有所谓的反盗链设置，其实说穿了很简单，就是检查你发送请求的header里面，referer站点是不是他自己，所以我们只需要像3.3一样，把headers的referer改成该网站即可，以黑幕著称地cnbeta为例：#...
headers = {
'Referer':'/articles'
#...headers是一个dict数据结构，你可以放入任何想要的header，来做一些伪装。例如，有些自作聪明的网站总喜欢窥人隐私，别人通过代理访问，他偏偏要读取header中的X-Forwarded-For来看看人家的真实IP，没话说，那就直接把X-Forwarde-For改了吧，可以改成随便什么好玩的东东来欺负欺负他，呵呵。-3.5 终极绝招有时候即使做了3.1-3.4，访问还是会被据，那么没办法，老老实实把httpfox中看到的headers全都写上，那一般也就行了。再不行，那就只能用终极绝招了，selenium直接控制浏览器来进行访问，只要浏览器可以做到的，那么它也可以做到。类似的还有pamie，watir，等等等等。-4.多线程并发抓取单线程太慢的话，就需要多线程了，这里给个简单的线程池模板这个程序只是简单地打印了1-10，但是可以看出是并发地。from threading import Thread
from Queue import Queue
from time import sleep
#q是任务队列
#NUM是并发线程总数
#JOBS是有多少任务
q = Queue()
#具体的处理函数，负责处理单个任务
def do_somthing_using(arguments):
print arguments
#这个是工作进程，负责不断从队列取数据并处理
def working():
while True:
arguments = q.get()
do_somthing_using(arguments)
q.task_done()
#fork NUM个线程等待队列
for i in range(NUM):
t = Thread(target=working)
t.setDaemon(True)
#把JOBS排入队列
for i in range(JOBS):
#等待所有JOBS完成
q.join()5.验证码的处理碰到验证码咋办？这里分两种情况处理：-1.google那种验证码，凉拌-2.简单的验证码：字符个数有限，只使用了简单的平移或旋转加噪音而没有扭曲的，这种还是有可能可以处理的，一般思路是旋转的转回来，噪音去掉，然后划分单个字符，划分好了以后再通过特征提取的方法(例如PCA)降维并生成特征库，然后把验证码和特征库进行比较。这个比较复杂，一篇博文是说不完的，这里就不展开了，具体做法请弄本相关教科书好好研究一下。-3.事实上有些验证码还是很弱的，这里就不点名了，反正我通过2的方法提取过准确度非常高的验证码，所以2事实上是可行的。-6.总结基本上我遇到过的所有情况，用以上方法都顺利解决了，不太清楚还有没有其他漏掉的情况，所以本文到这里就完成了，以后要是碰上其他情况，再补充相关方法好了：）本文后续见： /?p=753posted @
23:15 Morya 阅读(81) 评论(0)编辑python urllib2 httplib HTTPConnectioncopy from python基于http协议编程：httplib,urllib和urllib2(转) 20:47httplib实现了HTTP和HTTPS的客户端协议，一般不直接使用，在python更高层的封装模块中（urllib,urllib2）使用了它的http实现。import&httplibconn&=&httplib.HTTPConnection("")conn.request('get',&'/')print&conn.getresponse().read()conn.close()httplib.HTTPConnection ( host [ , port [ , strict [ , timeout ]]] )&&&&&&HTTPConnection类的构造函数，表示一次与服务器之间的交互，即请求/响应。参数host表示服务器主机，如：http://www.csdn.net/；port为端口号，默认值为80； 参数strict的 默认值为false， 表示在无法解析服务器返回的状态行时( status line) （比较典型的状态行如： HTTP/1.0 200 OK ），是否抛BadStatusLine 异常；可选参数timeout 表示超时时间。HTTPConnection提供的方法：HTTPConnection.request ( method , url [ , body [ , headers ]] )调用request 方法会向服务器发送一次请求，method 表示请求的方法，常用有方法有get 和post ；url 表示请求的资源的url ；body 表示提交到服务器的数据，必须是字符串（如果method 是&post& ，则可以把body 理解为html 表单中的数据）；headers 表示请求的http 头。HTTPConnection.getresponse ()获取Http 响应。返回的对象是HTTPResponse 的实例，关于HTTPResponse 在下面 会讲解。扩展：python爬虫进阶 / python爬虫技巧 / 爬虫进阶HTTPConnection.connect ()连接到Http 服务器。HTTPConnection.close ()关闭与服务器的连接。HTTPConnection.set_debuglevel ( level )设置高度的级别。参数level 的默认值为0 ，表示不输出任何调试信息。httplib.HTTPResponseHTTPResponse表示服务器对客户端请求的响应。往往通过调用HTTPConnection.getresponse()来创建，它有如下方法和属性：HTTPResponse.read([amt])获取响应的消息体。如果请求的是一个普通的网页，那么该方法返回的是页面的html。可选参数amt表示从响应流中读取指定字节的数据。HTTPResponse.getheader(name[, default])获取响应头。Name表示头域(header field)名，可选参数default在头域名不存在的情况下作为默认值返回。HTTPResponse.getheaders()以列表的形式返回所有的头信息。HTTPResponse.msg获取所有的响应头信息。HTTPResponse.version获取服务器所使用的http协议版本。11表示http/1.1；10表示http/1.0。HTTPResponse.status获取响应的状态码。如：200表示请求成功。HTTPResponse.reason返回服务器处理请求的结果说明。一般为&OK&下面通过一个例子来熟悉HTTPResponse中的方法：import httplibconn = httplib.HTTPConnection("", 80, False)conn.request('get', '/', headers = {"Host": "",&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&"User-Agent": "Mozilla/5.0 (W U; Windows NT 5.1; zh-CN; rv:1.9.1) Gecko/ Firefox/3.5",&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&"Accept": "text/plain"})res = conn.getresponse()print'version:', res.versionprint'reason:', res.reasonprint'status:', res.statusprint'msg:', res.msgprint'headers:', res.getheaders()#html#print '\n' + '-' * 50 + '\n'#print res.read()conn.close()Httplib模块中还定义了许多常量，如：Httplib. HTTP_PORT 的值为80，表示默认的端口号为80；Httplib.OK 的值为200，表示请求成功返回；Httplib. NOT_FOUND 的值为404，表示请求的资源不存在；可以通过httplib.responses 查询相关变量的含义，如：Print httplib.responses[httplib.NOT_FOUND] #not found更多关于httplib的信息，请参考Python手册httplib 模块。urllib 和urllib2实现的功能大同小异，但urllib2要比urllib功能等各方面更高一个层次。目前的HTTP访问大部分都使用urllib2.urllib2:req = urllib2.Request('')response = urllib2.urlopen(req)the_page = response.read()FTP同样：req&=&urllib2.Request('')urlopen返回的应答对象response有两个很有用的方法info()和geturl()geturl & 这个返回获取的真实的URL，这个很有用，因为urlopen(或者opener对象使用的)或许会有重定向。获取的URL或许跟请求URL不同。Data数据有时候你希望发送一些数据到URLpost方式：values&={'body'&:&'test short talk','via':'xxxx'}data&=&urllib.urlencode(values)req&=&urllib2.Request(url, data)get方式：data['name'] ='Somebody Here'data['location'] ='Northampton'data['language'] ='Python'url_values = urllib.urlencode(data)url ='/example.cgi'full_url = url +'?'+ url_valuesdata = urllib2.open(full_url)使用Basic HTTP Authentication:import urllib2# Create an OpenerDirector with support for Basic HTTP Authentication...auth_handler = urllib2.HTTPBasicAuthHandler()auth_handler.add_password(realm='PDQ Application',&&&&&&&&&&&&&&&&&&&&&&&&&&uri='/vecrty.py',&&&&&&&&&&&&&&&&&&&&&&&&&&user='user',&&&&&&&&&&&&&&&&&&&&&&&&&&passwd='pass')opener = urllib2.build_opener(auth_handler)# ...and install it globally so it can be used with urlopen.urllib2.install_opener(opener)urllib2.urlopen('http://www. /app.html')使用代理ProxyHandler：proxy_handler = urllib2.ProxyHandler({'http': ':3128/'})proxy_auth_handler = urllib2.HTTPBasicAuthHandler()proxy_auth_handler.add_password('realm', 'host', 'username', 'password')扩展：python爬虫进阶 / python爬虫技巧 / 爬虫进阶opener = build_opener(proxy_handler, proxy_auth_handler)# This time, rather than install the OpenerDirector, we use it directly:opener.open('')URLError&HTTPError:from urllib2 import Request, urlopen, URLError, HTTPErrorreq = Request(someurl)try:&&&&&response = urlopen(req)except HTTPError, e:&&&&&print'Error code: ', e.codeexcept URLError, e:&&&&&print'Reason: ', e.reasonelse:&&&&&&.............或者：from urllib2 import Request, urlopen, URLErrorreq = Request(someurl)try:&&&&&response = urlopen(req)except URLError, e:&&&&&if hasattr(e, 'reason'):&&&&&&&&&&&print'Reason: ', e.reason&&&&&elif hasattr(e, 'code'):&&&&&&&&&&&print'Error code: ', e.code&&&&&else:&&&&&&&&&&&.............通常，URLError在没有网络连接(没有路由到特定服务器),或者服务器不存在的情况下产生异常同样会带有&reason&属性，它是一个tuple，包含了一个错误号和一个错误信息req = urllib2.Request('')try:&&&urllib2.urlopen(req)except URLError, e:&&&print e.reason&&&print e.code&&&print e.read()最后需要注意的就是，当处理URLError和HTTPError的时候，应先处理HTTPError，后处理URLErrorOpeners和Handlers：opener使用操作器（handlers）。所有的重活都交给这些handlers来做。每一个handler知道怎么打开url以一种独特的url协议（http，ftp等等），或者怎么处理打开url的某些方面，如，HTTP重定向，或者HTTPcookie。默认opener有对普通情况的操作器 （handlers）- ProxyHandler, UnknownHandler, HTTPHandler,HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor.再看python API：Return an OpenerDirector instance, which chains the handlers in the order given这就更加证明了一点，那就是opener可以看成是一个容器，这个容器当中放的是控制器，默认的，容器当中有五个控制器，程序员也可以加入自己的控制器，然后这些控制器去干活。class HTTPHandler(AbstractHTTPHandler):&&&&def http_open(self, req):&&&&&&&&return self.do_open(httplib.HTTPConnection, req)&&&&http_request = AbstractHTTPHandler.do_request_HTTPHandler是Openers当中的默认控制器之一，看到这个代码，证实了urllib2是借助于httplib实现的，同时也证实了Openers和Handlers的关系。扩展：python爬虫进阶 / python爬虫技巧 / 爬虫进阶篇二 : Python高级爬虫之动态加载页面的解决方案与爬虫代理如果读者读过我前面的关于爬虫的文章，应该大概都清楚我们现在可以对一个静态的web页面”为所欲为“了，但是技术的发展总是没有止境的，仅仅是这样对静态页面处理远远不够，要知道现在很多的web页面有意无意为了防止静态爬虫使用ajax技术动态加载页面，这就导致了在面对这些网站的时候，我们前面的技术并不能起到什么很好的效果，所以，我在本系列文章开头就说了会提供动态加载网页的解决方案，在这篇文章里，笔者就在这里提出这个解决方案，用来解决以前我们没有办法的问题。0&01 动态页面解决方案Selenium+PhantomJSPython2（或Python3）
本文使用Python2.7.11Selenium
自动化web测试解决方案PhantomJS
一个没有图形界面的浏览器0&02 原理回顾对比讨论:讲selenium自动化测试技术应用于爬虫数据挖掘，其实我也是经历了一段时间的思考，有一些基础的朋友们可能会知道，BeautifulSoup这种完全基于静态的web页面分析是没有办法执行JS的，但是我们在使用web的过程中，基本不可能不用到JS脚本，当时我就想寻找一个JS引擎整合BeautifulSoup，然后计划使用Spidermonkey这个技术，如果需要这么做的话，我们会发现，我们不仅要用BeautifulSoup爬取页面的目标元素，而且还要考虑爬取JS脚本，在执行这些js脚本后，我们还需要再次分析这些脚本返回的数据或者是对HTML页面产生的影响，我觉得这样加大了太多的不确定因素，我们不想花太多的时间放在脚本编写上，既然选用Python，就要发挥它的巨大Pythonic的优势。然后还有一个解决方案就是Ghost.py,github主页。我想也许我们通过这个方案介绍的不仅仅是爬虫，也可能是一个新世界的大门，所以我还是选择selenium吧，web自动化测试的一整套解决方案。其实我们从BeautifulSoup的解决方案过度到selenium的方案就是一个思维上的“退步“的过程，从直接HTML解析-&分析JS-&webkit-&索性直接用headless浏览器来操作web页面的selenium。所以也就是说，我们接下来要讨论的selenium用于爬虫和以前学习的静态页面处理有着本质的区别，可以认为对我们来说是一个全新的技术。0&03 Quick Start在这里我们首先可以很负责任的说，通过以下的例子并不会让读者完全掌握selenium的使用，但是通过动手，大家可以了解到selenium是非常好用并且并不输于BeautifulSoup的(也许这两个并不是一个级别并不能比较)。但是可以说BeautifulSoup中的定位元素，在selenium中都可以做到，而且Selenium可以设置等待时间让页面完成加载，或者设置条件让web页面加载出我们所需要的数据然后再获取数据。下载与安装：首先我们需要下载要给PhantomJS浏览器from官网。然后安装selenium，使用easy_install或者pip都可以很方便的安装：1.easy_install selenium2.pip install selenium然后我们的第一个目标页面很简单，就是一个存在ajax的情况：页面如下：html&head&title&SomeJavaScript-loaded contenttitle&script src="/jquery-2.1.1.min.js"&script&head&body&div id="content"&This is some content that will appear on the page while it's loading. You don't care about scraping this.div&script&$.ajax({type: "GET",url: "loadedContent.php",success: function(response){setTimeout(function() {$('#content').html(response);}, 2000);}});function ajax_delay(str){setTimeout("str",2000);}script&body&html&我们简单看到这个web页面是使用ajax动态加载数据，GET请求LoadedContent.php然后把结果直接显示在content里。对于这样的方式我们并不需要太深入了解，总之我们只需要知道我们如果使用传统的方式获取，得到的就是上面的静态html而没有loadedContent.php中的内容。作为selenium的爬虫应用quickstart，我们没必要太深入讲解原理，我们需要把PhantomJS和python脚本放在同一个文件夹下，建立selenium_test.py文件夹然后输入selenium_test.py中的内容：#引入selenium中的webdriverfrom selenium import webdriverimport time#webdriver中的PhantomJS方法可以打开一个我们下载的静默浏览器。#输入executable_path为当前文件夹下的phantomjs.exe以启动浏览器driver =webdriver.PhantomJS(executable_path="phantomjs.exe")#使用浏览器请求页面driver.get("")#加载3秒，等待所有数据加载完毕time.sleep(3)#通过id来定位元素，#.text获取元素的文本数据print driver.find_element_by_id('content').text#关闭浏览器driver.close()建议大家先用传统的方法尝试一下这个页面，再使用上面的脚本来执行。观察两个结果有什么不同。当然，我这里明确说明：如果大家真的不想再学习selenium的定位元素，发送数据等操作了，其实也是没什么问题的。通过一个叫page_source的属性，我们完全可以获取当前整个页面的和html，然后再把页面传给BeautifulSoup，这样我们仍然可以使用BeautifulSoup进行解析。0&04 Webdriver API我们发现要使用selenium分析页面，导入的是webdriver，webdriver有很多易用的API：扩展：python 爬虫 动态加载 / python爬虫动态网页 / python 爬虫 动态页面定位元素，控制浏览器行为，刷新，web元素操作，模拟键盘鼠标事件，获得验证信息，设置等待时间，上传下载文件，调用javascript，窗口截图。我们写简单的爬虫可能要用得到的就是元素定位和设置等待时间，笔者在这里利用这两个特性再写一个例子供大家理解：爬取淘宝的商品信息我们爬取一个淘宝的页面，其实静态很难爬取，淘宝的反爬虫措施相当到位，我们可以先用最简单的方式尝试一下：import bs4import requestsr = requests.get("/search?q=surface&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.2-taobao-item.1&ie=utf8&initiative_id=tbindexz_")data = r.contentsoup = bs4.BeautifulSoup(data)for tag in soup.tagStack:print tag.encode('gbk','ignore')我们发现结果：同时我们发现，通过这种方式获得的html中是没有商品信息的。这样基本所有的静态方式都不可以使用了。但是selenium的办法是直接操作浏览器所以淘宝并不能挡得住这种数据搜集。我们先简单看一下能否获取到这个淘宝页面：from selenium import webdriverimport timedriver = webdriver.PhantomJS(executable_path="phantomjs.exe")driver.get("/search?q=surface&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.2-taobao-item.1&ie=utf8&initiative_id=tbindexz_")time.sleep(7)print driver.page_source.encode('gbk','ignore') #这个函数获取页面的htmldriver.get_screenshot_as_file("2.jpg") #获取页面截图print "Success To Create the screenshot & gather html"driver.close()我们还是轻松加愉快的拿到了商品信息，查看文件夹下的截图文件：2.jpg就是我们截图的文件，打开发现图片显然是没有加载出来的，实际的效果应该是全部图片都加载出来：放大即可看到高清的网页截图：这个时候我们有了html可以进行静态解析数据挖掘了。这里值得提一下的是，selenium注重对单个元素的操作，beautifulsoup注重对html页面的分析和数据分类处理，所以两者结合可以达到非常好的效果，但是大家在使用的过程中就会发现一个问题，使用selenium打开phantomjs的速度有点慢，当然大家还可以用firefox或者是chrome，这些都是selenium支持的。Have Fun！其实selenium还有各种各样神奇的功能，比如如果你要自动填写web应用的表单，selenium绝对比什么按键精灵好用的多的很。0&05 匿名爬虫有时候比较烦的是，我们使用爬虫来工作，某些情况下IP受限制，这造成了很大的麻烦，如果这个爬虫在服务器端的时候，也许还好，服务器可以提供多个可以选择的IP，但是作为一只家养的爬虫，IP被锁定以后，着实头疼。当然所谓的匿名爬虫也就是一种以匿名方式请求目标页面，然后获取到页面结果。0&06 匿名爬虫解决方案（from《webscraping with python》）Tor+PySocksTor的使用https://www.torproject.org/PySocks设置代理非selenium的匿名浏览设定使用方法：import socksimport socketfrom urllib.request import urlopen#假设tor在9999号端口启动socks.set_default_proxy(socks.SOCKS5, 'localhost', 9999)socket.socket = socks.socksocketprint urlopen('target_web').read()使用selenium的匿名方式：from selenium import webdriver#假定9999端口开启tor服务service_args = ['--proxy=localhost:9999', '--proxy-type=socks5', ]driver =webdriver.PhantomJS(executable_path="phantomjs.exe",service_args=service_args)driver.get("target_url")print driver.page_sourcedriver.close()0&07 完结总结本系列文章大概用了4篇（附：Python高级爬虫：（一）、（二）、（三））共上万字的篇幅和很多个有趣的例子来揭示了爬虫的各项技术，旨在向广大爱好者解释爬虫技术，也为需要用到爬虫的开发者提供了一些切实可行的解决方案，如果大家喜欢本系列文章，可以在评论区留下您的意见。如果问我有什么关于爬虫和web数据挖掘的入门书籍可以看，推荐《web scraping with python》和selenium之类的书籍可以供大家参考，这些书籍仅仅是入门，如果真的要设计一款商业的爬虫，每一个细节都要谨慎处理，算法，效率都是要考虑的问题。扩展：python 爬虫 动态加载 / python爬虫动态网页 / python 爬虫 动态页面篇三 : PHP, Python, Node.js 哪个比较适合写爬虫？[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？1.对页面的解析能力2.对数据库的操作能力（mysql）3.爬取效率4.代码量推荐语言时说明所需类库或者框架，谢谢。比如：python+MySQLdb+urllib2+reps:其实我不太喜欢用python(可能是在windows平台的原因，需要各种转字符编码，而且多线程貌似很鸡肋。)下面就看看小编为您搜集整理的参考答案吧。网友梁川对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：主要看你定义的“爬虫”干什么用。1、如果是定向爬取几个页面，做一些简单的页面解析，爬取效率不是核心要求，那么用什么语言差异不大。当然要是页面结构复杂，正则表达式写得巨复杂，尤其是用过那些支持xpath的类库/爬虫库后，就会发现此种方式虽然入门门槛低，但扩展性、可维护性等都奇差。因此此种情况下还是推荐采用一些现成的爬虫库，诸如xpath、多线程支持还是必须考虑的因素。2、如果是定向爬取，且主要目标是解析js动态生成的内容此时候，页面内容是有js/ajax动态生成的，用普通的请求页面-&解析的方法就不管用了，需要借助一个类似firefox、chrome浏览器的js引擎来对页面的js代码做动态解析。此种情况下，推荐考虑casperJS+phantomjs或slimerJS+phantomjs ，当然诸如selenium之类的也可以考虑。3、如果爬虫是涉及大规模网站爬取，效率、扩展性、可维护性等是必须考虑的因素时候大规模爬虫爬取涉及诸多问题：多线程并发、I/O机制、分布式爬取、消息通讯、判重机制、任务调度等等，此时候语言和所用框架的选取就具有极大意义了。PHP对多线程、异步支持较差，不建议采用。NodeJS：对一些垂直网站爬取倒可以，但由于分布式爬取、消息通讯等支持较弱，根据自己情况判断。Python：强烈建议，对以上问题都有较好支持。尤其是Scrapy框架值得作为第一选择。优点诸多：支持xpath；基于twisted，性能不错；有较好的调试工具；此种情况下，如果还需要做js动态内容的解析，casperjs就不适合了，只有基于诸如chrome V8引擎之类自己做js引擎。至于C、C++虽然性能不错，但不推荐，尤其是考虑到成本等诸多因素；对于大部分公司还是建议基于一些开源的框架来做，不要自己发明轮子，做一个简单的爬虫容易，但要做一个完备的爬虫挺难的。像我搭建的微信公众号内容聚合的网站就是基于Scrapy做的，当然还涉及消息队列等。可以参考下图：具体内容可以参考 一个任务调度分发服务的架构网友苏莉安对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：PHP和js天生不是干这个的；python有比较完善的框架，但我没用过不太清楚；不过nodejs倒是可以拿来谈谈，因为看知乎的数据就是用node抓的。估计和我一样在Windows开发、部署到linux服务器的人不少。nodejs在这时就有个很突出的优点：部署方便、跨平台几乎无障碍，相比之下python……简直让人脱层皮。解析页面用的是cheerio，全兼容jQuery语法，熟悉前端的话用起来爽快之极，再也不用折腾烦人的正则了；操作数据库直接用mysql这个module就行，该有的功能全有；爬取效率么，其实没有真正做过压力测试，因为我抓的是知乎，线程稍多一点瓶颈就跑到带宽上。而且它也不是真多线程而是异步，最后带宽全满（大约几百线程、10MB/s左右）时，CPU也不过50%左右，这还只是一个linode最低配主机的CPU。况且平时我限制了线程和抓取间隔，简直不怎么消耗性能；最后是代码，异步编程最头疼的是掉进callback地狱，根据自己实际情况写个多线队列的话，也不比同步编程麻烦太多就是了。网友林灿斌对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：写爬虫我用过PHP、Python，JS写爬虫还没见过，Node.js不了解。PHP写爬虫还好，我写过一个，用PHP Command Line下运行。用Curl_multi 50线程并发，一天能抓大概60万页，依网速而定，我是用的校园网所以比较快，数据是用正则提取出来的。Curl是比较成熟的一个lib，异常处理、http header、POST之类都做得很好，重要的是PHP下操作MySQL进行入库操作比较省心。不过在多线程Curl（Curl_multi）方面，对于初学者会比较麻烦，特别是PHP官方文档在Curl_multi这方面的介绍也极为模糊。Python写爬虫一个最大的好处是比较傻瓜，Requests之类的lib功能上和Curl相当，但是如果只是做简单的爬虫，易用性比较好，而且有Beautiful Soup这样的傻瓜lib，确实是非常适合用来做爬虫。不过编码可能的确是个令初学者头疼的问题，我觉得PHP可能还更好一点，事实上如果不是团队要求，我自己做着玩的爬虫，我都是用PHP写的。JavaScript我觉得像一个在虚拟机里的虚拟机，抛开性能不谈。它首先是在一个沙箱里跑的，对于操作数据库或者本地文件，会比较麻烦，没有原生接口，我因为没用过这个做爬虫，也没去研究过有什么其他方案。对于DOM树的解析，除了效率比较低下，内存占用也比较大。跨域的话，虽然在Chrome下可以通过 --disable-web-security来禁用，不过也是一件麻烦事。总之JS要写爬虫，麻烦事是一大堆。我是没见过有人拿这个写爬虫的。Node.js 我是真的没有用过。1.对页面的解析能力基本没区别，大家都支持正则，不过Python有些傻瓜拓展，用起来会方便很多；2.对数据库的操作能力的话，PHP对MySQL有原生支持，Python需要添加MySQLdb之类的lib，不过也不算麻烦；3.爬取效率的话，都支持多线程，效率我倒是没感觉有什么区别，基本上瓶颈只在网络上了。不过严谨的测试我没做过，毕竟我没有用多种语言实现同一种功能的习惯，不过我倒是感觉PHP好像还要快一些？4.代码量的话，爬虫这种简单的东西基本没什么区别，几十行的事，如果加上异常处理也就百来行，或者麻烦点异常的Mark下来，等下重爬等等的处理，也就几百行，大家都没什么区别。不过Python如果不把lib算进去的话显然是最少的。说到性能的话，爬虫和性能基本不搭边，是不用考虑的事情。在我开爬虫的时候，将近30Mbps的爬取效率下，用PHP Command Line做的爬虫，CPU占用也不过3-5%，内存消耗大概15-20MiB（Core 2 Duo P8700——有些历史的老U了，爬虫是50线程，每个线程含10个正则提取、1个JSON解析、2个数据库Insert操作 (百万级别数据的IF NOT EXIST )、40个左右的各种异常判断）——瓶颈应该只有网络。在你没G口的情况下，不用管什么性能，随便挑一个都一样，自己熟悉的就好。我开爬虫那几天，大概爬了270GiB左右的数据。我开爬虫那几天，大概爬了270GiB左右的数据。网友蝙蝠Neeke对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：python更适宜写spider网友李健富对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：python中scrapy，非常好用的一个爬虫框架网友Saviio对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：稍微谈谈我的使用感受，PHP不会，用过Python和Node.js。简单的定向爬取：Python + urlib2 + RegExp + bs4 或者Node.js + co，任一一款dom框架或者html parser + Request + RegExp 撸起来也是很顺手。对我来说上面两个选择差不多是等价的，但主要我JS比较熟，现在选择Node平台会多一些。上规模的整站爬取：Python + Scrapy如果说上面两个方案里DIY 的 spider是小米加步枪，那Scrapy简直就是重工加农炮，好用到不行，自定义爬取规则，http错误处理，XPath，RPC，Pipeline机制等等等。而且，由于Scrapy是基于Twisted实现的，所以同时兼顾有非常好的效率，相对来说唯一的缺点就是安装比较麻烦，依赖也比较多，我还算是比较新的osx，一样没办法直接pip install scrapy另外如果在spider中引入xpath的话，再在chrome上安装xpath的插件，那么解析路径一目了然，开发效率奇高。网友蒙面大侠对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：python你列的其他3个，适合的应用场景都不对。网友杨捷对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：我用 PHP Node.js Python 写过抓取脚本，简单谈一下吧。首先PHP。先说优势：网上抓取和解析html的框架一抓一大把，各种工具直接拿来用就行了，比较省心。缺点：首先速度/效率很成问题，有一次下载电影海报的时候，由于是crontab定期执行，也没做优化，开的php进程太多，直接把内存撑爆了。然后语法方面也很拖沓，各种关键字 符号 太多，不够简洁，给人一种没有认真设计过的感觉，写起来很麻烦。Node.js。优点是效率、效率还是效率，由于网络是异步的，所以基本如同几百个进程并发一样强大，内存和CPU占用非常小，如果没有对抓取来的数据进行复杂的运算加工，那么系统的瓶颈基本就在带宽和写入MySQL等数据库的I/O速度。当然，优点的反面也是缺点，异步网络代表你需要callback，这时候如果业务需求是线性了，比如必须等待上一个页面抓取完成后，拿到数据，才能进行下一个页面的抓取，甚至多层的依赖关系，那就会出现可怕的多层callback！基本这时候，代码结构和逻辑就会一团乱麻。当然可以用Step等流程控制工具解决这些问题。最后说Python。如果你对效率没有极端的要求，那么推荐用Python！首先，Python的语法很简洁，同样的语句，可以少敲很多次键盘。然后，Python非常适合做数据的处理，比如函数参数的打包解包，列表解析，矩阵处理，非常方便。自己最近也在弄一个Python的数据抓取处理工具包，还在修改完善中，欢迎star：yangjiePro/cutout - GitHub网友韩天峰对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：小公司用PHP，大公司用C++。PHP写的内容抓取程序太多了，网上一大堆。网友朱峰对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：python有scapy，专门用来做爬虫的一个框架网友王景山对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：话说。。我用php做的爬虫。。。python也用过，可能是因为数据量小，基本上感觉不到太大的区别，估计上万的页面能体现出来比较大的差别吧网友金链大汉对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：python urllib beautsoup gevent 做过优酷视频爬取网友西瓜IN对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：果断python，c++也ok网友Yh zhu对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：用过Python+urllib+re，爬取过小网站，也多进程爬取大网站（百万页面以上，大概2-3天）。网友hellocode对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：有过一点Node爬虫的经验。Node的优势在于HTML解析和异步IO。如果你用惯了jQuery，那么可以很方便地在Node中找到替代品，解析网页时很轻轻松的。异步IO的好处也是明显的，不用考虑多线程什么的，不用什么强大的库，拿起来就可以用。（当然还是要注意并发的，毕竟爬取频率会有限制）网友蒙面大侠对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：建议使用Python，多线程的方面会非常爽。曾经使用Python写过8大音乐网站的抓取程序，所以可以很笃定的建议你。网友周立对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：有没有nodejs爬虫教程，给我推荐一下网友Biscuit Linux对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：没人用Java吗？……网友口味虾对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：这几个语言都试过，但我还是选择AAUTO，代码简洁，功能强大，很方便生成exe分发。网友回笼觉教主对[js什么意思]PHP, Python, Node.js 哪个比较适合写爬虫？给出的答复：nodejs， 异步多线程
上一篇文章：
下一篇文章：
本文标题：[python爬虫]使用python爬虫抓站的一些技巧总结：进阶篇&版权说明
文章标题： 文章地址：
1、《[python爬虫]使用python爬虫抓站的一些技巧总结：进阶篇》一文由262阅读网（）网友提供，版权归原作者本人所有，转载请注明出处！
2、转载或引用本网内容必须是以新闻性或资料性公共免费信息为使用目的的合理、善意引用，不得对本网内容原意进行曲解、修改，同时必须保留本网注明的"稿件来源"，并自负版权等法律责任。
3、对于不当转载或引用本网内容而引起的民事纷争、行政处理或其他损失，本网不承担责任。