一种Ajax网页内容的抓取方法及系统”专利   www.tecsoo.com下载

抓取AJAX网页的方法－Firefox组件，C#集成

现在AJAX的使用越来越广泛了，但是如果经常写网页抓取程序的人会发现，很多网页内容是通用AJAX进行加载的，实际抓取到的内容寥寥无几。

通过网络到处查找方法，发现用firefox浏览器能够正常把AJAX内容通过HTML呈现出来，那么是否意味着我们获取AJAX网页有希望了？

功夫不负有心人，进一步研究发现，firefox确实有一款C#组件，可以用C#集成到桌面程序中。

1）需要引用一个叫Skybound.Gecko.dll的文件。

2）此外还需要导入一个firefox支持的文件夹，代码如下：

Xpcom.Initialize(@”C:\xulrunner-1.9.1.14.en-US.win32.sdk\xulrunner-sdk\bin”);

xulrunner-1.9.1.14.en-US.win32.sdk这个文件夹比较大，压缩后都有二十多M，无法上传，可以去google一下，但是记得一定要搜这个名字，因为我试过其它的有些不能用。

3）直接指定URL就可以访问网站了，可以通过this.geckoWebBrowser1.Navigate(URL);来指定。还有很多功能，自己去发现吧。

如何抓取ajax加载的页面

ajax加载的页面，一般我们都是通过分析脚本和网络请求来有针对性的抓取采集页面，但是这个方法不太通用，每个页面都必须有针对性的写脚本抓取。 要想做的通用，只能通过浏览器上入手。windows上可以用程序调用IE的浏览器接口来获取页面document，还可以通过chrome或者 firefox插件形式来获取要采集的信息后post到服务器上。linux下可以通过phantomjs操纵webit来获取document的内容。
phantomjs项目地址 https://github.com/ariya/phantomjs/
phantomjs有好多优点：不依赖X，可以工作在文本模式下，官网里叫做headless;可以抓取页面截图;能监视网络传输；可以禁用图片加载；自定义cookie，自定义头信息等。

phantomjs编译安装：
sudo apt-get install build-essential chrpath git-core libssl-dev libfontconfig1-dev
git clone git://github.com/ariya/phantomjs.git
cd phantomjs
git checkout 1.8
./build.sh

由于源码里面带了webkit浏览器，所以编译时间比较长。
抓取天猫某商品示例

var page = require('webpage').create();
//id已经隐藏
page.open("http://detail.tmall.com/item.htm?id=xxxxxxxx", function (status) {
var shop = page.evaluate(function () {
return document.getElementById('shop-info').getElementsByTagName('h3')[0].innerText;
});
var title = page.evaluate(function () {
return document.getElementById('J_EditItem').parentNode.getElementsByTagName('a')[0].innerText;
});
var price = page.evaluate(function () {
return [document.getElementById("J_StrPrice").innerText, document.getElementById('J_PromoBox').getElementsByTagName('strong')[0].innerText];
});
console.log('店铺 ' + shop);
console.log('标题 ' + title);
console.log('价格 ' + price);
});

保存成test.js
执行 [phantomjs源码目录]/bin/phantomjs test.js,
输出结果：
店铺 xxx数码专营店
标题 包邮 优派KB855苹果G6造型笔记本 台式机IPAD iphone手机蓝牙键盘
价格 106.00,99.00

phanomjs还有nodejs的插件，可以用nodejs来控制，这样我们就可以把抓取的结果写入到nodejs支持的各种数据库中了。

scrapy抓取ajax请求的网页

在上一篇博客

http://zhouxi2010.iteye.com/blog/1450177

中介绍了用scrapy抓取网页,但是只能抓取普通html中的链接,对于ajax请求的网页却抓不到,但是实际应用中ajax请求又是十分普遍的,所以这里在记录下抓取ajax页面的方法.

仍然是spiders/book.py:

Java代码  

1. class BookSpider(CrawlSpider):
2.     …………….
3.     …………….
4.     …………….
5.     def parse_item(self, response):
6.         hxs = HtmlXPathSelector(response)
7.         item = BookItem()
8.         ……..
9.         ……….
10.         #这里url是虚构的,使用时需要修改
11.         url =  “http://test_url/callback.php?ajax=true”
12.         request =  Request(url, callback=self.parse_ajax)
13.         request.meta[‘item’] = item
14.         #这里将ajax的url找出来,然后够找请求,框架执行请求收到返回后再回调
15.         yield request
17.     def parse_ajax(self, response):
18.         data = response.body
19.         #这里写正则匹配或者选择XPathSelector获取需要捕获的数据,略
20.         ajaxdata = get_data(data)
22.         #由于返回可能是js,可以采用python来模拟js解释器,不过这里偷懒就用json来进行转换
23.         if ajaxdata:
24.             x = ‘{“data”: “‘ + ajaxdata.replace(‘\n’, ”) + ‘”}’
25.             ajaxdata = simplejson.loads(x)[‘data’]
26.         else:
27.             ajaxdata = ”
29.         item = response.meta[‘item’]
30.         item[‘ajaxdata’] = ajaxdata
31.         for key in item:
32.             if isinstance(item[key], unicode):
33.                 item[key] = item[key].encode(‘utf8’)
34.         #到这里一个Item的全部元素都抓齐了,所以返回item以供保存
35.         return item

网络爬虫如何抓取web2.0 Ajax页面

伴随着AJAX/Web2.0的流行，如何抓取Ajax页面成了搜索引擎急需解决的一个问题，因为Ajax颠覆了传统的纯HTTP请求/响应协议机制，如果搜索引擎依旧采用“爬”的机制，是无法抓取到AJAX页面的有效数据的。

AJAX，也就是Asychronous Javascript and XML，由于采用了Javascript驱动的异步请求/响应机制，以往的爬虫们缺乏Javascript语义上的理解，基本上是无法模拟触发 Javascript的异步调用并解析返回的异步回调逻辑和内容。

另外AJAX的应用中，Javascript会对DOM结构进行大量地变动,甚至页面所有的内容都是通过Javascript直接从服务器端读取并动态绘制出来.这个对于”习惯了”DOM结构相对不变的静态页面,简直是无法理解的.

由此可以看出,以往的爬虫是基于协议驱动的,而对于AJAX这样的技术，所需要的“爬虫”引擎必须是基于事件驱动的。要实现事件驱动，首先需要解决下面几点问题

●Javascript的交互分析和解释

●DOM事件的处理和解释分发

●动态DOM内容语义的抽取

至于具体如何去实现，个人觉得Crawling Ajax-driven Web 2.0 Applications这篇论文很有参考价值。有兴趣地可以研究研究。

自动滚屏抓取新浪微博

22

在上一篇博客

http://zhouxi2010.iteye.com/blog/1450177

中介绍了用scrapy抓取网页,但是只能抓取普通html中的链接,对于ajax请求的网页却抓不到,但是实际应用中ajax请求又是十分普遍的,所以这里在记录下抓取ajax页面的方法.

仍然是spiders/book.py:

Java代码  

1. class BookSpider(CrawlSpider):    
2.     …………….  
3.     …………….  
4.     …………….  
5.     def parse_item(self, response):    
6.         hxs = HtmlXPathSelector(response)    
7.         item = BookItem()    
8.         ……..  
9.         ……….  
10.         #这里url是虚构的,使用时需要修改  
11.         url =  “http://test_url/callback.php?ajax=true”  
12.         request =  Request(url, callback=self.parse_ajax)  
13.         request.meta[‘item’] = item  
14.         #这里将ajax的url找出来,然后够找请求,框架执行请求收到返回后再回调  
15.         yield request  
16.   
17.     def parse_ajax(self, response):  
18.         data = response.body  
19.         #这里写正则匹配或者选择XPathSelector获取需要捕获的数据,略  
20.         ajaxdata = get_data(data)  
21.   
22.         #由于返回可能是js,可以采用python来模拟js解释器,不过这里偷懒就用json来进行转换  
23.         if ajaxdata:  
24.             x = ‘{“data”: “‘ + ajaxdata.replace(‘\n’, ”) + ‘”}’  
25.             ajaxdata = simplejson.loads(x)[‘data’]  
26.         else:  
27.             ajaxdata = ”  
28.          
29.         item = response.meta[‘item’]  
30.         item[‘ajaxdata’] = ajaxdata  
31.         for key in item:  
32.             if isinstance(item[key], unicode):  
33.                 item[key] = item[key].encode(‘utf8’)  
34.         #到这里一个Item的全部元素都抓齐了,所以返回item以供保存  
35.         return item  

转载请注明：jinglingshu的博客 » 关于AJAX抓取页面的几篇文章