TBLEG
扫描微信账号

扫一扫微信二维码

(转载)利用webkit抓取动态网页和链接

2020-05-16 信息
区块链白皮书代写

做爬虫时候最头疼就是遇到一些动态加载页面或者是一些动态生成链接。

比如我们博客园就是个例子:

 

凤凰网评论链接也是一样:

今天我们就用Webkit来解决这个问题。

 

预备知识可以看一下我前面几篇文章,准备工作参照利用InjectedBundle定制自己Webkit(二)中客户端程序。

一切就绪之后我们开始!

 

首先介绍一些重要函数和回调

在创建一个Page之后我们可以设置一些回调函数,其中有一个是:

WKPageLoaderClient::didFinishDocumentLoadForFrame

全文阅读
文章关键词
函数
node
void
page
request
扫描关注微信账号

试试长按二维码加关注