本文将会涉及到织梦dedecms如何处理被采集页面含有分页以及如何使用简单的过滤规则。本文共分为三节:第一节,主要是介绍如何进入采集界面和新增采集节点中的第一步: 设置基本信息及网址索引页规则;第二节,主要是介绍新增采集节点中的第二步:设置字段获取规则;第三节,主要是介绍如何采集指定节点和如何导出采集内容。 下面进入第一节。 1.1进入采集节点管理界面如(图1)所示,在后台管理界面的主菜单中单击“采集”,然后单击“采集节点管理”,即可进入采集节点管理界面,如(图2)所示。
图1-后台管理界面
图2-采集节点管理界面
1.2. 增加新节点在采集节点管理界面中,单击左下角的“增加新节点”或者右上角的“添加新节点”(如图2),都可进入“选择内容模型”界面,如(图3)所示,
图3-选择内容模型界面
在“选择内容模型”界面的下拉列表框中,有“普通文章”和“图片集”可供选择。
根据被采集页面的类型,选择相应的内容模型。本文这里选择“图片集”,单击确定后,便可进入“新增采集节点:第一步设置基本信息及网址索引页规则”界面,如(图4)所示,
1.2.1 设置节点基本信息
图5-节点基本信息
如(图5)所示,这里只是介绍如何获取“目标页面编码”,对于其他的设定,可参见之前的文章。具体操作步骤: (a)打开被采集的目标页:http://www.zcool.com.cn/shows/;
(b)单击右键后选择“查看源文件”,找到“charset”, 如(图6)所示,
图6-查看源文件
其等号后面的代码就是所需填写的“编码格式”,这里是“utf-8”。
填写后,如(图7)所示,
图7-设置后的节点基本信息 检查无误后,进入下一步设置。 1.2.2 设置列表网址获取规则
图8-列表网址获取规则
如(图8)所示,这里是设置被采集的文章列表页的匹配规则。具体操作步骤: (a)首先,回到已打开的列表页,找到浏览器的URL地址栏中显示的网址和页面的换页部分。如(图9)和(图10)所示,
图9-浏览器的URL地址栏
图10-换页
(b)单击“2”,打开文章列表页的第二页,再次找到浏览器的URL地址栏中所显示的网址和页面的换页部分,如(图12)和(图13)所示,
图11-第二页的网址
图12-第二页的换页
(c)在已打开的列表页的第二页上面,单击(1),回到列表页的首页,这时页面的换页部分与之前的图10是相同的,然而浏览器的URL地址栏中所显示的网址与之前图9并不相同,如(图13)所示,
图13-第一页的网址
(d)由(b)和(c)可推知,这里被采集的列表页的网址所遵循规律为: http://www.zcool.com.cn/shows/0!0!0!200!(*)!1!0!0/。稳妥起见,请自行测试更多列表页。确定规律后,在“匹配网址”中,填入列表页所遵循的规律。
(e)最后,根据需要指定采集的页码或者规律数字,并设定其递增规律。
到这里,“列表网址获取规则”部分就设置结束了。最后结果,如(图14)所示,
图14-设置后的列表网址获取规则
确定正确后,进入下一步设置。 |