可以使用ForeSpider数据采集系统进行采集,正好新出了一个采集招投标网的教程,希望能够帮助到你:
l 采集网站
【场景描述】采集招标网上的所有的招标数据。
【源网站介绍】
招标网是招标采购领域的招投标资讯和招投标服务平台,为各级政府采购、招标代理机构、招标企业、供应商、采购业主提供强大的专业招标采购信息查询和相关招投标服务。
【使用工具】前嗅ForeSpider数据采集系统,免费下载:
ForeSpider免费版本下载地址www.forenose.com/view/forespider/view/download.html
【入口网址】http://www.bidchance.com/channel-userggcharge-1.html
【采集内容】
采集招标网上所有的招标数据。
【采集效果】如下图所示:
l 配置步骤
1. 新建采集任务
选择【采集配置】,点击任务列表右上方【+】号可新建采集任务,将采集入口地址填写在【采集地址】框中,【任务名称】自定义即可,点击下一步。
②关联模板,翻页链接关联自身模板,即模板01。
②发现列表链接的规律为http://www.bidchance.com/info-userggcharge-一串数字.html
使用地址过滤的方法,将列表链接过滤,如下图所示:
关联模板
④关联表单
Pubtime字段:
Text字段:
l 采集步骤
模板配置完成,采集预览没有问题后,可以进行数据采集。
①首先要建立采集数据表:
选择【数据建表】,点击【表单列表】中该模板的表单,在【关联数据表】中选择【创建】,表名称自定义,这里命名为【zhaobiao】(注意命名不能用数字和特殊符号),点击【确定】。创建完成,勾选数据表,并点击右上角保存按钮。
③采集中:
*本教程仅供学习交流,严禁用于商业用途!
前嗅简介
前嗅大数据,国内领先的研发型大数据专家,多年来致力于为大数据技术的研究与开发,自主研发了一整套从数据采集、分析、处理、管理到应用、营销的大数据产品。前嗅致力于打造国内第一家深度大数据平台!