加入收藏 | 设为首页 | 首页 | 站长论坛 | 站长空间 | 站长软件 | 站长工具 | 站长视频 | 站长电影 | 站长游戏 | 淘宝店铺 | 拍拍店铺 | 空间合租

字体:  

dedecms2007自动采集插件

stevenchen 发表于: 2008-5-29 10:55 来源: 站长论坛

简介:属于dedecms的一个辅助功能,在dedecms中设定好采集节点之后,规则都设定好,保证

在dedecms中能够正确采集到数据。这点很重要,因为我这个插件的采集程序就是dedecms的采

集程序,虽然有所改进,但是只是在一些小的细节上修改了一下,整体的采集程序还是和

dedecms一样的,一句话就是只要你在dedecms上能够采集到数据,那么这个自动采集更新的程

序就能够正确执行。

功能:根据dedecms中设定好的采集节点自动定时定点采集数据,采集好数据之后能够自动导

入到相关栏目之中,然后自动生成首页,栏目页,内容页。用一句话概括就是,只要你在

dedecms中设立好了采集节点之后,再从这个插件中配置一下相关参数,就可以不用管这个站

了,本程序会自动帮你每天按照你设定好的时间去更新你的站点。是不是很爽啊,省了很大的

事呢,呵呵,那么就请使用这个程序吧

特点:不限于dedecms的版本,3.x和4.0都可以使用,因为本程序不是单纯的调用dedecms的相

关文件,是完全从其采集程序中剥离出来自己成体系的一套程序,核心虽然是dedecms的,但

是改动了少量细节问题,使逻辑上更合理,修正了原来的一些小的问题。

打包文件介绍:
文件夾:
autogather-----全部的程序文件都在这个下面
cache---缓存配置文件,所有的每个采集节点的自动采集更新的配置信息都在这里
include---所有的核心的操作类,从dedecms中剥离出来的,可以独立成一个系统
templets---模板文件
img,upimg---使用到的一些图片文件

文件:
auto_gather.php----全部的自动采集更新的代码都在这个文件之中,是核心文件
autogather.log---日志文件,记录在自动采集更新的过程中发生的相关信息提示
base.css---样式表文件
co_autogather_main.php---在 dedecms中的配置列表文件
option_auto.php,option_auto_action.php----处理dedecms中的采集节点变成自动采集的代



程序使用说明:
1.首先下载文件包,解压缩在网站根目录下
2.然后到
3.然后进入到dedecms的后台,在辅助插件中的插件管理器中安装一个新插件

4.点击安装新插件,输入相关内容:
插件名称:自动采集更新
作者:(永远支持柏拉图的DEDE用户)
主程序文件:../autogather/co_autogather_main.php
目标框架:main
文件列表:留空

然后点击确定,将增加本插件到系统中。然后刷新左边的导航,将会在辅助插件栏中多了一个自动采集更新

6.点击左侧的自动采集更新,将显示出来你现在所有设定的采集点,你会发现在最右边有一个操作栏,有配置为自动采集和获取代码。
好,我们现在点击配置为自动采集,出来一个详细配置自动采集更新的参数窗口:


下面是详细的每个参数的说明:
采集后导出的目标栏目:采集之后要把数据导入到哪个栏目中
采集数据参数设置:采集数据时,每批采集多少条数据,采集的线程数,间隔时间多少秒(防刷新的站点需设置)
栏目导入数据参数设置:每批导入多少条
要更新的栏目:导入完数据之后,要更新的栏目
生成栏目参数设置:每批最大创建页数,也就是分批创建栏目页面的时候,每批要创建的页数
更新选项:更新栏目的所有页面:一次性全部更新完该栏目的所有页面,仅更新指定数量的页面:有的网站的列表文件太多,如果全部更新的话,耗费的时间会很长,所以这个参数可以设定仅更新前多少页。点击这个选项的话,下面会显示出来一个隐藏的文本框,更新前多少个页面,在这里设定更新的页数

是否更新子栏目:更新子级栏目,仅更新所选栏目
生成文档html参数设置:每批生成多少个内容页面文件

好了,设定好各项参数之后,点击保存配置,将生成一个配置文件到 cache文件夾中
7.点击获取代码
将会在下面出现一个文本框,里面就是获取的代码

把里面的代码拷贝出来。
8.建立一个html文件任意起名,不过建议取一个有意义的名义,这样以后配置多个自动采集点的时候,以便于区分
打开这个文件,把拷贝的代码粘贴到该文件中,保存该文件。
9. 在windows的计划任务中,建立一个计划任务,设定好要执行的时间。因为php只能做到这种方式,本来以前想考虑用discuz那种方式,只要网站前台有用户访问,那么就自动开始执行该程序,可是这样并不好,因为采集程序的执行时间都比较长,所以前台访客访问的 页面会一直显示正在打开中,浏览体验就不好了,所以只能借助windows的计划任务来做了。unix,linux也有类似的程序,这里就不多说了。
现在设定好了一个计划任务,到了规定的时间,就可以执行了。

说明1:因为该程序是在dedev3.1的环境中开发的,所以界面一直延用的是3.1的,所以在上面的图中,会感到颜色不搭调,请大家注意了。
说明2:因为程序从dedecms中完全剥离出来,所以有2个配置参数需要手工的修改一下
autogather/include/config_base.php中的$cfg_dbhost,$cfg_dbname,$cfg_dbuser,$cfg_dbpwd请修改成和你的系统一致的
autogather/include/config_hand.php中的$cfg_indexurl = '';请修改成和你的域名一致的比如:http://www.dedeplus.com
如果上面两处没有修改,那么本程序将不能运行。

上面主要介绍了插件如何安装,如果使用,下面主要是给大家演示一下该插件是如何自动采集数据更新数据的。
计划任务开始执行之后,就会自动弹出一个你设定好的那个html网页,这个页面将自动执行下面这些步骤

dedezdcj(1).rar
(2008-05-29 10:55:46, Size: 601 KB, Downloads: 2)