3178?1442652658

【任务】 55服务器的自动ADSL拨号重置实现 正常


侯翔添加于 2015-08-21 14:34

采用python脚本调用shell命令的方式来实现,将每个站点的信息都写入配置xml配置文件中区,目前除了stackoverflow的站点的limit设置为2个小时,其余根据爬虫组的信息全部设置为24小时,每个一定的时间扫描数据库,得到每个站点爬虫的最新爬取时间,以当前时间减去最新的爬虫时间,当有一个站点的时间差大于limit时,触发自动重新拨号置换ip。

回复(4)
  • 0?1442652658
    伍名 8年前

    好的,效果不错!

  • 3178?1442652658
    侯翔 8年前

    > wangtao 写到: > 很好! > 你是人工的暂停爬虫进行测试的吗?还是说有爬虫真的被封了,所以重新拨号了 师兄,这个我是模拟ip被封了,就是将几个站点的时间限制调到最小,模拟一个站的爬虫被封了,这周我让志星调高频率,再测一下

  • 11?1648889181
    王涛 8年前

    很好! 你是人工的暂停爬虫进行测试的吗?还是说有爬虫真的被封了,所以重新拨号了

  • 3178?1442652658
    侯翔 8年前

    师兄这个是上个礼拜,ADSL重新拨号后没有重复的ip,下周我让志星把爬虫频率调高,在测试一周 Aug 23 05:23:14 crawergan pppd[11682]: local IP address 113.247.160.63 Aug 23 08:24:26 crawergan pppd[15113]: local IP address 222.244.249.157 Aug 23 11:25:38 crawergan pppd[18379]: local IP address 175.0.235.98 Aug 23 14:26:47 crawergan pppd[23422]: local IP address 61.186.114.252 Aug 23 17:27:58 crawergan pppd[27859]: local IP address 175.0.232.33 Aug 23 20:29:09 crawergan pppd[32329]: local IP address 175.8.168.29 Aug 23 23:30:45 crawergan pppd[4040]: local IP address 61.186.114.51 Aug 24 02:31:56 crawergan pppd[7318]: local IP address 175.12.218.215 Aug 24 05:33:10 crawergan pppd[10677]: local IP address 113.247.160.240 Aug 24 08:34:22 crawergan pppd[13771]: local IP address 175.12.219.169 Aug 24 11:35:34 crawergan pppd[18173]: local IP address 175.0.232.168 Aug 24 14:36:50 crawergan pppd[21926]: local IP address 175.0.131.5 Aug 24 17:38:06 crawergan pppd[25918]: local IP address 222.244.187.211 Aug 24 20:39:17 crawergan pppd[30071]: local IP address 175.8.171.216 Aug 24 23:40:35 crawergan pppd[2226]: local IP address 175.12.218.26 Aug 25 02:41:46 crawergan pppd[6585]: local IP address 175.12.219.52 Aug 25 05:44:17 crawergan pppd[10987]: local IP address 175.0.234.226 Aug 25 08:45:29 crawergan pppd[14785]: local IP address 222.244.163.139 Aug 25 11:46:42 crawergan pppd[18625]: local IP address 113.247.160.38 Aug 25 14:47:55 crawergan pppd[22175]: local IP address 113.247.181.192 Aug 25 17:49:08 crawergan pppd[26295]: local IP address 175.12.217.53 Aug 25 20:50:20 crawergan pppd[30554]: local IP address 175.8.171.186 Aug 25 23:51:33 crawergan pppd[2521]: local IP address 113.247.161.114 Aug 26 02:52:46 crawergan pppd[8534]: local IP address 175.0.131.225 Aug 26 05:53:59 crawergan pppd[13947]: local IP address 175.12.216.117 Aug 26 08:55:13 crawergan pppd[18151]: local IP address 175.8.140.39 Aug 26 11:56:30 crawergan pppd[21725]: local IP address 222.244.249.109 Aug 26 14:57:44 crawergan pppd[24950]: local IP address 175.8.208.154 Aug 26 17:58:58 crawergan pppd[29006]: local IP address 175.12.217.146 Aug 26 21:00:11 crawergan pppd[393]: local IP address 222.240.65.128 Aug 27 00:01:29 crawergan pppd[5090]: local IP address 175.0.131.201 Aug 27 03:02:44 crawergan pppd[9137]: local IP address 113.247.180.74 Aug 27 06:03:57 crawergan pppd[14204]: local IP address 222.244.163.137

0?1470885445
登录后可添加回复
  • 当前状态 正在解决
  • 选定优先级 正常
  • 指派给 侯翔
  • 里程碑 --
  • 开始日期 2015-08-21
  • 结束日期
  • 预计工时(H) 0.00 小时
  • 完成度 0%
  • 关联Commit

© Copyright 2007~2021 国防科技大学Trustie团队 & IntelliDE 湘ICP备 17009477号

问题和建议
还能输入50个字符 提交

加入QQ群

关注微信APP


×