标签：爬虫日志

站长分享：搭建爬虫日志分析自动化的流程

把爬虫分析完全自动化的系统搭建了起来。以后每天爬虫的数据自动发到邮箱中。大致流程：（均为linux系统）1.根据ua（这边假设为百度），将日志中的爬虫日志单独拆分到baidu.log（只存当天的，节约主服务器的空间）2.将baidu.log同步到另外日志分析服务器上，通过sftp下载3.根据日期重命名为{date}.log4.拆分出各种数据，输出到数据文件5.从数据文件中读取前X行，生成html代码6.通过formail发送到指定收件人。