凌晨两点十七分，我盯着后台那条“采集任务异常终止”的红色警报，手里的烟已经烧到了滤嘴，这是我用免费版杰奇CMS搭建的第三个月，书库刚过两万本，流量正往上爬，可采集系统像得了癫痫——要么抓回来的章节缺头少尾，要么干脆把整本书的目录全部冲掉，更气人的是，目标站最近换了皮肤,我的正则规则全成了废纸。
采集规则配置——别迷信“万能正则”
免费版杰奇CMS的极限求生，从采集崩溃到稳定日更的实战手记
我一度从论坛下载所谓的“通用采集规则”，结果抓回来十本有八本是乱码，后来学乖了，每接一个新站，先用“单本测试”模式，抓一本冷门书，看源码结构，关键点在于不要直接匹配正文，先抓列表页的章节href，用XPath定位到具体节点，再进详情页抓正文，手动改规则时，我在采集器里加了个“调试输出”，把抓回来的HTML原样打印出来，对着看标签闭合情况，有一次死活匹配不到正文，最后发现是目标站在正文前插了三个动态加载的div，我加了个“跳过前N个兄弟节点”的偏移量才解决。
目标站防采集——IP池和延时是救命稻草
那段时间，对方站每天下午四点准时把我的IP段封掉，我换上免费代理池，结果质量参差不齐，一会儿超时一会儿丢包，后来我索性写了个“伪装浏览器指纹”的小脚本，把User-Agent、Accept-Language、甚至Canvas指纹都加上随机扰动，最重要的是把采集速度压到每章间隔6-8秒，配合“随机停顿±3秒”的抖动,再也没有触发过验证码。
章节更新失败排查——先从日志里找“中间态”
当某本书连续三天不更新，别急着删规则，我一般先看“采集日志”里的HTTP状态码：如果是403，是IP问题；如果是200但内容是空，那就是页面结构变了；最麻烦的是“返回200但提示章节不存在”，这往往是目标站的CDN缓存问题，我会手动在浏览器无痕模式打开那个章节，看是否正常，如果正常，就在采集器里加一条“强制刷新缓存”的请求头，实在不行,就临时把这本书切换到备选源。
多采集源切换——按书分配优先级
我手里有五个备用源，但同一个书在不同源的更新速度不同，我建了个“源健康度表”，每周手动记录每个源的抓取成功率、平均响应时间、以及最近三天新章节的及时性，然后在杰奇的后台，给每本书绑定两个源：主源和副源，主源失败三次自动切换副源，副源如果也失败，就把书扔进“待人工处理”队列，我设置了一个“每日凌晨4点”的整合任务，把几个源里各自新抓到的章节去重合并,避免重复插入。
批量更新与自动采集——用“分时段+限流”代替全速
刚开始图省事，设置每天零点全量采集，结果主机CPU直接飙到100%，网站打开像蜗牛，后来改成“分时段模式”：凌晨2-5点采集重点书（那些追更读者多的），早上8-9点采集轻度内容，下午再跑一轮“修补”任务，专门抓那些之前失败的章节，每个时段并发数限制在3，内存占用控制在40%以内，另外我开了“自动发布”的延迟模式，新抓到的章节先进入草稿箱，等整本书的目录抓完整后再统一发布，避免读者看到“缺第108章”的尴尬。
内容清洗与排版优化——正则替换的进阶玩法 里残留的“请记住本站域名”、“手机用户请访问”这些尾巴，我写了一套三层清洗流程：第一层用正则去掉HTML标签外的碎文本；第二层把“全本小说网”、“笔下文学”之类的站点水印批量替换成空字符串；第三层处理特殊符号——比如把全角空格转半角，把连续三个以上的换行压缩成一个，对于章节标题，我统一用“第X章 + 空格 + 原标题”的格式，并在正文前自动插入“返回目录”的锚点链接，有一次发现目标站用图片代替文字，我加了OCR识别（用的免费tesseract），但识别率只有85%,后来干脆把那种源设为低优先级。
尾声：稳定运行的代价
我的免费版杰奇CMS已经连续运行了47天没有大事故，每天早上七点，我打开手机看一眼“采集统计”里的曲线：成功数、失败数、平均耗时，失败率控制在3%以内，新书入库速度从原来的每天50本提升到180本，昨天，一个书友私信我说：“你这书更新真准时，比隔壁站还快半小时。”我回了个笑脸，心里想的是：这半小时,是拿无数次凌晨爬起来调规则换来的。
但免费版终究有天花板——没有自动告警、没有负载均衡、数据库连接池小得可怜，等哪天书库超过五万本，也许我会考虑换付费版，不过在那之前，这堆手工调参的“土办法”，还能再撑一阵子，至少，当规则又崩了的那一刻，我能闭着眼睛在五分钟内定位问题,而不是对着后台发呆。
发表评论