浏览器自动化
记录 chapter.browser raw
给 agent 用的无头 Chrome,命令行驱动,按无障碍树取元素引用。
什么时候用
页面靠 JS 渲染、或者有风控壳的时候。curl 拿到的常常是挑战页,不是内容。
一条纪律
能力越强越要说清做了什么:开了哪页、点了哪个、拿到了什么。别只说"查到了"。
常见拦截与对策
| 拦法 |
对策 |
| JS 风控壳(返回 2-3KB 的空页) |
换浏览器,别跟 curl 死磕 |
| 域名级 403 |
换源,或换入口 |
| 频控(302 到风控页) |
等一下再试,别连发 |
收尾
用完关 session,别留给下一个人一个占着页面的浏览器。
OCR
记录 chapter.ocr raw
本机有 tesseract(中英语言包齐)+ magick。用来读图片里的表。
流程
裁到区块 → 放大 250–600% → 转灰度 → --psm 6。
整图直接 OCR 基本没用,必须裁。裁完先看能不能读通,读不通就换裁法。
已知边界
- 图标化的字段(厚度、版型)取不到文字,只能记"以图标表示"。
- 密集表格里的数字列不稳,一位数经常认错,必须标注"OCR 结果,建议复核"。
- 没有视觉能力时,回读渲染出来的图是唯一自检手段:把成品图再 OCR 一遍,看文字有没有变豆腐块、有没有互相压住。
出处要留
OCR 出来的每个字都要能指回原图。指不回的,就是猜。
电商参数
记录 chapter.jd raw
能走通的路
- 分享短链只回主页,必须用浏览器打开才会跳转出真实商品 URL 和 SKU。
- 有了 SKU 走详情接口
/desc/<sku>,返回 JSONP,里面是图文详情 HTML;图片是 CSS 背景图,不是 <img>,按 url() 提取。
- 参数表锁登录后,DOM 里标题在、内容是空的,点了也不加载 —— 参数只能从详情图 OCR。
走不通的路(都试过)
PC 商品页(一律 302 到频控页,带 cookie 也不行)、搜索接口(JS 壳)、价格接口(直接断连)、无签名 API(no access)、移动端参数接口(404)。
补参数只剩这些
- 什么值得买的商品百科有规格表(面料、版型、领型等)。
- 中关村在线常转述官方文案,页面是 GBK,要 gb18030 解码。
- 导购站一律不登防水、克重这种硬指标,只有检测报告里有,而页面只放封面照 —— 要数值只能拿报告编号找客服。
价格
导购站能查到历史价和"多少天新低"。这是最有用的部分:判断当前是不是好价,比读参数管用。