泥潭日报 uscardforum · 内容汇总

分享一个浏览器本地抓取帖子并导出 TXT 的小脚本，适合长帖备份 / AI 总结 / 搜索

💳 玩卡 作者 我爱大海龟 原帖 #510014 ↗
内容摘要

分享浏览器本地抓取长帖并导出TXT的开源脚本及使用方法

1. 关键信息

  • 帖子主题：分享一个用于备份、搜索或AI总结长帖的浏览器本地抓取脚本 [ID: 510014] #1。
  • 脚本原理：在本地浏览器中读取已渲染页面文字，自动滚动触发懒加载/虚拟列表，对文本去重后导出为TXT文件 #1。
  • 安全声明：不登录、不绕权限、不请求后台接口、不上传数据、不改网页内容，仅在本地运行 #1。
  • 使用方法：Chrome/Edge浏览器按F12打开Console，粘贴脚本代码执行，点击“开始”滚动抓取，完成后点击“导出TXT”下载文件 #1。
  • 自定义配置：
    • 若识别楼层不准，可修改 OVERRIDE_POST_SELECTOR 手动指定选择器（如 .post-item, li.reply） #2。
    • 若未抓全，可增大 NO_NEW_LIMIT 参数（默认40轮无新增停止，可调至80或更高）以应对长帖或慢加载网站 #2。
  • 技术细节：脚本包含自动探测楼层选择器逻辑、基于文本哈希的去重机制、以及防止虚拟列表漏抓的抖动滚动策略 #1。

2. 羊毛/优惠信息

无

3. 最新动态

  • 用户 @258 用Python代码讽刺该脚本功能简单，建议直接循环爬取URL页面 #3。
  • 作者 @我爱大海龟 回应称其脚本并未包含对方提到的逻辑，并反问“我咋没看到” #4。

4. 争议或不同意见

  • 技术实现 vs 爬虫：用户 @258 认为直接通过API或URL分页爬取（scrape(url)）更简单高效，质疑使用DOM操作脚本的必要性 #3。
  • 作者辩护：作者强调其脚本优势在于“本地执行”、“不请求后台接口”、“无需登录绕过权限”，适合处理需要JS渲染且无公开API的页面，与直接HTTP请求不同 #1, #4。

5. 行动建议

  • 如需备份特定论坛长帖（尤其是依赖JS懒加载或虚拟列表的帖子），可尝试此脚本方法 #1。
  • 使用前务必在浏览器Console中审查代码，确保无恶意行为 #1。
  • 若抓取效果不佳，根据 #2 的建议调整 OVERRIDE_POST_SELECTOR 和 NO_NEW_LIMIT 参数。
  • 对于有明确URL分页结构的网站，直接编写爬虫脚本可能更高效 #3。

💳 玩卡 · 其他高楼

← 返回 💳 玩卡