怎么爬加航的网站
用自动化工具爬加航因登录和IP限制困难,需借助seat.aero或绕过策略。
1. 关键信息
- 加航网站登录后访问受限制,selenium/playwright易被拦截(#1 #20 #23)。
- seat.aero API 抓取加航票,缓存非实时,付费版更准(#2 #3 #6 #8 #10)。
- pointsyeah/live search 需定时爬取,触发后台实时抓取(#9 #11 #13)。
- ANA 官网搜索为实时,可作校验(#26 #29)。
- 扩展方案:Chrome Extension 或 Claude 解析 HTML,需防限流(#21 #24 #25)。
- 幽灵票风险:Aeroplan 可能显示已售罄(#28 #29 #32)。
- 防封策略:多账户并行、错频操作、避免 AKAMAI 拦截(#31 #34 #39 #40)。
2. 羊毛/优惠信息
无
3. 最新动态
- lawsuit against seats.aero 影响使用(#34)。
4. 争议或不同意见
- seat.aero 缓存 vs live 机制存在分歧(#6 #8 #9 #11)。
- Aeroplan 幽灵票与 ANA 实时性可靠性对比(#26 #28 #29 #32)。
5. 行动建议
- 优先试用 seat.aero 付费版或 pointsyeah。
- 小频度爬取,错开 IP 避免封禁。
- 结合 ANA 实时校验,规避幽灵票。
尝试用加航爬一下 ICN-SEA 的商务舱,用 playwright/selenium 打开 chrome, 手动登录加航网站,点log in 没反应,点其他按钮都能运行。然后尝试用 playwirght 登录 chrome profile 之后登录加航网站,结果直接报错,(You don’t have permission to access “http://www.aircanada.com/aeroplan/redeem/availability/outbound?” on this server.)但是我自己用 chrome 登录加航网站,没有问题,很丝滑,应该不是 IP 的问题
请问是我用的工具不对吗?大家是怎么爬的?
爬不了 想多了 都是用的seat.aero的api 正常人爬不下来 没那个技术
那个免费版的 seat.aero 爬加航有时不太准,我有几次手动都刷出来了,结果 seat.aero 没有显示。唉。
可以搜scrape api 有很多这种网站帮忙爬的
牛B, 谢谢大佬,我搜搜去~~
seats.aero本身是缓存结果的,肯定不可能做到实时的,但是你如果用search tool会触发他们后台立刻爬取。
大佬,请问你说的这个 search tool 指的是网站上那个 search 按钮吗? 我是用selenium每隔10分钟打开chrome浏览器,去搜航班信息,请问这样是看的实时结果还是缓存的结果?
好像免费版并没有live search,但是已有的航班你点开具体信息会重新爬取,但是获取最新的数据只能看他爬的有多快了,或者别人有没有在搜索
这个不就是live没缓存的?
PointsYeah
PointsYeah | The Best Award Travel Search Tool - NerdWallet | award flight...
The best all-in-one points travel planning(award search) site on earth and it's free
明白了,看来还是得用一下付费版本~
awardtool和pointsyeah都是live的但是他需要定时爬取这些网站吧,网站的alert应该是别人搜出来才有
那好办,让龙虾去搜pointsyeah
现在才搞明白live search, 原来是这么个意思。谢谢大佬的推荐,我去爬这个网站去
【引用自 要努力】:
我去爬这个网站去
看到最后我以为你说要用pointsyeah了,结果你这个takeaways
是我看错了吗,这是哪门子学术
主要是挂壁挂成肌肉记忆了,看到收费的项目自动从脑子里过滤掉了。
另外发现有 pointsyeah 的 mcp github, 晚点去瞅瞅看好不好用。
可能是大佬手滑多选了一个标签,我也觉得应该把这个学术标签去掉
以前爬网站还是挺麻烦的,现在可以直接让龙虾自己点点点
我刚刚才反应过来,可以让龙虾点点点,我脑子里想的都是去爬网站,谢谢大佬
加航都要用账户登录才能获取结果了,我还挺很好奇seats.aero的实现方式
做个chrome extension,手动登陆好了就可以爬了
注意爬多了会被限流个几天
谢谢大佬的建议~~
大部分不好用 不用浪费时间了 更不要提AC还必须得登录了
大佬,想咨询一下 chrome extension 是不是要必须保持当前加航网站页面为活跃页面,我切换浏览器后,background 运行就在鬼打墙,一直查看当前date,不能点击其他date。但如果是一直保持当前加航页面,就一切完美
不需要呀 我也是让claude vibe code的hhh
request太多可能会被限流,你可以把页面html信息给claude让他等到页面完全load好了再作下一步
如果 Seats.aero 上面看到某个航段在 Aeroplan 有票
可以去查一查 ANA 能不能看到这张票
ANA 查票至少还是实时的
为啥不直接去aeroplan查呢
seats.aero弄个账号登陆加航就行?
Aeroplan 本身也有很严重的幽灵票的问题,很多时候 Aeroplan 能看到的票,不一定实际上真实存在(比如被别人截胡走了)。
但是 ANA 网站的搜票功能是实时搜索的,你输入啥,它就现场给你查这张票是否存在。
所以如果 ANA 的网站上这张票是存在的,那么很大概率用 Aeroplan 不仅能搜到票,也能实际出票。
但是 ANA 搜票也有一些限制,最大的之一就是经常搜不到 SQ 的长途商务。然后有一些很奇怪的结婚票、离婚票,ANA 也搜不到。
我之前搜aeroplan的oz非常准,我刚买完再查就没了。
以前AC不用登陆的时候我爬过。但问题其实是当你用的时候,你往往会想一次refresh 多个日期的多个availability(类似农贸市场里的WST - ASA) ,这样一次可能要短时间query多个结果。
这个非常容易被akamai ban IP,而且这个ban会导致你连现金票都买不了
如果你拿到了结果,还需要写规则过滤掉mix cabin和天价动态cabin,很麻烦的
如果你找到了optimal frequency,我自己觉得还是没有农贸市场的推送快(人家多个ip在那里刷新的)
可能是你用 Aeroplan 出的?如果别人用其他类型的积分(比如 ANA)出了这张票,Aeroplan 不一定能知道已经被别人订走了。
我就曾经饱受 Aeroplan 幽灵票的折磨,坠痛苦的
possibly!
In case you don’t know there’s an active lawsuit against seats aero from AC https://seats.aero/lawsuit 没必要死磕ac 现在ac严防bot
教过很多次了
国内人矿大学生
这不比签到打卡复杂多少
龙虾最牛逼的就是可以叫好几个sub agent一起干活,叫gpt开十个gemini一起去爬爬爬。
好久没爬了,还是akamai那套吗
【引用自 jerryz123】:
叫gpt开十个gemini一起去爬爬爬
这是不是得烧不少tokens?我看Chrome自带的Gemini那个自动搜索贼慢,龙虾直接调用别的LLM是不是快一些?
问题在于ban的是ip
肯定不行,至少也是多账户并行的方案,管理自动登陆和拉取搜索结果也不是那么容易的
谢谢大佬,我用的是cline自带的免费的LLM,看来得用Claude了,谢谢大佬~~
谢谢大佬提醒,我也是挺担心幽灵票,大佬这个技巧对我这个新人非常有用,谢谢大佬~~
谢谢大佬经验分享,我现在的需求比较简单,只搜 4/9 - 4/20 之间 韩亚的 icn - sea 直飞的那一趟,我现在设置的是每隔1分钟点击查看下一天的里程票,希望不要被ban。 估计以后要一次查看多个日期多个availability 的时候,还是得订阅seat.aero。谢谢大佬~