scrapy踩坑记录

mac2022-06-30  22

今天用scrapy爬个站点,请求url得到response一看,被转到登录页去了。

料想它有Cookie验证,于是去搞了Cookie,又在PostMan里用Cookie获取到实际内容。

但到scrapy里加了同样的Cookie却还是拿的登录页,以为scrapy的cookie没设置对,各种整cookie和请求头,又觉得该站可能有特殊的反爬操作。

与空气斗智斗勇大半天,结果发现是因为我开了http缓存,第一次没带cookie时就缓存的登录页内容,之后不管怎样,只要url没变都是返回的缓存的登录页内容。。。

瞎比操作,引以为鉴。

最新回复(0)