446991363 发表于 2023-4-22 20:46:15

爬虫问题

对于这个主页 https://www.digikey.cn/ 直接get可以获取到html

对于
https://www.digikey.cn/zh/products
https://www.digikey.cn/zh/products/filter/%E6%9D%BF%E5%AE%89%E8%A3%85%E7%94%B5%E6%BA%90%E9%85%8D%E4%BB%B6/921
等这些页面直接get 返回403 是添加了什么检测么
如何成功访问

love_zy 发表于 2023-4-23 19:21:03

accept-encoding: gzip, deflate, br
把这个请求头加上

hybpjx 发表于 2023-5-25 10:16:53

https://www.digikey.cn/ 这个直接get也拿不到啊，可能是开发者自己设置的就是403 无法访问:funk:

446991363 发表于 2023-7-8 09:54:43

加上指纹可以访问了
页: [1]
查看完整版本: 爬虫问题