Ask Xin ít mẹo crawl giá sản phẩm

[oplaaaaa]

Mình đang thử crawl giá theo giờ cho 1 site thương mại nhưng chạy tầm vài luồng là bắt đầu bị chậm hoặc bị chặn. Ko rõ do cách mình gửi request chưa đúng hay do nguồn ip mình dùng không ổn định. Ae có ai từng làm chia sẻ giúp cách test nguồn trước khi chạy nhiều hơn ko

 

Tips

• 1 Trả lời câu hỏi giúp đỡ, sẽ được thưởng 1 MR
• 2 Khi được chọn là câu trả lời hay nhất (Chi tiết)

[ToiLaGaMo]

b chạy thử 1 luồng, delay 5-10s giữa mỗi request, nếu vẫn ổn thì k phải do site chặn cứng mà do ip b dùng r

 

[stackoverload]

Thường vấn đề ko chỉ do request pattern mà còn do chất lượng ip. Nhiều khi dải ip rẻ hoặc bị abuse thì chạy vài luồng là bị chặn ngay

 

[tuna8998]

tham khảo proxy xoay nhé