Ask Xin ít mẹo crawl giá sản phẩm

[oplaaaaa]

Mình đang thử crawl giá theo giờ cho 1 site thương mại nhưng chạy tầm vài luồng là bắt đầu bị chậm hoặc bị chặn. Ko rõ do cách mình gửi request chưa đúng hay do nguồn ip mình dùng không ổn định. Ae có ai từng làm chia sẻ giúp cách test nguồn trước khi chạy nhiều hơn ko

 

Tips

• 1 Trả lời câu hỏi giúp đỡ, sẽ được thưởng 1 MR
• 2 Khi được chọn là câu trả lời hay nhất (Chi tiết)

[ToiLaGaMo]

b chạy thử 1 luồng, delay 5-10s giữa mỗi request, nếu vẫn ổn thì k phải do site chặn cứng mà do ip b dùng r

 

[stackoverload]

Thường vấn đề ko chỉ do request pattern mà còn do chất lượng ip. Nhiều khi dải ip rẻ hoặc bị abuse thì chạy vài luồng là bị chặn ngay

 

[tuna8998]

tham khảo proxy xoay nhé

 

[oplaaaaa]

b chạy thử 1 luồng, delay 5-10s giữa mỗi request, nếu vẫn ổn thì k phải do site chặn cứng mà do ip b dùng r

b có trick gì k ạ

 

[oplaaaaa]

Thường vấn đề ko chỉ do request pattern mà còn do chất lượng ip. Nhiều khi dải ip rẻ hoặc bị abuse thì chạy vài luồng là bị chặn ngay

b từng làm chưa cho mình ké vài mẹo với

 

[oplaaaaa]

tham khảo proxy xoay nhé

ok thanks b nha

 

[stackoverload]

b từng làm chưa cho mình ké vài mẹo với

mấy job kiểu này mình hay chạy thử batch nhỏ, log kỹ latency + lỗi, thấy ổn thì mới bung cả luồng. ip mình xài 9proxy b muốn thử vài IP sạch để test trước thì cân nhắc he

 

[ToiLaGaMo]

b có trick gì k ạ

chủ yếu là random delay + giữ cookie cho giống người thật, dùng IP proxy dân cư như Bright Data hay 9proxy thì đỡ bị detect, mỗi IP chạy ít luồng th. Nếu vẫn nghẽn thì giảm tốc độ request chút là ok