Cần code tool truyện vượt hotlink - wordpress

Discussion in 'Chợ Việc Làm MMO' started by lazyboyy, May 8, 2020.

  1. lazyboyy

    lazyboyy Khách Qua Đường

    Em cần code tool truyện craw vượt hotlink - wordpress ai nhận không ạ.?
     
    Last edited: May 10, 2020
  2. thitgaluoc

    thitgaluoc Hương Chủ

    như nào nhỉ :)) chi tiết hơn đi, bạn vẫn muốn dùng site đó chỉ cần cài thêm plugin vào để vượt hotlink à? thế thì k bền đâu và sv chịu tải cao nha
     
  3. lazyboyy

    lazyboyy Khách Qua Đường

    em muốn craw ảnh, cấu hình sv em 6 cpu chắc ksao ạ.không bền là do web đích sửa hay thế nào bác
     
  4. thitgaluoc

    thitgaluoc Hương Chủ

    web đích ban IP luôn ấy chứ
     
  5. Trí Mén

    Trí Mén Moderator Staff Member

    Xài rotated proxies thì ko bị ban ip đâu bác
     
  6. Cái bang

    Cái bang Sơ Nhập Giang Hồ

    Sử dụng IP của google search để craw thì chắc sẽ không ai dám lock.
    https ://feedback. googleusercontent. com/gadgets/proxy?container=fbk&url=https ://image. shutterstock. com/image-photo/image-flu-covid19-virus-cell-600w-1658787640.jpg
     
    congloi, thitgaluoc, firefox and 2 others like this.
  7. Trí Mén

    Trí Mén Moderator Staff Member

    query tới cái google proxy này nhiều lần có bị block ko bác @Cái bang
     
  8. thanh858036

    thanh858036 Sơ Nhập Giang Hồ

  9. Cái bang

    Cái bang Sơ Nhập Giang Hồ

    Google nó không lock, mà chỉ chặn referer. Nghĩa là dùng để craw vô tư.

    IP của đám proxy này là IP của google search luôn. Site nào dám chặn google search thì bá đạo quá. Với lại Ảnh thì có thể cache dễ dàng ở cloudflare. Xây dựng 1 cái server dung lượng 5-10TB để lưu trữ Ảnh chắc không tới 50$/tháng.
     
    Last edited: May 11, 2020
  10. Thanh Nguyen

    Thanh Nguyen Bang Chúng

    Ý bác là crawl ảnh về lưu và server của mình. Như vậy hình như không đúng ý chủ thớt lắm
     
  11. Cái bang

    Cái bang Sơ Nhập Giang Hồ

    Nếu chủ thớt muốn dùng tool proxy để vượt qua hotlink protected thì theo m là nên bỏ ý tưởng này đi. HDD giờ rẻ như cho, chi phí chủ yếu là bandwidth chứ không phải storage nữa. Craw về server của mình xong muốn làm gì làm, chẳng sợ ai chặn nữa.
    Mua 1 con server 2x4TB bên Hetzner có 35$ mỗi tháng rồi lưu trữ ảnh tha hồ.
     
  12. thitgaluoc

    thitgaluoc Hương Chủ

    à mới nghĩ ra 1 cách là dùng jquery để chèn thêm i0.wp.com i1.wp.com vào link ảnh :D
     
  13. money

    money Hương Chủ

    @Cái bang nói rất chuẩn, anh đã đề cập vấn đề này lâu lắm rồi, không hiểu sao anh em cứ muốn làm kiểu free? Chi phí vài chục $/tháng cũng coi như tiền cafe thôi.
     
    thitgaluoc likes this.
  14. Nai

    Nai MiddleMan Staff Member

    Proxy này không crawl được search page :D
     
  15. lazyboyy

    lazyboyy Khách Qua Đường

    em đang dùng sever ssd của hetzner chứ k chơi HHD :3 mà em muốn craw thẳng luôn vào CDN
     
  16. Cái bang

    Cái bang Sơ Nhập Giang Hồ

    Ảnh thì kiểu gì cloudflare nó cũng cache giùm , khỏi cần CDN chi cho tốn kém. cũng khỏi cần SSD làm gì, cứ táng HDD được rồi, vì đã có cache của cloudflare chịu tải .
    Còn muốn craw thẳng vào CDN thì phải biết CDN đó sử dụng như nào mới biết cách mà craw chứ.

    thớt có skype ko quẳng m thử làm xem. Trọn bộ giải pháp gồm : Tự động craw ảnh về lưu trữ ở server, 1 con VPS cùi làm dùng nginx làm proxy để giấu IP của server lưu trữ, chống DMCA, cloudflare làm CDN ở lớp ngoài cùng , cache file ảnh để tăng tốc độ load. Tổng chi phí server tầm 50$/tháng m tự tin có thể lưu trữ 4-8TB ảnh với lượng ccu bao nhiêu cũng chấp hết.
     
    Last edited: May 11, 2020
  17. Mr Ghost

    Mr Ghost Sơ Nhập Giang Hồ

    @Cái bang Có dịch vụ này được à nha, báo giá trọn bộ luôn đi bạn.
     
  18. Cái bang

    Cái bang Sơ Nhập Giang Hồ

    để code demo xem thế nào đã.
    m vừa thử craw 1 vài site truyện tranh, đa số link ảnh đã lock không cho truy cập từ IP của server, kể cả IP của google proxy. Nên cách duy nhất để craw là phải dùng nhiều proxy.
     
    Last edited: May 11, 2020
  19. Thanh Nguyen

    Thanh Nguyen Bang Chúng

    Có nghĩa là cách bác nói https ://feedback. googleusercontent. com/gadgets/proxy?container=fbk&url=https ://image. shutterstock. com/image-photo/image-flu-covid19-virus-cell-600w-1658787640.jpg sẽ không sài được nữa ?
     
  20. Trí Mén

    Trí Mén Moderator Staff Member

    Con vps cùi nginx proxy thì sử dụng của bên nào để tránh DMMCA dc bác?