Auto crawler

Discussion in 'Thảo Luận Chung' started by Quang Rambo, Mar 7, 2022.

  1. Quang Rambo

    Quang Rambo Khách Qua Đường

    Các bác cho em hỏi em auto crawler site thì dùng link ảnh của site nguồn có ảnh hưởng gì đến seo k. Hay cần down về site mình.
     
  2. loyki

    loyki Bang Chúng

    Down về site mình nhé bác, vì chặn site khác xài ảnh web của mình rất đơn giản
     
  3. firefox

    firefox Bang Chúng

    cách tiết kiệm nhất là tự proxy từ server của mình rồi cache, tiền nhiều thì tự host luôn, disk giờ cũng rẻ thôi. Đối với site auto dạng ảnh/manga thì mình thấy url của ảnh nếu đặt tên chuẩn nó cũng index nhiều hơn thì phải.
     
  4. command

    command Bang Chúng

    Làm proxy là làm thế nào vậy bác @firefox ? Mình download images thấy lâu quá lâu (1 site vài trăm nghìn ảnh), nên có cách nào nhanh để cache ảnh của victim ko bác?
     
  5. Vuonglechi

    Vuonglechi Sơ Nhập Giang Hồ

    Viết 1 cái code php hoặc node hay gì cũng được
    Nhiệm vụ
    - Kiểm tra file có trong disk thì show
    - Không có thì tải từ remote về
    Khi chạy thì rewrite url dạng
    Domain.com/tieu-de--img-url
    img-url nên mã hoá base64
     
    money likes this.
  6. firefox

    firefox Bang Chúng

    đại loại như này bác, hệ thống này code cũng đơn giản thôi:
    upload_2022-3-7_18-50-48.jpeg

    Con NGINX có nó cache bự bự một chút, request đầu tiên sẽ hơi lâu, nhưng với các url có truy cập lớn thì khá ok. Yếu điểm là tốc độ lần truy cập đầu tiên hơi chán, rate limit, double băng thông, link die....
     
    command and money like this.
  7. Quang Rambo

    Quang Rambo Khách Qua Đường

    Vâng site nó k chặn. Site manga hơn 30k truyện sau nó chặn e down cũng dc
    --- Double Post Merged, Mar 7, 2022, Original Post Date: Mar 7, 2022 ---
    Vâng bác
     
  8. mankun_noob

    mankun_noob Tân Thủ Thôn

    em thấy có mấy site mã hoá kiểu này. bác cho em hỏi mã hoá kiểu này để làm gì ạ
    --- Double Post Merged, Mar 7, 2022, Original Post Date: Mar 7, 2022 ---
    Bác cho em hỏi chi phí của pp này tầm khoảng bao nhiêu tiền ạ {big_smile}
     
  9. firefox

    firefox Bang Chúng

    Tự code tốn tầm buổi sáng, cấu hình server nếu không quen thì 2 3 tiếng, vps tầm $5/tháng. Mình đoán vậy, giờ tự host ảnh rồi không chơi cái này nữa.
    Đơn giản hơn thì xài jetpack đi
     
    mankun_noob likes this.
  10. Dark

    Dark Tân Thủ Thôn

    Bác @firefox Có xin cái link topic cái code giải mã ảnh bị xáo trộn với. em đọc rồi mà tìm lại không thấy
     
  11. mankun_noob

    mankun_noob Tân Thủ Thôn

    Bác host ảnh ở đâu vậy ạ. Ngoài henterz có chỗ nào oke hơn ko ạ
     
  12. command

    command Bang Chúng

    Làm cái này thì có lẽ mình dùng code cũ để download images sẵn trước khi công bố site rồi.
     
  13. vovanhoait

    vovanhoait Khách Qua Đường

    chắc không cần download trước đâu bác, google bot vào thì sẽ tự cache rồi
     
  14. command

    command Bang Chúng

    Có lẽ bác ít quan tâm đến Speed Index rồi, mình thì luôn để ý Speed Index nên dùng giải pháp download images sẵn:) (thay vì có người dùng đầu tiên truy cập url đó thì download images).
     
    vovanhoait likes this.
  15. firefox

    firefox Bang Chúng

    em quên rồi, haha
    ovh + hetz + contabo ạ, giờ đa số chuyển về hetz rồi vì em muốn quản lý tập trung.
    vì nó tiết kiệm bác ạ, em hay chơi kiểu đánh tù mù chứ không lọc từ khóa và rank, nên số lượng bài viết cần generate thường rất lớn, hồi ấy tự host là một cực hình về chi phí và hiệu suất, download là công đoạn khá tốn thời gian mà chả biết khi nào google nó mới mò tới.
     
    Last edited: Mar 8, 2022
  16. HUYNHCVCX

    HUYNHCVCX Tân Thủ Thôn

    Hetz là gì thế bạn, google ko ra
     
  17. thanh858036

    thanh858036 Sơ Nhập Giang Hồ

    hetzner
     
  18. HUYNHCVCX

    HUYNHCVCX Tân Thủ Thôn


    Sao hetz đc ưu tiên hơn mấy ông kia thế bạn rẻ ah, mình chưa hiểu cách để hình server riêng sao lại hiệu quả hơn dùng chung
     
  19. Nai

    Nai MiddleMan Staff Member

    Rẻ nhưng vẫn đáp ứng nhu cầu sử dụng nè bro.
     
    HUYNHCVCX likes this.