Share nguồn 1M link RSS

Discussion in 'AutoBlog' started by Hoa Mãn Lâu, Aug 18, 2017.

Tags:
  1. Hoa Mãn Lâu

    Hoa Mãn Lâu Trưởng Môn

    Nguồn khoảng hơn 1M link RSS. Mới test khoảng vài chục rss thì thấy toàn bộ đều là rss còn chạy tốt.
    Muốn lấy dc thì phải có khả năng code + crawl GG.
    http://rssing.com
    Site này có khoảng 1.5M pages indexed, mỗi page có 1 rss khác nhau....
    Cái khó là nó không có sitemap (hoặc mình chưa mò ra) và nó không đặt link giữa các page với nhau.
    Để lấy được all pages của nó chỉ có cách search trên GG --> lấy link pages --> parse HTML --> lấy link rss.
    Ai kiếm dc sitemap của nó share mình với.

    Nguồn : @Sói
     
    Aleximong and Nai like this.
  2. TNA90

    TNA90 Sơ Nhập Giang Hồ

    wpresources likes this.
  3. Aleximong

    Aleximong Khách Qua Đường

    Em nghĩ sitemap nó đây
    rssing com sitemap.txt
    Vấn đề mình pải chọn đúng agent