Tư vấn giải pháp cào sub-url của 1 website.

Chào các bác, Hiện tại mình có 1 website victim, total index khoảng 3M index, trong đó có 1 đường dẫn dạng domain.com/abc-url/* với total index khoảng 400k index. Mình cần cào data của các url từ đường dẫn domain.com/abc-url/* . Mình lướt xem site và check từ các item riêng lẻ và cả sitemap thì không có dấu vết nào link đến cái url dạng domain.com/abc-url/* mà mình cần cào. Như thế thì có giải pháp nào không các bác, Hiện tại mình dùng google search loop bảng char 3 vòng lặp, và search keyword đó với site:domain.com/abc-url thì cách này có vẻ củ chuối. nhưng mình chưa nghĩ ra cách nào khác, mọi người có thể tư vấn giúp mình không ? Kiểu mình muốn dạng như dưới đây

https://analyticslog.com/blog/2019/7/14/how-to-crawl-select-folders-in-screaming-frog-using-regex