Dismiss Notice

Xin giải pháp cào xài bật CF

Discussion in 'Thảo Luận Chung' started by automan, Jun 22, 2022.

  1. automan

    automan Hương Chủ

    Mình dùng simplehtmldom vs curl riêng đều không được, đoạn curl này trước dùng cào google dịch
    Code:
    // Open connection
$ch = curl_init();

// Set the url, number of POST vars, POST data
curl_setopt($ch, CURLOPT_URL, $url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_ENCODING, 'UTF-8');
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($ch, CURLOPT_USERAGENT, 'AndroidTranslate/5.3.0.RC02.130475354-53000263 5.1 phone TRANSLATE_OPM5_TEST_1');

// Execute post
$result = curl_exec($ch);

$html = str_get_html($result);
    Đoạn code bên site victim trả về, dù mới chỉ 1 request. Tuy là báo blocked nhưng vẫn lướt site bằng trình duyệt bình thường.

    Code:
    </head>
<body>
  <div id="cf-wrapper">
    <div class="cf-alert cf-alert-error cf-cookie-error" id="cookie-alert" data-translate="enable_cookies">Please enable cookies.</div>
    <div id="cf-error-details" class="cf-error-details-wrapper">
      <div class="cf-wrapper cf-header cf-error-overview">
        <h1 data-translate="block_headline">Sorry, you have been blocked</h1>
        <h2 class="cf-subheadline"><span data-translate="unable_to_access">You are unable to access</span> victimsite.com</h2>
      </div><!-- /.header -->

      <div class="cf-section cf-highlight">
        <div class="cf-wrapper">
          <div class="cf-screenshot-container cf-screenshot-full">

              <span class="cf-no-screenshot error"></span>

          </div>
        </div>
      </div><!-- /.captcha-container -->

      <div class="cf-section cf-wrapper">
        <div class="cf-columns two">
          <div class="cf-column">
            <h2 data-translate="blocked_why_headline">Why have I been blocked?</h2>

            <p data-translate="blocked_why_detail">This website is using a security service to protect itself from online attacks. The action you just performed triggered the security solution. There are several actions that could trigger this block including submitting a certain word or phrase, a SQL command or malformed data.</p>
          </div>

          <div class="cf-column">
            <h2 data-translate="blocked_resolve_headline">What can I do to resolve this?</h2>

            <p data-translate="blocked_resolve_detail">You can email the site owner to let them know you were blocked. Please include what you were doing when this page came up and the Cloudflare Ray ID found at the bottom of this page.</p>          </div>
        </div>
      </div><!-- /.section -->

      <div class="cf-error-footer cf-wrapper w-240 lg:w-full py-10 sm:py-4 sm:px-8 mx-auto text-center sm:text-left border-solid border-0 border-t border-gray-300">
  <p class="text-13">
    <span class="cf-footer-item sm:block sm:mb-1">Cloudflare Ray ID: <strong class="font-semibold">71f3f59f2d519e3578</strong></span>
    <span class="cf-footer-separator sm:hidden">&bull;</span>
    <span class="cf-footer-item sm:block sm:mb-1"><span>Your IP</span>: 116.111.112.113</span>
    <span class="cf-footer-separator sm:hidden">&bull;</span>
    <span class="cf-footer-item sm:block sm:mb-1"><span>Performance &amp; security by</span> <a rel="noopener noreferrer" href="https://www.cloudflare.com/5xx-error-landing" id="brand_link" target="_blank">Cloudflare</a></span>

  </p>
</div><!-- /.error-footer -->


    </div><!-- /#cf-error-details -->
  </div><!-- /#cf-wrapper -->

  <script>
  window._cf_translation = {};


</script>

</body>
</html>

    Xin giải pháp để cào site này ạ, trước giờ cào toàn site không bị chặn nên chưa có kinh nghiệm các bác ạ.
    Xin cảm ơn!
     

    More Threads in same category

    automan, Jun 22, 2022
    #1
    Newbie88 likes this.
  2. thanh858036

    thanh858036 Sơ Nhập Giang Hồ

    thanh858036, Jun 22, 2022
    #2
  3. Tạ hơi nặng

    Tạ hơi nặng Bang Chúng

    Ai demo giúp e 1 site to to mà cloudflare nó chặn ntn với dc ko ah{big_smile}
     
    Tạ hơi nặng, Jun 22, 2022
    #3
  4. money

    money Hương Chủ

    Similarweb nha shark
     
    money, Jun 22, 2022
    #4
    Tạ hơi nặng likes this.
  5. noenmo

    noenmo Sơ Nhập Giang Hồ

    Giải pháp của em như sau:
    + 1 con VPS (cùi thôi dùng DO cho băng thông khỏe) - để chạy 1 trình duyệt và lúc nào cũng bật.
    + Dùng socket gửi dữ liệu đến trình duyệt đang online ở VPS => trình duyệt ở VPS lấy dữ liệu và trả về cho client

    Phương pháp này em đã dùng và đến giờ vẫn OK
     
    noenmo, Jun 22, 2022
    #5
    congloi likes this.
  6. Nguyen Hoang Anh

    Nguyen Hoang Anh Tân Thủ Thôn

    em sợ phải down ảnh ọt chứ cào con này bình thường mà bác {doubt}
     
    Nguyen Hoang Anh, Jun 22, 2022
    #6
  7. money

    money Hương Chủ

    Cào thử vài triệu domain của nó xem có thoát block dc không nhé
     
    money, Jun 23, 2022
    #7
  8. ttd21918

    ttd21918 Khách Qua Đường

    Vụ này mới nha, Chrome thiết lập như nào để dùng qua socket như vậy đc nhỉ?
     
    ttd21918, Jun 23, 2022
    #8
  9. thitgaluoc

    thitgaluoc Hương Chủ

    socket là gì nhỉ, chrome debugging interface qua websocket ấy à bạn?
     
    thitgaluoc, Jun 23, 2022
    #9
  10. firefox

    firefox Bang Chúng

    theo như em hiểu thì đấy hình như là móc ssh sock tới chrome remote debugging port
     
    firefox, Jun 23, 2022
    #10
  11. command

    command Bang Chúng

    Có làm online tools về check site traffic hở a?
     
    command, Jun 23, 2022
    #11
  12. money

    money Hương Chủ

    hihi anh có plan thôi chứ chưa làm. Hồi 2 (hay 3) năm trước anh crawl thử similarweb mà nó block kinh quá, giờ ko rõ thế nào.

    Bạn trên kia nói crawl similarweb mà dễ thì anh mua data luôn. Anh có sẵn vài triệu domain rồi, đưa sang bạn ấy crawl giúp :D
     
    money, Jun 23, 2022
    #12
  13. firefox

    firefox Bang Chúng

    Similarweb nó xài PerimeterX căng phết đấy anh, không phải Cloudflare đâu, cào chậm chậm thì được chứ cào gắt là nó block, vài triệu không biết bao giờ xong luôn :))
     
    firefox, Jun 23, 2022
    #13
    thitgaluoc, Tạ hơi nặng and money like this.
  14. Newbie88

    Newbie88 Tân Thủ Thôn

    e cũng đang gặp trường hợp như chủ thớt, hóng các cao nhân chỉ điểm ạ
     
    Newbie88, Jun 23, 2022
    #14
  15. command

    command Bang Chúng

    Mình chưa rõ kỹ thuật này, tuy thế, nếu dùng kỹ thuật này thì sao ko dùng automation Chrome browser luôn (ý là dùng Chrome thật, ko phải Headless)?
     
    command, Jun 23, 2022
    #15
  16. thitgaluoc

    thitgaluoc Hương Chủ

    chrome thật bác ạ, mở debugging port xong expose cái port đó ra để kết nối từ xa
     
    thitgaluoc, Jun 23, 2022
    #16
    congloi likes this.
  17. Vuonglechi

    Vuonglechi Sơ Nhập Giang Hồ

    Vuonglechi, Jun 23, 2022
    #17
  18. remake2020

    remake2020 Sơ Nhập Giang Hồ

    mình dùng c# dùng chrome driver thì vẫn load dc sơ sơ nhưng lại rất chậm :(
     
    remake2020, Jun 24, 2022
    #18