ScraperFlyAPI веб-даних для AI
Почати безкоштовно

proxies

API для збору даних з ротаційними проксі для надійних публічних запитів

ScraperFly допомагає командам отримувати публічні сторінки з практичним маршрутом: почніть з легкого запиту, перевірте реальні докази відповіді, а потім додайте преміум маршрутизацію, цільові країни, сесії, заголовки або рендеринг лише тоді, коли це покращує результат.

Маршрутизація проксі

Вибирайте сильнішу доставку лише тоді, коли ціль доводить, що це важливо

Ротація проксі є цінною, коли публічні цілі реагують по-різному в залежності від маршруту, репутації, регіону, безперервності сесії або тиску запитів. Це також легко зловживати. Якщо кожен збір даних починається з найважчого маршруту, команди платять більше, перш ніж дізнатися, чи дійсно ціль потребувала цього шляху.

ScraperFly надає командам практичний робочий процес маршрутизації: почніть з легкого запиту, перевірте докази відповіді, а потім додайте преміум маршрутизацію, цільове націлювання по країні, сесії, заголовки, рендеринг, затримки, скріншоти або PDF лише там, де вони покращують результат. Мета не в більшій кількості переміщень проксі. Мета - це чистіше захоплення публічної сторінки з меншими сліпими повторними спробами та більш передбачуваною вартістю.

просто спочаткудокази маршрутизаціїконтрольоване підвищення
Розробник тестує контролі маршрутизації проксі та докази відповіді в конструкторі API для збору даних з вебу

Що таке API для збору даних з ротаційними проксі?

API для збору даних з ротаційними проксі отримує публічні веб-сторінки через керований шар запитів, який може змінювати маршрути доставки, коли відповідь цілі цього вимагає. Замість того, щоб підключати сирий пул проксі до кожного збору даних, програма надсилає цільовий URL та параметри запиту до одного API. API повертає відповідь у придатному форматі, тоді як метадані відповіді допомагають команді зрозуміти, що сталося.

Для ScraperFly маршрутизація проксі є частиною більш широкого робочого процесу захоплення. Запит може залишатися простим для публічних сторінок, які повертають чистий HTML. Він може додати преміум маршрутизацію для складніших цілей, цільове націлювання по країні, коли регіональний контекст має значення, сесії, коли безперервність змінює відповідь, і рендеринг браузера, коли JavaScript формує корисний стан сторінки.

Практичний висновок: використовуйте поведінку ротаційних проксі як контроль маршрутизації, а не як заміну для розуміння цілі.

Коли насправді потрібна ротація проксі для збору даних?

Ротація проксі допомагає, коли шлях доставки змінює публічну відповідь. Це може статися, коли ціль обмежує повторні запити, повертає різний контент за регіоном, поводиться по-різному під час стабільної сесії або реагує краще через сильніший маршрут. Ротація також може допомогти розподілити тиск запитів по робочому процесу, коли ціль чутлива до повторного доступу з одного маршруту.

Але ротація проксі не вирішує кожну проблему збору даних. Неправильний URL, відсутній API ключ, непідтримуваний формат виходу, порожня оболонка JavaScript, занадто коротка затримка рендерингу, надмірна відповідь, цикл перенаправлення або помилка парсера не стануть хорошим збором даних лише тому, що запит проходить через інший маршрут. Ці проблеми потребують діагностики, а не більше ротації.

Докази відповідіЙмовірне значенняКраще наступне дію
Чиста відповідь 200 з корисним HTMLЛегкий шлях вже достатнійЗалишайте простий профіль запиту.
Повторювані 403 або сторінка викликуЦіль може чинити опір поточному маршрутуТестуйте сильнішу маршрутизацію після підтвердження, що запит є дійсним.
429 або патерн обмеженняТиск запитів може бути занадто високимВикористовуйте відступ, зменшуйте паралельність, потім розгляньте зміни маршруту.
Різний контент за країноюПублічна сторінка варіюється за регіономВикористовуйте цільове націлювання по країні для регіональних зразків.
Порожня оболонка, але рендеринг сторінки має контентJavaScript формує корисний станВикористовуйте рендеринг перед тим, як звинувачувати маршрут проксі.
Перенаправлення на несподівані сторінкиПравила цілі, локаль, згода або стан маршруту можуть відрізнятисяПорівняйте фінальний URL, заголовки, куки, країну та поведінку сесії.

Чим маршрутизація проксі відрізняється від преміум маршрутизації?

Маршрутизація проксі - це широка ідея доставки: запит може проходити через керовані мережеві шляхи, а не покладатися на один прямий маршрут. Преміум маршрутизація - це сильніший варіант ескалації для публічних цілей, які не реагують добре на простий шлях. Цільове націлювання по країні - це контроль регіональної доставки. Сесії зберігають безперервність між пов'язаними запитами. Заголовки та куки несуть легітимний контекст запиту. Рендеринг виконує JavaScript браузера.

Ці контролі часто працюють разом, але вирішують різні проблеми. Преміум маршрутизація не є тим же, що і цільове націлювання по країні. Сесія не є тим же, що і ротація. Рендеринг не є виправленням проксі. Хороша архітектура збору даних зберігає ці вибори видимими, щоб команда могла пояснити, чому існує профіль запиту.

КонтрольВикористовуйте його, колиНе використовуйте його як
Простий запитЦіль повертає корисний контент без сильнішої доставкиЗнак того, що робочий процес неповний.
Преміум маршрутизаціяПроста доставка повторно зазнає невдачі після підтвердження запитуПерший крок для кожної публічної сторінки.
Цільове націлювання по країніВідповідь змінюється за регіоном, мовою, валютою або доступністюГенеральний перемикач проти блокування.
СесіїПов'язані запити залежать від спільного стану або безперервностіЗамінник для доказів маршрутизації.
Заголовки та кукиПублічна відповідь залежить від прийнятого контексту запитуСпосіб обіцяти приватний доступ.
Рендеринг JavaScriptКорисний контент з'являється після виконання браузераСтратегія проксі.

Які докази відповіді повинні керувати маршрутизацією проксі?

Найкращі рішення щодо маршрутизації виходять з доказів відповіді, а не з здогадок. Код статусу, фінальний URL, розмір відповіді, тип контенту, тіло відповіді, шлях перенаправлення, поведінка тайм-ауту, країна маршруту, стан сесії та вихід скріншота можуть показати, чи потребує ціль сильнішої доставки або іншого профілю запиту.

Один невдалий запит рідко доводить багато. Маленька вибірка через типи маршрутів є більш корисною: один легкий запит, один запит з необхідними заголовками, один рендерингований запит, якщо сторінка насичена JavaScript, один запит з цільовим націлюванням по країні, якщо регіон має значення, і один преміум маршрут лише якщо простіші тести не повертають придатну відповідь. Ця послідовність зберігає діагностику чіткою.

Використовуйте API Builder для тестування форми запиту перед переходом до виробництва. Якщо сторінка потребує виконання браузера, порівняйте результат з шляхом JavaScript rendering API перед тим, як вважати проблему чисто пов'язаною з проксі.

Як ScraperFly зменшує роботу з інфраструктурою проксі?

Сирова налаштування проксі може надати команді доступ до мережі, але зазвичай не вирішує решту робочого процесу збору даних. Команда все ще повинна підтримувати конструкцію запитів, формати виходу, рендеринг, повторні спроби, заголовки, куки, скріншоти, PDF, ведення журналу, діагностику відповіді, правила виставлення рахунків та відновлення операцій. Це багато клею навколо кожної цілі.

ScraperFly пакує шар захоплення як робочий процес API. Розробники можуть запитувати HTML, чистий текст, Markdown, JSON метадані, скріншоти або PDF; додавати рендеринг, коли сторінка потребує виконання браузера; додавати сесії або заголовки, коли безперервність або контекст запиту мають значення; і додавати силу маршрутизації лише тоді, коли докази відповіді це підтримують. Команда може зосередитися на вирішенні, які дані важливі, замість того, щоб відновлювати інфраструктуру захоплення для кожного завдання.

Як може залишатися передбачуваною вартість збору даних з проксі?

Контроль витрат починається з узгодження ваги запиту з ціллю. Проста публічна сторінка не повинна мати той же профіль, що й рендеринг запиту браузера з преміум маршрутизацією, безперервністю сесії, візуальним виходом та повторними спробами. Правильний процес - класифікувати цілі, зберігати легкі сторінки легкими та резервувати сильнішу маршрутизацію для сторінок, які доводять, що їй це потрібно.

Шлях виставлення рахунків ScraperFly підтримує такого роду тестування. Почніть з безкоштовних кредитів, купуйте кредити для нерівномірних проектів і переходьте на місячні кредити, коли повторювальний попит стає передбачуваним. Команда може оцінити витрати на основі реальних зразків, а не купувати широкий налаштування проксі, перш ніж зрозуміти обсяг роботи.

Перегляньте ціни після тестування репрезентативних цілей. Для станційних робочих процесів порівняйте з API для збору даних з вебу з сесіями. Для контексту запиту дивіться кастомні заголовки для запитів API для збору даних. Для регіональних сторінок використовуйте цільове націлювання по країні; для складніших цілей використовуйте преміум маршрутизацію лише там, де це підтримується доказами.

З чого повинна почати команда?

Почніть з одного реального публічного цільового URL та найпростішого профілю запиту. Перевірте статус, фінальний URL, розмір відповіді, тип контенту та тіло. Якщо відповідь корисна, зберігайте цей профіль. Якщо відповідь заблокована, порожня, регіональна, нестабільна або неповна, змініть один контроль за раз і зафіксуйте, що покращило результат.

Такий підхід робить ротацію проксі для збору даних більш практичною. Команда може пояснити, чому ціль використовує простий маршрут, маршрут по країні, преміум маршрут, сесію, рендеринг або візуальний вихід. Це також полегшує відновлення виробництва, оскільки наступна дія слідує за доказами, вже захопленими запитом.

Ротаційні проксі

Змінюйте шляхи доставки, коли ціль доводить, що одного маршруту недостатньо

Деякі цілі терплять прості запити. Інші починають повертати блоки, обмеження, регіональні варіанти або нестабільні відповіді, коли обсяг збільшується. ScraperFly допомагає командам почати з легкого шляху, прочитати докази відповіді та використовувати сильнішу маршрутизацію лише для цілей, які цього потребують.

Простий HTTP запит, що повертає чисту HTML відповідь
01

Простий HTML запит

Використовуйте це спочатку для публічних сторінок, які вже містять необхідні дані в початковому HTML.

Сторінка, що змінюється з порожньої HTML оболонки на рендерений DOM після виконання JavaScript
02

Рендеринг JavaScript

Увімкніть рендеринг, коли сервер повертає оболонку, але корисний вміст сторінки з'являється лише після виконання JavaScript.

Заголовки, куки та стан сесії зберігаються між двома запитами.
03

Заголовки, куки та сесії

Використовуйте контролі стану відвідувача, коли ціль очікує безперервності між запитами або повертає різний контент після встановлення згоди, локалі або стану навігації.

Запит, маршрутизований через вибрану країну та шлях проксі з вищою репутацією
04

Преміум проксі та гео

Ескалюйте маршрутизацію, коли відповідь залежить від походження запиту, репутації IP або географії цілі.

Автоматизація браузера з пошуком, фільтрами, прокруткою та етапами захоплення даних.
05

Потік браузера

Використовуйте повний потік браузера, коли дані знаходяться за межами взаємодії, а не в одному запиті: поля пошуку, фільтри, прокрутка, вкладки або багатоступенева навігація.

Escalate when:

01

Простий HTML запит

сирова відповідь містить потрібні поля, коди статусу стабільні, а розмір/вміст сторінки не зменшуються після повторних перевірок.

  • Деталі продукту, текст статті, документація або списки видимі в HTML відповіді.
  • Кінцевий URL, статус та довжина вмісту залишаються послідовними в невеликій вибірці.
  • Не потрібна стіна згоди, стан відвідувача або виклик API на стороні клієнта для цільових полів.
02

Рендеринг JavaScript

сирий HTML в основному містить заповнювачі, рендерений DOM містить цільові поля, або ключові дані надходять через запити на стороні клієнта.

  • Сирийний HTML має контейнери додатків, скелети завантаження або порожні сітки продуктів.
  • Перевірка браузера показує поля після завершення скриптів.
  • Скриншоти виглядають правильно, тоді як HTML-відповідь сама по собі неповна.
03

Заголовки, куки та сесії

пагінація, відгуки, фільтри або потоки згоди залежать від одного й того ж контексту відвідувача в кількох запитах.

  • Перший запит встановлює куки, які змінюють подальші відповіді.
  • Локаль, згода, валюта, кошик або стан фільтра повинні зберігатися.
  • Сторінка перенаправляє або очищається, коли запити виглядають безстанними.
04

Преміум проксі та гео

один і той же URL поводиться по-різному в залежності від регіону, повертає 403/429 з одного маршруту або показує ціни, доступність, SERP, рекламу або дані каталогу, специфічні для місця.

  • Трафік, схожий на датацентр, отримує блокування, тоді як маршрут з вищою репутацією працює.
  • Країна, мова, валюта, інвентар або результати пошуку змінюються в залежності від геолокації.
  • Повторні запити викликають обмеження швидкості або сторінки викликів на конкретних маршрутах.
05

Потік браузера

цільові дані з'являються лише після кроків навігації, схожих на користувача, або захищені області, такі як відгуки, профілі, уточнення результатів пошуку або спеціальні панелі даних, поводяться інакше, ніж прості сторінки деталей.

  • Необхідна дія кліку, прокрутки, пошуку або фільтрації перед появою полів.
  • Відгуки, профілі або динамічні сторінки результатів завантажуються в окремих етапах.
  • Прості спроби отримання/рендерингу повертають частковий контент, сторінки викликів або нестабільні стани.

Stay lower & Credit impact:

01

Простий HTML запит

Stay lower: сторінка вже повертає повні дані. Додавання рендерингу або преміум-маршрутизації тут лише додає затримку та використання кредитів без покращення результату.

Credit impact: найнижчий профіль запиту, оскільки він уникає роботи браузера та спеціальної маршрутизації.

02

Рендеринг JavaScript

Stay lower: поля вже присутні в сирому HTML. Сучасний вигляд сайту не означає, що потрібен рендеринг JavaScript.

Credit impact: вища, ніж простий HTML, оскільки залучена робота браузера, час очікування та ресурси сторінки.

03

Заголовки, куки та сесії

Stay lower: публічний контент стабільний без стану. Не вигадуйте сесії для сторінок, які можна отримати чисто як анонімний HTML.

Credit impact: зазвичай помірні; більші витрати пов'язані з операційною складністю та дисципліною повторних спроб.

04

Преміум проксі та гео

Stay lower: ціль є глобально послідовною і приймає нормальну маршрутизацію. Преміум та гео маршрутизація повинні бути пов'язані з доказами, а не використовуватися як стандартне загальне налаштування.

Credit impact: може збільшити використання кредиту та затримку, тому застосовуйте його до груп URL, які насправді потребують цього.

05

Потік браузера

Stay lower: один HTML або рендеринг запиту вже повертає ціль. Потоки браузера є найсильнішим інструментом у цій ієрархії, а не початковою точкою.

Credit impact: найвищий профіль запиту, оскільки він поєднує виконання браузера, затримки, навігацію та часто важче маршрутизування.

Ескалюйте на основі доказів, а не звички

  • Для більшості публічних веб-сайтів простий HTML запит або легке рендеринг JavaScript достатньо. Почніть з цього, перевірте відповідь, і лише тоді вирішуйте, чи виправданий наступний крок.
  • Сигнали анти-ботів зазвичай видимі у відповіді: несподівані статуси 403 або 429, раптові перенаправлення, маленький або порожній HTML, сторінки викликів, екрани CAPTCHA, цикли входу або згоди, та контент, який зникає після повторних запитів.
  • Великі цілі з високим трафіком, такі як Amazon, Google, LinkedIn, Instagram, TikTok та основні ринки, часто агресивно захищають деякі поверхні. Вони можуть вимагати рендерингу, сесій, обережного маршрутизування або потоку браузера, і кожна ціль потребує свого тестового профілю.
  • Захист не є однорідним навіть всередині одного сайту. Сторінки продуктів/деталей можуть відкриватися з легшим профілем, тоді як відгуки, профілі, сторінки пошуку, чутливі до цін, панелі доступності або дані, що стосуються облікового запису, можуть вимагати більшої ескалації.
  • Налаштування гео та преміум-проксі впливають як на те, що ви отримуєте, так і на те, наскільки дорогим стає профіль запиту. Використовуйте їх, коли контент, специфічний для країни, репутація IP або повторні блокування доводять, що вони важливі.
  • Практична мета полягає не в тому, щоб активувати всі елементи управління ScraperFly. Мета полягає в тому, щоб знайти достатній рівень, який повертає повні, повторювані дані, зберігаючи використання кредитів, затримки та режими збоїв під контролем.

Відповідність проксі

Перевірте поведінку цілі перед тим, як зробити ротацію проксі за замовчуванням

Стратегія проксі залежить від кодів статусу, розміру відповіді, фінального URL, географії, обмежень швидкості, блокуючих сторінок, паралельності, поведінки сесії та реакції цілі на повторні зразки.

Сирова HTML-відповідь, відображена на видимих даних сторінки
01

Доступність сирого HTML

Перевірте, чи поля, які вам потрібні, вже присутні в першій HTML-відповіді.

Найкращий перший тест для простих сторінок, статей, документів, списків та деталей продуктів.

Порівняння до і після рендерингу JavaScript
02

Залежність від JavaScript

Порівняйте сирий HTML з відрендереним DOM або скріншотом перед увімкненням рендерингу браузера.

Використовуйте рендеринг, коли сирий HTML є лише оболонкою, а скрипти створюють корисний контент.

Куки, згода, контекст сесії та доступу для скрапінгу
03

Стан і контекст доступу

Визначте, чи впливають куки, згода, межі входу, пагінація або той самий стан відвідувача на відповідь.

Використовуйте сесії та заголовки, коли безперервність змінює дані, які ви отримуєте.

Регіональні варіації контенту в різних країнах і маршрутах
04

Гео/варіація контенту

Перевірте, чи змінюють країна, мова, валюта, інвентар, SERP, реклама або репутація маршруту результат.

Використовуйте гео- або преміум-маршрути лише тоді, коли ціль підтверджує, що відповідь змінюється залежно від маршруту.

Перевірки перед використанням ротації проксі

Де знаходиться цільове поле?

Знайдіть, чи існує поле в сирому HTML, відрендереному DOM, виклику API, структурованих даних, файлі або пізнішому стані взаємодії.

Що змінює відповідь?

Виберіть кілька URL-адрес і порівняйте статус, фінальну URL-адресу, довжину вмісту, перенаправлення, порожні стани та видимі відмінності результатів.

Який контекст потрібен?

Позначте будь-яку залежність від згоди, локалі, куків, заголовків, межі аутентифікації, пагінації, фільтрів або попередніх запитів.

Як виглядає невдача?

Визначте сигнали для заблокованих, часткових, застарілих, перенаправлених, порожніх, з тайм-аутом або регіонально невідповідних відповідей перед масштабуванням.

Як опір цілі змінює налаштування маршрутизації

Режим отримання

Доступність сирого HTML визначає, чи може перший запит залишатися простим або потребує рендерингу, очікувань, скріншотів або витягування.

Контекст запиту

Вимоги до стану визначають, чи потрібно додавати заголовки, куки, сесії, обробку згоди або стабільний профіль відвідувача.

Вибір маршруту

Гео та репутаційні дані визначають, чи достатньо стандартного маршруту або виправданий маршрут країни/преміум.

Правила валідації

Відомі стани невдачі стають перевірками для повторних спроб, ескалації, перевірки якості та визначення, коли легший профіль все ще є повним.

Конструктор запитів проксі

Створюйте запити для скрапінгу, які додають силу маршрутизації лише тоді, коли докази відповіді це виправдовують

Почніть з простого запиту, а потім додайте преміум маршрутизацію, цільове націлювання по країні, сесії, заголовки або повільнішу поведінку повторних спроб, коли ціль показує блоки, нестабільність або регіональні відмінності.

BASE
Простий шлях

Спробуйте легкий маршрут спочатку

Багато публічних сторінок збираються чисто без важчих контролів проксі, особливо під час ранньої валідації.

базовийнизька вартість
ROUTE
Ротація

Ескалувати маршрутизацію для стійких цілей

Ротаційна доставка допомагає, коли повторні зразки показують блокування, обмеження, регіональні варіації або нестабільні відповіді.

преміумкраїнаповторити
LOG
Докази

Використовуйте сигнали відповіді, щоб налаштувати наступний запит

Статус, фінальна URL-адреса, розмір відповіді, тип контенту та помилки показують, чи потрібно коригувати маршрутизацію або тиск запиту.

статус5xx403

Керування, які формують ротаційне проксі-скрапінг

url

Публічна цільова сторінка, що завантажується.

premium

Сильніша маршрутизація для цілей, які чинять опір простій доставці.

country

Регіональна маршрутизація, коли контент варіюється залежно від місця розташування.

session

Станова доставка, коли важлива безперервність між запитами.

приклад cURL

Генеруйте Markdown з тією ж формою запиту, яку ви можете перенести в продукцію

curl "https://scraperfly.com/api/v1?url=https%3A%2F%2Fexample.com&format=markdown" \
  -H "apikey: YOUR_API_KEY"

Обробка помилок

Перетворіть збої в скрапінгу на виправлення

Кожен робочий процес веб-даних зрештою стикається з поганою відповіддю: відсутній URL, недійсний ключ, порожня HTML оболонка, ціль 403, обмеження швидкості, тайм-аут рендерингу, зламане захоплення PDF або JSON навантаження, яке не містить полів, які очікував ваш продукт. ScraperFly створено для того, щоб ці моменти були діагностованими. Ви перевіряєте HTTP статус, стабільний код помилки, профіль запиту та повернутий артефакт, а потім вибираєте найдешевший корисний наступний крок: виправити запит, додати кредити, уповільнити, повторити з відкатом, увімкнути рендеринг, змінити країну, використовувати преміум маршрутизацію, зберегти заголовки або валідувати вихід перед масштабуванням.

Стабільна форма помилкиРішення про повторенняЕскалація з урахуванням витратВалідація виходу
Розробник переглядає код та параметри запиту API на ноутбуці

01 / Налаштування запиту та доступ

Спочатку виправте помилки запиту

Деякі збої не є проблемами цільового запиту. Вони відбуваються до того, як ScraperFly зможе зробити значну спробу доставки: відсутня або неправильно сформована URL-адреса, непідтримуваний формат виводу, несумісний тип візуального файлу, відсутній API-ключ, недійсний ключ або ключ, який було призупинено або вимкнено. Ці помилки є сигналами конфігурації, а не сигналами повторної спроби: зупиніть робочий процес, вкажіть розробнику точне поле, яке потребує виправлення, і зосередьте кредити на реальних цільових тестах замість повторних неправильних введень.

missing_urlinvalid_urlunsupported_formatinvalid_api_key
  • Перевірте URL-адресу та кодування перед відправкою партії.
  • Використовуйте підтримувані формати виводу: HTML, текст, Markdown, JSON, скріншот або PDF.
  • Відповідайте типам файлів скріншотів типам зображень виводу та типу файлу PDF типу виводу PDF.
  • Розглядайте відсутні або недійсні API-ключі як конфігураційну роботу, а не роботу з повторними спробами.
Бізнес-дашборд з графіками, документами та плануванням використання на столі

02 / Кредити, ліміти та паралельність

Відокремте ліміти від збоїв

Робоче навантаження може зазнати невдачі, оскільки на рахунку немає доступних кредитів, досягнуто ліміту місячного плану або одночасність занадто агресивна для поточного плану та цільового міксу. ScraperFly робить ці обмеження видимими як операційні сигнали, а не таємничі збої при скануванні. Це робить рішення про покупку практичним: почніть безкоштовно, протестуйте ціль, купуйте кредити за принципом pay-as-you-go для нерівномірних завдань, переходьте на місячні кредити, коли обсяг стає передбачуваним, і використовуйте зниження навантаження, коли тиск запитів є реальною проблемою.

usage_limit_reachedrate_limitedcreditsbackoff
  • Використовуйте статус облікового запису, щоб перевірити залишкові кредити перед великими запитами.
  • Повторюйте ліміти запитів з backoff замість того, щоб відразу збільшувати навантаження.
  • Тримайте одноразові проекти на оплаті за фактом, коли обсяг нерівномірний.
  • Перенесіть передбачувану повторювану роботу на щомісячні кредити, коли шаблон доведено.
Серверна кімната, що представляє шляхи доставки, маршрутизацію та мережеву інфраструктуру

03 / Цільова доставка та мережа

Спочатку знайдіть збої доставки

Багато платформ для скрапінгу об'єднують проблеми доставки в невизначений збій запиту. У виробництві цього недостатньо. Команда повинна знати, чи вичерпався час запиту, чи повернулася тимчасова помилка сервера з цільового ресурсу, чи з'єднання не вдалося, чи відповідь була занадто великою, чи перенаправлення пішли кудись не туди, чи повернулася сторінка як маленький HTML без корисного контенту. ScraperFly перетворює ці збої на докази доставки: спочатку спробуйте легкий профіль, порівняйте статус і розмір відповіді, а потім виріште, чи потрібно наступному запиту backoff, інший маршрут, преміум-проксі, цільова країна або більш вузьке захоплення.

timeout5xxперенаправленняresponse_too_large
  • Повторюйте тимчасові мережеві та верхні збої з контрольованою політикою backoff.
  • Порівняйте фінальний URL, статус, тип контенту та розмір відповіді між зразками.
  • Ескалюйте маршрутизацію лише тоді, коли відповідь доводить, що простий шлях нестабільний.
  • Розглядайте надмірні відповіді як проблему обсягу перед масштабуванням того ж профілю.
Екран цифрової безпеки, що представляє сигнали захисту від ботів та захищеного доступу

04 / Захист від ботів, гео та блоки доступу

Читати блоки перед ескалацією

Екран цільового 403, 401, 429, CAPTCHA, WAF challenge, стіна входу, цикл згоди або регіональна невідповідність - це не просто помилка; це підказка про те, що сайт очікує від відвідувача. Конкуренти часто підштовхують команди до важчого профілю за замовчуванням, але це може витратити бюджет без доведення виправлення. Кращий шлях ScraperFly - це ескалація на основі доказів: зберігайте реалістичні заголовки, коли контекст має значення, використовуйте сесії, коли безперервність змінює відповідь, увімкніть рендеринг, коли корисний контент створюється браузером, і вибирайте преміум або країнову маршрутизацію, коли репутація або географія змінюють результат.

403429CAPTCHAневідповідність країни
  • Використовуйте преміум маршрутизацію, коли репутація IP є доведеним вузьким місцем.
  • Використовуйте цільову маршрутизацію за країною, коли мова, валюта, інвентар або результати пошуку змінюються в залежності від ринку.
  • Використовуйте заголовки, куки та сесії, коли стан відвідувача змінює відповідь.
  • Зменшуйте одночасність і додавайте затримку, коли повторні запити викликають обмеження цілі.
Розробник готує код та артефакти виходу на ноутбуці

05 / Якість рендерингу та виходу

Відправляйте придатні артефакти

Статус 200 не є тим самим, що й придатний скрап. Сирий HTML може бути порожньою оболонкою програми, Markdown може пропустити основну статтю, JSON може не містити очікуваних метаданих, текст може містити шум, скріншоти можуть бути порожніми, а вихід PDF або зображення може зазнати невдачі, якщо крок браузера вичерпає час. ScraperFly є цінним, оскільки той самий запит API може переходити від сирого HTML до відрендереного DOM, чистого тексту, Markdown, JSON, скріншота або PDF, а потім перевірятися на відповідність артефакту, який насправді потрібен вашому продукту. Це зменшує кількість коду для з'єднання, невдалі імпорти та дорогі пакетні запуски, які виявляють поганий вихід лише після факту.

render_timeoutbrowser_render_failedполя JSONвихід PDF/зображення
  • Увімкніть рендеринг, коли сирий HTML є лише оболонкою, а корисний контент з'являється після JavaScript.
  • Перевірте текст, Markdown та JSON на відповідність очікуваним полям перед пакетною обробкою.
  • Використовуйте знімок екрану або PDF-формат, коли важливі візуальні докази або аудиторські свідчення.
  • Розглядайте порожні або часткові артефакти як невдачі якості, навіть коли статус HTTP успішний.
Підходить ScraperFly

Чистіша відновлення помилок

ScraperFly допомагає командам вирішити, що виправити, що повторити, а що ескалувати, не перетворюючи кожен запит на найдорожчий профіль запиту.

Стабільна форма помилки

Використовуйте HTTP статус і код помилки разом, щоб логіка програми могла вибрати між виправленням введення, оновленням облікових даних, уповільненням, повторенням або ескалацією доставки.

Повторюйте лише тоді, коли це допомагає

Мережеві збої, обмеження швидкості та тимчасові помилки сервера можуть використовувати відкат. Неправильні URL, непідтримувані формати та погані ключі слід виправити один раз.

Ескалація з урахуванням витрат

Почніть з легкого профілю запиту, а потім додавайте рендеринг, преміум маршрутизацію, країну, сесії, заголовки, затримки або візуальне захоплення лише тоді, коли невдача це підтверджує.

Валідація виходу перед масштабуванням

Підтвердіть реальний артефакт, який потрібен вашому продукту: HTML, текст, Markdown, JSON, скріншот або PDF, перш ніж копіювати той самий профіль на великий набір URL.

Вартість маршрутизації

Тримайте витрати на проксі прив'язаними до цілей, які доводять, що їм потрібна сильніша доставка

Ротаційні та преміум маршрути корисні для складних цілей, але прості сторінки залишаються більш доступними на легших профілях. ScraperFly робить цей вибір видимим перед масштабуванням обсягу командами.

Легкий HTML-запит, що повертає просту відповідь
01

Базовий запит

Використовуйте базовий запит, коли публічний HTML вже містить необхідні вам поля.

Найлегший профіль запиту; зберігайте його, коли відповідь завершена.

Рендеринг JavaScript, що створює повний DOM
02

Рендеринг

Використовуйте рендеринг, коли сирий HTML є оболонкою, а JavaScript завершує сторінку.

Важчий профіль; використовуйте його лише тоді, коли вихід браузера змінює результат.

Кілька запитів з збереженням куків та стану відвідувача
03

Станова сесія

Використовуйте сесії, коли куки, згода, локалізація або пагінація змінюють відповідь.

Важчий профіль стану; зберігайте його лише тоді, коли важлива безперервність.

Маршрутизація запитів через гео та маршрути вищої якості
04

Преміум маршрутизація та гео

Використовуйте преміум маршрутизацію або гео лише тоді, коли походження, країна, репутація або регіональний контент змінюють результат.

Найважчий профіль маршрутизації; застосовуйте його лише до цілей, які доводять, що вони його потребують.

Що робить проксі-скрапінг важчим

Більше роботи з інфраструктурою

Рендеринг браузера, вибір маршрутизації та довші очікування означають, що платформа повинна виконувати більше, ніж просто повертати просту відповідь.

Більша невизначеність цілі

Редиректи, порожні стани, обмеження швидкості та сторінки викликів часто вимагають більш потужних варіантів доставки або повторних спроб.

Більше стану для збереження

Cookies, сесії, згода та багатосторінкові потоки додають рухомі частини, яких немає у простому безстатевому запиті.

Більше доказів для повернення

Скріншоти, PDF, рендерений вихід та багатші артефакти відповіді корисні, але вони важчі за простий HTML.

Як зберегти витрати на маршрутизацію передбачуваними

Вибірка перед масштабуванням

Спочатку протестуйте невелику вибірку URL та групуйте цілі за найменшим профілем, який повертає повні дані.

Не рендерити за замовчуванням

Перевірте сирий HTML перед увімкненням рендерингу. Багато публічних сторінок вже містять необхідні вам дані.

Ескалація за доказами

Підвищуйте лише тоді, коли відповідь показує відсутній контент, залежність стану, гео варіацію або проблеми з маршрутизацією.

Вимірюйте корисні результати

Оптимізуйте навколо дійсних записів, що доставляються, а не сирого обсягу запитів. Легший профіль найкращий лише тоді, коли він залишається повним.

Запитання про проксі

Загальні питання про ротаційний проксі-скрапінг

Практичні відповіді для команд, які вирішують, коли маршрутизація, преміум-доставка, цільове націлювання по країнах, сесії, заголовки та рендеринг дійсно покращують захоплення публічних сторінок.

Часті запитання про проксі
Маршрутизація

Коли маршрути проксі допомагають

Використовуйте маршрутизацію, коли шлях доставки змінює публічну відповідь.

Чи слід рутувати кожен запит?

Ні. Тримайте прості сторінки на легкому маршруті і ротуйте лише тоді, коли докази відповіді доводять, що ціль виграє від іншого маршруту.

Які докази є найважливішими?

Статус, фінальний URL, розмір відповіді, тип контенту, форма тіла, редиректи, тайм-аути та повторні зразки показують, чи змінює маршрутизація результат.

Ескалація

Преміум та країнові маршрути

Сильні маршрути повинні вирішувати конкретну цільову поведінку, а не ставати стандартним податком.

Коли я повинен використовувати преміум маршрути?

Використовуйте преміум маршрути після того, як дійсний простий запит неодноразово зазнає невдачі або повертає непридатну блокуючу поведінку.

Коли я повинен використовувати таргетинг по країні?

Використовуйте таргетинг по країні, коли публічна сторінка змінюється залежно від регіону, мови, валюти, доступності, перенаправлень або контексту відповідності.

Контекст

Сесії, заголовки та рендеринг

Не кожна проблема доставки є проблемою проксі.

Чи є сесії тим самим, що й ротація проксі?

Ні. Сесії зберігають стан між пов'язаними запитами. Проксі маршрути змінюють шлях доставки. Вони можуть працювати разом, але вирішують різні проблеми.

Чи може знадобитися рендеринг також?

Так. Якщо JavaScript формує корисний стан сторінки, рендеріть сторінку перед тим, як вважати порожній HTML невдачею маршрутизації.

Вартість

Прогнозовані витрати на проксі

Правильний маршрут - це найменший маршрут, який виробляє корисні докази.

Як я можу уникнути переплат?

Класифікуйте типи цілей, зберігайте прості захоплення простими, і залишайте преміум маршрути, сесії, візуальні файли та рендеринг для сторінок, які доводять, що вони їх потребують.

Де я повинен протестувати запит?

Використовуйте API Builder з одним реальним публічним URL, а потім скопіюйте перевірений профіль запиту у ваш додаток, cURL, Python, Node.js або моніторингову задачу.