proxies

Прокси-центр маршрутизации для доставки API веб-скрапинга

Используйте маршрутизацию прокси, когда публичная цель показывает, что сетевой путь, география, репутация, давление по скорости или непрерывность сессии изменяют ответ. ScraperFly помогает командам начинать с легкого и увеличивать доставку только тогда, когда доказательства показывают, что это имеет значение.

Маршрутизация прокси должна решать проверенную проблему доставки, а не становиться стандартным ответом на каждую неудачную попытку скрапинга. Сильный рабочий процесс начинается с простого запроса, проверяет ответ, а затем решает, может ли вращение маршрутов, премиум-доставка, таргетинг по странам или непрерывность сессий улучшить результат.

ScraperFly построен вокруг этого практического пути эскалации. Держите простые страницы на более легком профиле запроса, затем добавляйте более сильную маршрутизацию, когда целевой ответ показывает заблокированный доступ, региональное поведение, нестабильную доставку или необходимость в непрерывности между связанными запросами.

Выбирайте маршрутизацию по наблюдаемому целевому поведению

Цель может не сработать по многим причинам: неправильно сформированный ввод, отсутствующие заголовки, контент, отрендеренный с помощью JavaScript, давление по скорости, региональная переадресация, заблокированный сетевой путь или страница, которая возвращает действительный статус, но бесполезный контент. Маршрутизация прокси помогает, когда проблема связана с доставкой, но она должна быть выбрана на основе доказательств.

Эти доказательства могут включать коды состояния, конечный URL, размер ответа, тип контента, выборку вариаций по маршрутам, видимые страницы с вызовами, контент, специфичный для местоположения, и зависит ли связанный запрос от cookies или состояния. Чем более специфичны доказательства, тем легче выбрать правильный контроль, не тратя вес запроса.

Выбор маршрутизации	Используйте это, когда	Что это помогает доказать	Привычка контроля затрат
Стандартная маршрутизация	Цель возвращает полезный контент на легком запросе	Рабочий процесс не требует более тяжелой доставки	Держите это как стандартный профиль
Вращающиеся прокси	Повторные запросы нуждаются в распределении маршрутов или разнообразии доставки	Улучшает ли вращение маршрутов стабильность	Используйте после сравнения образцов, а не до тестирования
Премиум маршрутизация	Стандартная доставка возвращает блоки, страницы с вызовами или нестабильные ответы	Меняет ли более сильная репутация захваченный результат	Эскалируйте только для целей, которые доказывают, что они в этом нуждаются
Таргетинг по странам	Общедоступный контент меняется в зависимости от местоположения, валюты, языка, доступности или регулирования	Меняет ли география доказательства страницы	Выберите страну, необходимую для рабочего процесса
Сессии	Связанные запросы нуждаются в непрерывности, cookies, предпочтениях или общем состоянии	Меняет ли постоянство ответ	Используйте сессии внутри связанных потоков, а не изолированных захватов

Держите эскалацию прокси связанной с диагностикой

Функции прокси наиболее ценны, когда команда может объяснить, почему они используются. Код 403 может указывать на сигналы доступа или репутации. Код 429 указывает на давление по скорости. Региональная переадресация указывает на таргетинг по странам. Стена входа или поток согласия могут потребовать заголовков, cookies или сессий. Пустая оболочка JavaScript может потребовать рендеринга, а не более сильной маршрутизации.

Практический путь заключается в том, чтобы сначала классифицировать ответ, а затем выбрать следующий контроль. Это делает маршрутизацию прокси точной частью рабочего процесса, а не дорогой универсальной настройкой.

Практическое резюме: используйте самый легкий путь доставки, который возвращает полезные доказательства публичной страницы, затем эскалируйте маршрутизацию только тогда, когда ответ доказывает, что простого пути недостаточно.

ЭСКАЛАЦИЯ ДОСТАВКИ

Эскалируйте маршрутизацию на основе доказательств ответа, а не догадок

Цель 403, страница с вызовом, региональное несоответствие, нестабильный ответ или повторяющаяся ошибка маршрута должны направлять следующий выбор доставки. ScraperFly помогает командам начать с легкого профиля и перейти к более сильной маршрутизации только тогда, когда ответ доказывает необходимость.

Простой HTTP-запрос, возвращающий чистый HTML-ответ

Запрос простого HTML

Используйте это в первую очередь для публичных страниц, которые уже содержат необходимые данные в начальном HTML.

Страница, изменяющаяся с пустой HTML-оболочки на отрендеренный DOM после выполнения JavaScript

Рендеринг JavaScript

Включите рендеринг, когда сервер возвращает оболочку, но полезное содержимое страницы появляется только после выполнения JavaScript.

Заголовки, куки и состояние сессии сохраняются между двумя запросами.

Заголовки, куки и сессии

Используйте управление состоянием посетителя, когда цель ожидает непрерывности между запросами или возвращает различный контент после установки согласия, локали или состояния навигации.

Запрос, направленный через выбранную страну и путь прокси с высокой репутацией

Премиум прокси и гео

Эскалируйте маршрутизацию, когда ответ зависит от источника запроса, репутации IP или целевой географии.

Автоматизация браузера с поиском, фильтрами, прокруткой и шагами захвата данных.

Поток браузера

Используйте полный поток браузера, когда данные находятся за взаимодействием, а не за одним запросом: поля поиска, фильтры, прокрутка, вкладки или многошаговая навигация.

Escalate when:

Запрос простого HTML

сырой ответ содержит необходимые поля, коды состояния стабильны, а размер/содержимое страницы не меняются после повторных проверок.

Детали продукта, текст статьи, документация или списки видны в HTML-ответе.
Конечный URL, статус и длина содержимого остаются постоянными в небольшой выборке.
Не требуется стена согласия, состояние посетителя или вызов клиентского API для целевых полей.

Рендеринг JavaScript

сырой HTML в основном состоит из заполнителей, отрендеренный DOM содержит целевые поля, или ключевые данные поступают через клиентские запросы.

Сырой HTML содержит контейнеры приложений, скелеты загрузки или пустые сетки продуктов.
Инспекция браузера показывает поля после завершения скриптов.
Скриншоты выглядят корректно, в то время как HTML-ответ сам по себе неполный.

Заголовки, куки и сессии

пагинация, отзывы, фильтры или потоки согласия зависят от одного и того же контекста посетителя в нескольких запросах.

Первый запрос устанавливает куки, которые изменяют последующие ответы.
Локаль, согласие, валюта, корзина или состояние фильтра должны быть сохранены.
Страница перенаправляет или очищается, когда запросы выглядят без состояния.

Премиум прокси и гео

один и тот же URL ведет себя по-разному в зависимости от региона, возвращает 403/429 с одного маршрута или показывает цены, доступность, SERP, рекламу или данные каталога, специфичные для местоположения.

Трафик, похожий на датацентр, получает блокировки, в то время как маршрут с более высокой репутацией работает.
Страна, язык, валюта, инвентарь или результаты поиска меняются в зависимости от геолокации.
Повторные запросы вызывают ограничения по скорости или страницы с вызовами на определенных маршрутах.

Поток браузера

целевые данные появляются только после шагов навигации, похожих на действия пользователя, или защищенные области, такие как отзывы, профили, уточнения результатов поиска или специальные панели данных ведут себя иначе, чем простые страницы с деталями.

Требуется действие клика, прокрутки, поиска или фильтрации, прежде чем поля появятся.
Отзывы, профили или динамические страницы результатов загружаются в отдельных шагах.
Более простые попытки получения/рендеринга возвращают частичное содержимое, страницы с вызовами или нестабильные состояния.

Stay lower & Credit impact:

Запрос простого HTML

Stay lower: страница уже возвращает полные данные. Добавление рендеринга или премиум-маршрутизации здесь только увеличивает задержку и использование кредитов без улучшения результата.

Credit impact: самый низкий профиль запроса, так как он избегает работы браузера и специальной маршрутизации.

Рендеринг JavaScript

Stay lower: поля уже присутствуют в сыром HTML. Современный сайт не означает автоматически, что требуется рендеринг JavaScript.

Credit impact: выше, чем простой HTML, так как вовлечены работа браузера, время ожидания и ресурсы страницы.

Заголовки, куки и сессии

Stay lower: публичный контент стабилен без состояния. Не выдумывайте сессии для страниц, которые можно получить чистым анонимным HTML.

Credit impact: обычно умеренные; большая стоимость заключается в операционной сложности и дисциплине повторных попыток.

Премиум прокси и гео

Stay lower: цель глобально согласована и принимает нормальную маршрутизацию. Премиум и гео маршрутизация должны быть связаны с доказательствами, а не использоваться как стандартная настройка по умолчанию.

Credit impact: может увеличить использование кредита и задержку, поэтому применяйте его к группам URL, которые действительно нуждаются в этом.

Поток браузера

Stay lower: один HTML или отрендеренный запрос уже возвращает цель. Потоки браузера являются самым мощным инструментом в этой лестнице, а не отправной точкой по умолчанию.

Credit impact: самый высокий профиль запросов, так как он сочетает в себе время выполнения браузера, ожидания, навигацию и часто более тяжелую маршрутизацию.

Эскалируйте на основе доказательств, а не привычек

Для большинства публичных веб-сайтов достаточно простого HTML-запроса или легкого рендеринга JavaScript. Начните с этого, проверьте ответ, и только затем решите, оправдан ли следующий шаг.
Сигналы против ботов обычно видны в ответе: неожиданные статусы 403 или 429, резкие перенаправления, крошечный или пустой HTML, страницы с вызовами, экраны CAPTCHA, циклы входа или согласия и контент, который исчезает после повторных запросов.
Крупные высоконагруженные цели, такие как Amazon, Google, LinkedIn, Instagram, TikTok и крупные торговые площадки, часто агрессивно защищают некоторые поверхности. Они могут требовать рендеринга, сессий, тщательной маршрутизации или потока браузера, и каждая цель требует своего собственного тестового профиля.
Защита не является однородной даже внутри одного сайта. Страницы с продуктами/деталями могут открываться с более легким профилем, в то время как отзывы, профили, страницы поиска, чувствительные к цене представления, панели доступности или данные, связанные с аккаунтом, могут требовать более сильной эскалации.
Настройки гео и премиум-прокси влияют как на то, что вы получаете, так и на то, насколько дорогим становится профиль запроса. Используйте их, когда контент, специфичный для страны, репутация IP или повторные блокировки доказывают свою важность.
Практическая цель не в том, чтобы включить все элементы управления ScraperFly. Цель состоит в том, чтобы найти достаточный уровень, который возвращает полные, повторяемые данные, при этом контролируя использование кредитов, задержку и режимы отказа.

ПОДХОД МАРШРУТИЗАЦИИ

Составьте карту географии, репутации и потребностей сессий перед масштабированием

Стратегия прокси зависит от того, что на самом деле меняется у цели. Проверьте, меняется ли контент по странам, нужны ли стабильные состояния для повторяющихся запросов, влияют ли заголовки или cookies на ответ и возвращает ли стандартная доставка полезные данные.

Сырой HTML-ответ, сопоставленный с видимыми данными страницы

Доступность сырого HTML

Проверьте, присутствуют ли необходимые вам поля уже в первом HTML-ответе.

Лучший первый тест для простых страниц, статей, документов, списков и деталей продуктов.

Сравнение до и после рендеринга JavaScript

Зависимость от JavaScript

Сравните сырой HTML с отрендеренным DOM или скриншотом перед включением рендеринга браузера.

Используйте рендеринг, когда сырой HTML является лишь оболочкой, а скрипты создают полезный контент.

Cookies, согласие, контекст сессии и доступа для скрапинга

Состояние и контекст доступа

Определите, влияют ли cookies, согласие, границы входа, пагинация или состояние одного и того же посетителя на ответ.

Используйте сессии и заголовки, когда непрерывность изменяет данные, которые вы получаете.

Региональные вариации контента по странам и маршрутам

Гео/вариация контента

Проверьте, изменяет ли страна, язык, валюта, запасы, SERP, реклама или репутация маршрута результат.

Используйте гео- или премиум-маршрутизацию только тогда, когда цель подтверждает, что ответ варьируется в зависимости от маршрута.

Вопросы, на которые нужно ответить перед началом скрапинга

Где находится целевое поле?

Узнайте, существует ли поле в сыром HTML, отрендеренном DOM, вызове API, структурированных данных, файле или состоянии взаимодействия позже.

Что изменяет ответ?

Выберите несколько URL-адресов и сравните статус, конечный URL, длину контента, перенаправления, пустые состояния и различия в видимых результатах.

Какой контекст необходим?

Отметьте любую зависимость от согласия, локали, файлов cookie, заголовков, границ аутентификации, пагинации, фильтров или предыдущих запросов.

Как выглядит неудача?

Определите сигналы для заблокированных, частичных, устаревших, перенаправленных, пустых, истекших или несоответствующих регионам ответов перед масштабированием.

Что это изменяет в настройке запроса

Режим получения

Доступность сырого HTML определяет, может ли первый запрос оставаться простым или требует рендеринга, ожиданий, скриншотов или извлечения.

Контекст запроса

Требования состояния определяют, нужно ли добавлять заголовки, файлы cookie, сессии, обработку согласия или стабильный профиль посетителя.

Выбор маршрута

Гео и репутационные данные определяют, достаточно ли стандартного маршрута или оправдан ли маршрут по стране/премиум.

Правила валидации

Известные состояния неудачи становятся проверками для повторных попыток, эскалации, проверки качества и решения о том, когда более легкий профиль все еще полный.

НАСТРОЙКА ЗАПРОСА

Тестируйте выбор маршрута, страны, сессии и вывода в одном профиле запроса

Надежный рабочий процесс прокси должен делать выбор доставки явным: стандартная маршрутизация, премиум маршрутизация, таргетинг по странам, сессии, заголовки, рендеринг, ожидания и формат вывода. Тестируйте цель перед внедрением профиля в производственные задания.

HTML

Сырой ответ

Сырой HTML для парсеров и краулеров

Используйте самый быстрый путь для статических страниц, списков, документов и страниц продуктов. Сначала получите оригинальный исходный HTML, затем включите рендеринг браузера, когда JavaScript создаст разметку, необходимую вашему скрейперу.

format=htmlrender=falserender=true

TXT

Чистые данные

Текст, Markdown и JSON

Пропустите слой очистки после доступа к странице. Верните читаемый текст для агентов, Markdown для подсказок и RAG, или структурированный JSON с метаданными, ссылками, заголовками, чистым текстом и Markdown, готовым для вашего конвейера.

format=textformat=markdownformat=json

PDF

Визуальные файлы

Скриншоты и PDF

Запечатлейте то, что видит настоящий браузер, когда вам нужны доказательства QA, архивные доказательства, проверки визуальной регрессии, загружаемые отчеты или общие записи страниц для клиентов и внутренних команд.

format=screenshotformat=pdfскачать

Управления, которые делают запросы предсказуемыми

url

Целевая страница для получения, рендеринга, очистки или захвата.

format

Выберите ответ, который нужен вашему продукту: html, text, markdown, json, скриншот или pdf.

premium

Эскалируйте на более сильные маршруты для блокировок, нестабильных целей или контента, чувствительного к геолокации.

render

Запустите Chromium для SPA, JS-вставленного разметки, скриншотов, PDF и страниц только для браузера.

country

Запросите маршрут, специфичный для страны, когда контент меняется в зависимости от местоположения.

keep_headers

Перенаправьте выбранный контекст запроса, такой как user-agent, cookie, язык и referer.

render_wait

Дайте динамическому контенту контролируемую дополнительную задержку перед извлечением или захватом.

download

Возвращайте визуальные артефакты в виде загружаемых файлов, когда вывод - это скриншот или PDF.

пример cURL

Генерируйте Markdown с той же формой запроса, которую вы можете использовать в производстве

curl "https://scraperfly.com/api/v1?url=https%3A%2F%2Fexample.com&format=markdown" \
  -H "apikey: YOUR_API_KEY"

СТОИМОСТЬ МАРШРУТИЗАЦИИ

Держите более сильную доставку в резерве для целей, которые доказывают, что они в этом нуждаются

Премиум маршрутизация, рендеринг браузера, визуальные файлы и длительные ожидания могут добавить вес. Гибкая кредитная модель ScraperFly позволяет командам сначала проверить цель, а затем выбрать оплату по мере использования или ежемесячные кредиты, как только потребности в маршрутизации и объем станут ясными.

Легкий HTML-запрос, возвращающий простой ответ

Базовый запрос

Используйте базовый запрос, когда публичный HTML уже содержит необходимые вам поля.

Самый легкий профиль запроса; сохраняйте его, когда ответ завершен.

Рендеринг

Используйте рендеринг, когда сырой HTML является оболочкой, а JavaScript завершает страницу.

Более тяжелый профиль; используйте его только когда вывод браузера изменяет результат.

Несколько запросов с сохранением cookies и состояния посетителя

Состояние сессии

Используйте сессии, когда cookies, согласие, локализация или пагинация изменяют ответ.

Более тяжелый профиль состояния; сохраняйте его только когда важна непрерывность.

Маршрутизация запросов через гео и более качественные маршруты

Премиум маршрутизация и гео

Используйте премиум маршрутизацию или гео только когда источник, страна, репутация или региональный контент изменяют результат.

Самый тяжелый профиль маршрутизации; применяйте его только к целям, которые доказывают, что они в этом нуждаются.

Что делает запрос более тяжелым

Больше инфраструктурной работы

Рендеринг в браузере, выбор маршрутов и более длительное ожидание означают, что платформе нужно делать больше, чем просто возвращать простой ответ.

Больше неопределенности цели

Перенаправления, пустые состояния, ограничения по скорости и страницы с вызовами часто требуют более сильных вариантов доставки или повторных попыток.

Больше состояния для сохранения

Cookies, сессии, согласие и многостраничные потоки добавляют движущиеся части, которых нет у простого безстатусного запроса.

Больше доказательств для возврата

Скриншоты, PDF-файлы, отрендеренный вывод и более богатые артефакты ответа полезны, но они тяжелее, чем простой HTML.

Как сохранить предсказуемый вес запроса

Протестируйте перед масштабированием

Сначала протестируйте небольшой набор URL и группируйте цели по самому легкому профилю, который возвращает полные данные.

Не рендерить по умолчанию

Проверьте сырой HTML перед включением рендеринга. Многие публичные страницы уже содержат необходимые вам данные.

Эскалируйте по фактам

Переходите на более высокий уровень только когда ответ показывает отсутствие контента, зависимость состояния, гео-вариации или проблемы с маршрутизацией.

Измеряйте полезные результаты

Оптимизируйте на основе действительных записей, а не объема сырых запросов. Более легкий профиль лучше всего, только когда он остается полным.

ЧАВО ПРОКСИ

Распространенные вопросы о маршрутизации прокси для веб-скрапинга

Практические ответы для команд, решающих, когда вращающиеся прокси, премиум-доставка, таргетинг по странам и сессии должны быть в рабочем процессе публичных веб-данных.

Ответы на маршрутизацию

Запросы

Создание API-запросов

Для разработчиков, интегрирующих ScraperFly в агенты, задания, бэкенд-сервисы или быстрые тесты.

Что я должен отправить в ScraperFly?

Отправьте целевой URL и формат вывода, который вам нужен. API может вернуть HTML, чистый текст, Markdown, JSON, скриншоты или PDF в зависимости от параметров запроса.

Должен ли я использовать GET или POST?

Оба могут производить одинаковый результат скрапинга. GET удобен для простых параметров запроса; POST лучше, когда вам нужен четкий JSON-тело или более длинные параметры запроса.

Могу ли я протестировать запрос перед кодированием?

Да. API Builder генерирует конечную точку, JSON-тело, параметры запроса и примеры кода, а затем позволяет вам отправить живой запрос из панели управления.

Вывод

HTML, текст, Markdown и JSON

Выберите самый маленький вывод, который на самом деле нужен вашему продукту.

Когда мне следует использовать чистый текст?

Используйте чистый текст, когда вам нужно читаемое содержимое страницы для резюме, классификации, индексирования поиска или подсказок LLM без разметки.

Для чего нужен вывод JSON?

JSON полезен, когда вам нужны структурированные метаданные, заголовки, ссылки, текст и Markdown в одном ответе, который легче проверять программно.

Отличается ли Markdown от чистого текста?

Markdown сохраняет больше структуры контента, такой как заголовки и списки. Чистый текст более плоский и лучше, когда форматирование менее важно.

Рендеринг

Страницы JavaScript

Используйте рендеринг браузера только тогда, когда это необходимо для целевой страницы.

Когда мне включить render=true?

Включите рендеринг для SPA, страниц продуктов с внедренным JavaScript, контента с ленивой загрузкой или страниц, где исходный HTML не содержит нужные вам данные.

Рендеринг всегда стоит дороже?

Да, работа браузера тяжелее, чем простой запрос HTML. Начните без рендеринга, затем включайте его только для целей, которые действительно требуют выполнения JavaScript.

Могу ли я контролировать размеры области просмотра и время ожидания?

Да. Запросы на скриншоты и PDF могут использовать размеры области просмотра и параметры ожидания рендеринга, чтобы захваченная страница имела время на стабилизацию.

Маршрутизация

Прокси и местоположение

Маршрутные запросы через стандартные или премиум пулы, когда поведение цели меняется.

Когда мне нужна премиум маршрутизация прокси?

Используйте премиум маршрутизацию для более строгих целей, более высоких уровней блокировки, нестабильных ответов или страниц, которые ведут себя иначе при обычном трафике дата-центра.

Могу ли я запросить страну?

Да. Добавьте опцию страны, когда целевое содержимое зависит от местоположения, валюты, языка, доступности или региональных перенаправлений.

Поддерживаются ли сессии?

Рабочие процессы в стиле сессий могут повторно использовать контекст между связанными запросами, когда важна непрерывность для пагинации, изменения локали или многошагового скрапинга.

Файлы

Скриншоты и PDF

Захватывайте отрендеренные страницы, когда визуальный артефакт является необходимым результатом.

Может ли ScraperFly вернуть скриншот?

Да. Вывод скриншота захватывает отрендеренную страницу в виде изображения, включая контент, отрендеренный с помощью JavaScript, когда рендеринг включен.

Может ли ScraperFly генерировать PDF?

Да. Вывод в формате PDF полезен для квитанций, отчетов, архивов, снимков для соблюдения норм и страниц, которые необходимо сохранить в виде документа.

Где появляются сгенерированные файлы?

Зарегистрированные пользователи панели управления могут сохранять и загружать сгенерированные артефакты из журналов запросов, когда запрос производит загружаемый файл.

Кредиты

Стоимость и кредиты

Кредиты отслеживают работу по доставке, а не простаивающую инфраструктуру.

Сколько кредитов использует запрос?

Обычный запрос HTML, текста, Markdown или JSON обычно использует меньше кредитов. Рендеринг, премиум маршрутизация, скриншоты и PDF требуют больше, так как они требуют более тяжелой работы по доставке.

Кредиты по принципу «плати по мере использования» истекают?

Кредиты по принципу «плати по мере использования» остаются доступными, пока вы их используете. Они хорошо подходят для нерегулярных нагрузок или проектов, которым не нужен ежемесячный план.

Кредиты подписки переносятся?

Да. Кредиты ежемесячного плана обновляются каждый месяц, и неиспользованные кредиты переносятся. Если платеж не проходит после повторной попытки Stripe, аккаунт возвращается к модели «плати по мере использования».

Безопасность

Ключи, заголовки и безопасность

Храните учетные данные на своем сервере и пересылайте только заголовки, которые вы собираетесь использовать.

Где мне хранить мой API-ключ?

Храните API-ключ на стороне сервера или в доверенной среде. Избегайте раскрытия производственных ключей в публичных фронтенд-пакетах или статических страницах.

Могу ли я переслать заголовки запроса?

Да, выбранные заголовки, такие как user-agent, accept-language, cookie и referer, могут быть пересланы, когда целевой ресурс ожидает реалистичный контекст запроса.

ScraperFly обходит частные контрольные механизмы доступа?

Нет. Он предназначен для получения публичных веб-страниц и страниц, к которым вам разрешен доступ, а не для обхода аутентификации или частных систем.

Биллинг

Планы, журналы и счета

Используйте панель управления, чтобы понять, что произошло и почему изменились кредиты.

Где я могу проверить использование?

Панель управления записывает журналы запросов, изменения баланса кредитов, форматы вывода, маршрутизацию прокси, продолжительность и события выставления счетов, чтобы вы могли проводить аудит использования.

Могу ли я скачать счета?

Платные транзакции включают данные счета, когда Stripe их предоставляет, поэтому PDF-файлы счетов можно открыть из финансового журнала.

Как мне управлять подпиской?

Подписанные пользователи могут открыть портал клиента, чтобы изменить платежные данные, просмотреть счета или отменить подписку. Пользователи с бесплатным доступом и по модели "Оплата по мере использования" могут перейти к разделу Цены.