Документация API
Создайте готовые к производству запросы ScraperFly, прежде чем писать код интеграции
Преобразуйте любой целевой URL в точный ответ, который нужен вашему продукту: сырой HTML, чистый текст, Markdown, JSON метаданные, скриншоты или PDF. Начните с самого быстрого запроса, затем добавьте рендеринг, премиум маршрутизацию, таргетинг по странам и пересылку заголовков только тогда, когда страница докажет, что ей нужно более сильное выполнение.
Сырой HTML для парсеров и краулеров
Используйте самый быстрый путь для статических страниц, списков, документов и страниц продуктов. Сначала получите оригинальный исходный HTML, затем включите рендеринг браузера, когда JavaScript создаст разметку, необходимую вашему скрейперу.
format=htmlrender=falserender=trueТекст, Markdown и JSON
Пропустите слой очистки после доступа к странице. Верните читаемый текст для агентов, Markdown для подсказок и RAG, или структурированный JSON с метаданными, ссылками, заголовками, чистым текстом и Markdown, готовым для вашего конвейера.
format=textformat=markdownformat=jsonСкриншоты и PDF
Запечатлейте то, что видит настоящий браузер, когда вам нужны доказательства QA, архивные доказательства, проверки визуальной регрессии, загружаемые отчеты или общие записи страниц для клиентов и внутренних команд.
format=screenshotformat=pdfскачатьУправления, которые делают запросы предсказуемыми
urlЦелевая страница для получения, рендеринга, очистки или захвата.
formatВыберите ответ, который нужен вашему продукту: html, text, markdown, json, скриншот или pdf.
premiumЭскалируйте на более сильные маршруты для блокировок, нестабильных целей или контента, чувствительного к геолокации.
renderЗапустите Chromium для SPA, JS-вставленного разметки, скриншотов, PDF и страниц только для браузера.
countryЗапросите маршрут, специфичный для страны, когда контент меняется в зависимости от местоположения.
keep_headersПеренаправьте выбранный контекст запроса, такой как user-agent, cookie, язык и referer.
render_waitДайте динамическому контенту контролируемую дополнительную задержку перед извлечением или захватом.
downloadВозвращайте визуальные артефакты в виде загружаемых файлов, когда вывод - это скриншот или PDF.
Генерируйте Markdown с той же формой запроса, которую вы можете использовать в производстве
curl "https://scraperfly.com/api/v1?url=https%3A%2F%2Fexample.com&format=markdown" \
-H "apikey: YOUR_API_KEY"