ScraperFlyAPI de dados web pronta para IA

use cases

Casos de uso da API de Web Scraping para fluxos de trabalho reais de negócios

Explore os fluxos de trabalho de dados da web pública que a ScraperFly ajuda as equipes a implementar: monitorar preços, rastrear resultados de busca, coletar páginas de produtos, apoiar IA/RAG, seguir sinais de mercado e capturar listagens com o perfil de solicitação correto.

Os casos de uso do ScraperFly começam com uma pergunta prática: que decisão, recurso de produto, relatório ou fluxo de trabalho precisa de dados públicos da web? Uma vez que isso esteja claro, o pedido pode permanecer enxuto. Busque a página alvo, inspecione a resposta, escolha o menor formato de saída útil e adicione renderização, sessões, cabeçalhos, roteamento por país, entrega premium, capturas de tela ou PDFs apenas quando o alvo provar que eles melhoram o resultado.

Isso mantém a validação inicial rápida e acessível. Um trabalho de monitoramento de preços, um fluxo de trabalho de rastreamento de SERP, um pipeline de conteúdo de IA, um feed de listagens imobiliárias e um conjunto de dados de pesquisa de mercado podem todos usar a mesma superfície de API, mas não devem todos usar o mesmo peso de solicitação.

Escolha o caso de uso pela decisão que ele apoia

Um fluxo de trabalho de scraping forte não é apenas uma busca de URL. Ele tem uma razão de negócio, uma fonte alvo, um formato de resposta e uma maneira repetível de decidir quando a solicitação precisa de controles extras. É por isso que as páginas de casos de uso devem ser agrupadas por intenção de fluxo de trabalho em vez de por recursos isolados.

As equipes de ecommerce geralmente se preocupam com páginas de produtos, preços, disponibilidade, avaliações e mudanças de categoria. As equipes de busca se preocupam com a posição SERP, visibilidade, pacotes locais e movimento de concorrentes. As equipes de IA e RAG precisam de conteúdo legível com contexto suficiente da fonte para confiar na resposta. As equipes de pesquisa precisam de amostras limpas, metadados consistentes e uma maneira de comparar fontes sem reconstruir a infraestrutura para cada site.

Família de casos de uso Fonte típica Melhor saída inicial Controles a serem adicionados apenas quando necessário
Ecommerce e preços Páginas de produtos, páginas de categoria, listagens de marketplace HTML ou metadados estruturados para análise de fatos do produto Renderização, sessões, roteamento por país, capturas de tela como prova
Rastreamento de SERP e visibilidade Páginas de resultados de busca e visualizações de resultados locais HTML ou captura de tela dependendo da evidência necessária Roteamento por país, cabeçalhos, esperas, regras de nova tentativa cuidadosas
IA, RAG e fluxos de trabalho de conteúdo Artigos, documentação, páginas de ajuda, recursos públicos Texto, Markdown ou HTML dependendo das necessidades do parser Renderização quando o conteúdo é construído no navegador, metadados para confiança
Listagens e pesquisa de mercado Diretórios, páginas imobiliárias, quadros de empregos, páginas de negócios locais HTML para extração, texto ou Markdown para revisão Sessões, cabeçalhos de idioma, roteamento por país, captura de PDF ou captura de tela

Use um caminho de API, mas não use um perfil de solicitação em todos os lugares

A vantagem de uma API de web scraping não é que cada fluxo de trabalho se torne idêntico. A vantagem é que cada fluxo de trabalho pode ser testado através do mesmo caminho controlado. Uma equipe pode começar com a solicitação mais leve, revisar o status, a URL final, o tamanho da resposta, o tipo de conteúdo e a saída capturada, e então decidir se a próxima solicitação precisa de renderização no navegador, roteamento mais forte, estado persistente ou um formato diferente.

Isso importa comercialmente. Um pequeno trabalho exploratório não deve ser forçado a ter a mesma configuração que um sistema de monitoramento de produção. Um sprint de pesquisa único não deve exigir uma longa decisão de assinatura antes que o alvo tenha sido validado. O ScraperFly é construído para esse meio-termo: comece grátis, compre créditos quando o trabalho do projeto aparecer e avance para créditos mensais quando o fluxo de trabalho se tornar previsível.

Resumo prático: escolha o caso de uso primeiro, depois escolha o perfil de solicitação. O fluxo de trabalho certo é aquele que retorna evidências utilizáveis com a menor infraestrutura extra e o menor número de controles desnecessários.

ATLAS DE CASOS DE USO

Combine o fluxo de trabalho com os dados públicos que sua equipe realmente precisa

Os casos de uso se tornam mais fáceis de planejar quando a equipe nomeia a fonte, os campos, o formato de saída e a decisão que os dados apoiarão. O ScraperFly oferece a cada fluxo de trabalho a mesma base de API, enquanto deixa espaço para manter os alvos simples leves e escalar apenas quando o comportamento da página provar isso.

Comércio

Transforme páginas de comércio público em inteligência de preços e inventário

Acompanhe os preços dos concorrentes, mudanças de estoque, vendedores, ofertas de mercado, tarifas de viagem e mudanças de catálogo antes que afetem a receita.

Laptop com gráficos analíticos para monitoramento de preços
Comércio

Monitoramento de preços de e-commerce

Observe os preços dos concorrentes, descontos, status de estoque, termos de envio e movimentação de vendedores para que as equipes de precificação possam reagir antes que as mudanças de mercado se tornem invisíveis.

Useful fields: preço, desconto, estoque, vendedor, envio

Pessoa navegando por produtos em um smartphone
Comércio

Enriquecimento de catálogo de produtos

Preencha títulos, descrições, especificações, imagens, variantes e identificadores ausentes a partir de páginas de produtos públicos e catálogos de fabricantes.

Useful fields: título, descrição, especificações, imagens, SKU

Corredor de armazém grande representando operações de marketplace
Comércio

Inteligência de vendedores de marketplace

Compare a presença de vendedores, modelos de cumprimento, profundidade de sortimento, classificações e mudanças de ofertas entre marketplaces.

Useful fields: vendedor, classificação, oferta, cumprimento, sortimento

Trabalhador de armazém organizando prateleiras de inventário
Comércio

Rastreamento de inventário e disponibilidade

Detecte faltas de estoque, disponibilidade de retirada, inventário regional, promessas de entrega e lacunas de disponibilidade de produtos antes que os clientes o façam.

Useful fields: estoque, região, retirada, entrega, timestamp

Pessoa com sacolas de compras verificando um smartphone
Comércio

Proteção de marca

Encontre vendedores não autorizados, preços suspeitos, sinais de falsificação, alegações de produtos incorretas e listagens arriscadas em marketplaces públicos.

Useful fields: vendedor, preço, alegações, imagens, marketplace

Cena movimentada de restaurante e hospitalidade ao ar livre
Comércio

Monitoramento de viagens e hospitalidade

Colete disponibilidade de quartos, tarifas, comodidades, termos de cancelamento, sinais de demanda local e contexto de avaliações em superfícies de reserva.

Useful fields: tarifa, disponibilidade, comodidades, política, classificação

Telefone mostrando uma interface de compras online
Comércio

Classificados e rastreamento de segunda mão

Monitore novas listagens, preços pedidos, atividade de vendedores, condição do item, localização e idade da postagem em mercados de revenda.

Useful fields: listagem, preço, condição, vendedor, localização

Laptop mostrando gráficos financeiros e análises
Comércio

Comparação de preços e reprecificação

Transforme instantâneas de preços de concorrentes em entradas de reprecificação, lacunas de sortimento, alertas de margem e relatórios de posição de mercado.

Useful fields: concorrente, preço, classificação, disponibilidade, mudança

Crescimento

Encontre sinais de demanda antes que eles apareçam em suas próprias análises

Monitore resultados de busca, anúncios, páginas de concorrentes, diretórios de negócios, atividades de contratação e sinais de leads para ver onde a atenção está se movendo.

Laptop exibindo painel de análises para monitoramento de SEO
Crescimento

Monitoramento de SERP e SEO

Acompanhe classificações, trechos, anúncios, pacotes locais, diferenças de idioma, dispositivo e geolocalização para ver como a visibilidade muda na superfície de busca real.

Useful fields: classificação, URL, trecho, anúncios, geo

Laptop aberto em uma página de notícias ou conteúdo
Crescimento

Monitoramento de conteúdo de concorrentes

Observe mudanças na página, cabeçalhos, CTAs, schema, links internos e inventário de conteúdo sem esperar por auditorias manuais.

Useful fields: cabeçalho, CTA, schema, links, texto atualizado

Mãos segurando um telefone com conteúdo de mídia social
Crescimento

Inteligência de anúncios

Colete cópias de anúncios públicos, padrões criativos, páginas de destino, regiões, horários e atividades de anunciantes para pesquisa de campanhas.

Useful fields: cópia, criativo, página de destino, região, data

Pessoas de negócios trocando documentos em um escritório
Crescimento

Geração de leads e enriquecimento de empresas

Crie listas de contas e enriqueça registros de empresas com domínios, localizações, indústrias, contatos públicos, sinais de contratação e dicas de tecnologia.

Useful fields: empresa, domínio, indústria, localização, sinais

Vitrine de uma pequena cafeteria local
Crescimento

Dados de diretório de negócios locais

Colete nomes, categorias, endereços, horários, sites, classificações e contagens de avaliações de páginas de diretórios públicos.

Useful fields: nome, categoria, endereço, horários, classificação

Trabalhadores de escritório revisando documentos profissionais
Crescimento

Inteligência do mercado de trabalho

Acompanhe cargos, habilidades, faixas salariais, senioridade, políticas de trabalho remoto e velocidade de contratação em páginas de carreira e sites de emprego.

Useful fields: título, salário, habilidades, localização, senioridade

Voz

Transforme conversas públicas em sinais de produto e reputação

Colete avaliações, menções na mídia, discussões da comunidade, postagens públicas e sinais de criadores para entender o que os clientes e os mercados estão dizendo.

Pessoa lendo um jornal enquanto trabalha em um laptop
Voz

Monitoramento de notícias e mídia

Colete artigos, autores, datas, tópicos, entidades, links e metadados de fonte para fluxos de trabalho de reputação, pesquisa e alerta.

Useful fields: título, autor, data, fonte, entidades

Pessoas fazendo compras e verificando um smartphone juntas
Voz

Acompanhamento de avaliações e sentimentos

Capture tendências de avaliação, temas de reclamação, padrões de elogios, respostas de negócios e contexto de produto-local a partir de avaliações públicas.

Useful fields: classificação, avaliação, tema, resposta, data

Pessoa navegando em um aplicativo de mídia social em um smartphone
Voz

Monitoramento da web social e pública

Monitore postagens públicas, engajamento, hashtags, timestamps e contexto de perfil onde a política e o acesso à fonte permitirem.

Useful fields: postagem, engajamento, hashtag, perfil, tempo

Pessoa lendo artigos de notícias em uma sala
Voz

Inteligência de comunidade e fórum

Encontre perguntas recorrentes, reclamações, solicitações de recursos e linguagem de problemas em comunidades públicas e fóruns de suporte.

Useful fields: pergunta, tópico, reclamação, contagem de respostas, data

Espaço de trabalho com laptop, café e jornal
Voz

Descoberta de criadores e influenciadores

Crie listas de descoberta a partir de páginas de perfil público, tópicos de conteúdo, sinais de audiência, cadência de postagens e sinais de colaboração.

Useful fields: perfil, tópico, sinal de audiência, cadência, link

Registros

Facilite o monitoramento de registros públicos e listagens em grande escala

Extraia licitações, avisos legais, arquivamentos, dados financeiros e listagens de imóveis em conjuntos de dados que as equipes podem pesquisar, comparar e revisar.

Profissionais trocando documentos comerciais
Registros

Compras públicas e licitações

Acompanhe compradores, orçamentos, prazos, requisitos, anexos, prêmios e alterações em portais de licitação e avisos públicos.

Useful fields: comprador, orçamento, prazo, requisitos, prêmio

Profissionais discutindo documentos legais em um escritório
Registros

Monitoramento regulatório e legal

Monitore avisos, registros públicos, datas efetivas, versões de documentos, entidades afetadas e alterações relevantes para conformidade.

Useful fields: aviso, entidade, data, documento, status

Profissionais revisando documentos financeiros
Registros

Pesquisa financeira e de mercados públicos

Coletar registros, divulgações, tabelas, notícias, metadados de instrumentos e contexto financeiro público para pipelines de pesquisa.

Useful fields: registro, tabela, emissor, data, métrica

Chaves de casas e dinheiro para dados do mercado imobiliário
Registros

Listagens imobiliárias e dados de mercado

Rastrear preços de listagens, endereços, atributos da propriedade, detalhes do agente, status, histórico e contexto do bairro.

Useful fields: preço, endereço, quartos, agente, status

Produtos de dados

Construir produtos de dados a partir de páginas raspadas, não de dumps de páginas

Limpar, normalizar, validar, enriquecer, comparar e entregar dados da web pública em bancos de dados, painéis, alertas e pipelines de LLM.

Tela de laptop com código de programação
Produtos de dados

Pipelines de dados da web prontos para LLM

Converta páginas públicas em texto limpo, Markdown, partes, metadados, citações e sinais de frescor para recuperação ou fluxos de trabalho de modelo.

Useful fields: texto limpo, Markdown, parte, URL de origem, timestamp

Racks de servidores em data center para fluxos de trabalho de banco de dados
Produtos de dados

Extração estruturada para banco de dados

Transforme HTML, PDFs, tabelas e texto de página em registros tipados que podem ser armazenados, consultados, unidos e auditados posteriormente.

Useful fields: JSON, tipo, fonte, schema, ID do registro

Laptop com interface de codificação e análise de dados
Produtos de dados

Detecção de mudanças e alertas

Compare instantâneas e alerte equipes quando preços, estoque, classificação, conteúdo, status ou linguagem regulatória mudarem.

Useful fields: valor anterior, novo valor, delta, limite, alerta

Tela de computador com código e dados coloridos
Produtos de dados

Enriquecimento e normalização de entidades

Normalizar IDs de produtos, nomes de empresas, locais, pessoas, categorias, unidades, moedas e mapeamentos de taxonomia.

Useful fields: entidade, ID canônico, categoria, unidade, confiança

Close-up de rack de servidores com indicadores azuis
Produtos de dados

Validação da qualidade dos dados

Verifique os campos obrigatórios, tipos de dados, intervalos, duplicatas, evidências de origem e registros suspeitos antes do uso posterior.

Useful fields: campo obrigatório, tipo, faixa, evidência, confiança

Laptop com editor de código para feed de relatórios de dados
Produtos de dados

Feeds de relatórios e dashboards

Alimente dashboards de BI, relatórios de mercado, scorecards operacionais e análises recorrentes com dados da web que se atualizam conforme programado.

Useful fields: métrica, dimensão, período, fonte, atualizar

Por que fazer scraping

Por que usar web scraping?

Dados da web pública são valiosos porque refletem o que clientes, concorrentes, mercados e instituições realmente publicam. O scraping transforma essas páginas em um feed repetível quando uma API pública está faltando, incompleta, atrasada ou muito restrita para o fluxo de trabalho.

  • Preencha as lacunas deixadas pelas APIsMuitas fontes expõem páginas públicas úteis, mas nenhuma API completa para os campos exatos, geos, filtros ou históricos que uma equipe precisa.
  • Monitore mudanças ao longo do tempoScrapes recorrentes criam um histórico de preços, conteúdo, disponibilidade, classificações, avaliações, avisos e movimentação de mercado.
  • Compare entre fontesScraping torna possível a comparação entre sites quando marketplaces, diretórios, portais e editores estruturam dados de maneira diferente.
  • Crie registros utilizáveisA saída útil não é um despejo de página; é um registro normalizado, com fonte e timestamp, que sistemas posteriores podem confiar.
Ajuste do ScraperFly

Por que o ScraperFly se encaixa

Uma camada de API para entrega, renderização, roteamento, evidência e opções de saída em diversas fontes públicas da web.

Uma API para fontes variadas

Use o mesmo padrão de integração em lojas, páginas de busca, diretórios, documentos, listagens públicas e pipelines de produtos de dados.

Controles de entrega quando necessário

Renderização, sessões, cabeçalhos, geo e roteamento de proxy podem ser adicionados para alvos que precisam deles sem reconstruir o fluxo de trabalho.

Saída que suporta pós-processamento

HTML, capturas de tela, texto limpo, Markdown e caminhos de extração estruturados ajudam as equipes a passar da recuperação de páginas para registros utilizáveis.

Menos infraestrutura de scraping para gerenciar

As equipes podem se concentrar em campos, validação, atualidade e lógica de negócios em vez de frotas de navegadores, roteamento de casos extremos e plumbing de tentativas.

ADEQUAÇÃO DO ALVO

Mapeie o comportamento da página antes de escolher os controles de scraping

Um caso de uso é confiável apenas quando os requisitos do alvo estão claros. Verifique se os dados estão no HTML da fonte, se o JavaScript altera o resultado, se a localização ou o idioma afetam a resposta e se o fluxo de trabalho precisa de prova visual ou saída legível por máquina.

Resposta HTML bruta mapeada para dados visíveis da página
01

Disponibilidade de HTML bruto

Verifique se os campos que você precisa já estão presentes na primeira resposta HTML.

Melhor primeiro teste para páginas simples, artigos, documentos, listagens e detalhes de produtos.

Comparação antes e depois da renderização do JavaScript
02

Dependência de JavaScript

Compare HTML bruto com o DOM renderizado ou captura de tela antes de ativar a renderização do navegador.

Use renderização quando o HTML bruto é apenas uma casca e scripts criam o conteúdo útil.

Cookies, consentimento, sessão e contexto de acesso para scraping
03

Estado e contexto de acesso

Identifique se cookies, consentimento, limites de login, paginação ou o mesmo estado do visitante afetam a resposta.

Use sessões e cabeçalhos quando a continuidade muda os dados que você recebe.

Variações de conteúdo regional entre países e rotas
04

Variação geo/conteúdo

Teste se país, idioma, moeda, inventário, SERP, anúncios ou reputação da rota mudam o resultado.

Use roteamento geo ou premium apenas quando o alvo provar que a resposta varia por rota.

Perguntas a responder antes de fazer scraping

Onde está o campo alvo?

Verifique se o campo existe no HTML bruto, DOM renderizado, uma chamada de API, dados estruturados, um arquivo ou um estado de interação posterior.

O que muda na resposta?

Amostre algumas URLs e compare status, URL final, comprimento do conteúdo, redirecionamentos, estados vazios e diferenças nos resultados visíveis.

Qual contexto é necessário?

Marque qualquer dependência de consentimento, localidade, cookies, cabeçalhos, limite de autenticação, paginação, filtros ou solicitações anteriores.

Como é a falha?

Defina os sinais para respostas bloqueadas, parciais, obsoletas, redirecionadas, vazias, com tempo esgotado ou com região incompatível antes de escalar.

O que isso muda na configuração da solicitação

Modo de busca

A disponibilidade de HTML bruto decide se a primeira solicitação pode permanecer simples ou precisa de renderização, esperas, capturas de tela ou extração.

Contexto da solicitação

Os requisitos de estado decidem se é necessário adicionar cabeçalhos, cookies, sessões, manuseio de consentimento ou um perfil de visitante estável.

Escolha de roteamento

Descobertas geográficas e de reputação decidem se o roteamento padrão é suficiente ou se uma rota de país/premium é justificada.

Regras de validação

Estados de falha conhecidos se tornam verificações para novas tentativas, escalonamento, revisão de QA e decisão de quando um perfil mais leve ainda está completo.

CONFIGURAÇÃO DE SOLICITAÇÃO

Construa uma solicitação de teste antes de transformar o caso de uso em um pipeline

A maneira mais rápida de validar um fluxo de trabalho de dados públicos da web é testar a forma exata da solicitação: URL alvo, formato de resposta, escolha de renderização, cabeçalhos, sessões, roteamento, downloads e diagnósticos. Uma vez que a resposta é comprovada, a mesma forma pode ser movida para código, Postman ou um trabalho agendado.

HTML
Resposta bruta

HTML bruto para parsers e crawlers

Use o caminho mais rápido para páginas estáticas, listas, documentos e páginas de produtos. Busque o HTML fonte original primeiro e, em seguida, ative a renderização do navegador quando o JavaScript criar a marcação que seu scraper precisa.

format=htmlrender=falserender=true
TXT
Dados limpos

Texto, Markdown e JSON

Pule a camada de limpeza após o acesso à página. Retorne texto legível para agentes, Markdown para prompts e RAG, ou JSON estruturado com metadados, links, cabeçalhos, texto limpo e Markdown pronto para seu pipeline.

format=textformat=markdownformat=json
PDF
Arquivos visuais

Capturas de tela e PDFs

Capture o que um navegador real vê quando você precisa de evidências de QA, provas arquivadas, verificações de regressão visual, relatórios para download ou registros de páginas compartilháveis para clientes e equipes internas.

format=screenshotformat=pdfdownload

Controles que mantêm as solicitações previsíveis

url

A página alvo a ser buscada, renderizada, limpa ou capturada.

format

Selecione a resposta que seu produto precisa: html, texto, markdown, json, captura de tela ou pdf.

premium

Escalonar para roteamento mais forte para bloqueios, alvos instáveis ou conteúdo sensível à localização.

render

Execute o Chromium para SPAs, marcação injetada em JS, capturas de tela, PDFs e páginas apenas para navegador.

country

Solicite uma rota específica do país quando o conteúdo mudar por localização.

keep_headers

Encaminhe o contexto da solicitação selecionada, como user-agent, cookie, idioma e referer.

render_wait

Dê ao conteúdo dinâmico uma espera extra controlada antes da extração ou captura.

download

Retorne artefatos visuais como arquivos para download quando a saída for captura de tela ou PDF.

exemplo de cURL

Gere Markdown com a mesma forma de solicitação que você pode mover para produção

curl "https://scraperfly.com/api/v1?url=https%3A%2F%2Fexample.com&format=markdown" \
  -H "apikey: YOUR_API_KEY"

ECONOMIA DOS CASOS DE USO

Mantenha a validação flexível até que o fluxo de trabalho prove volume

Diferentes casos de uso têm diferentes pesos de solicitação. Uma verificação de HTML bruto deve permanecer leve, enquanto a renderização no navegador, roteamento premium, capturas de tela e PDFs devem ser reservados para fluxos de trabalho que precisam deles. Isso torna os testes gratuitos, créditos pay-as-you-go e créditos mensais adequados para diferentes estágios do mesmo projeto.

Um pedido HTML leve retornando uma resposta simples
01

Fetch básico

Use um fetch básico quando o HTML público já contém os campos que você precisa.

Perfil de pedido mais leve; mantenha-o quando a resposta estiver completa.

Renderização JavaScript produzindo um DOM completo
02

Renderização

Use renderização quando o HTML bruto é uma casca e o JavaScript completa a página.

Perfil mais pesado; use-o apenas quando a saída do navegador alterar o resultado.

Várias solicitações preservando cookies e estado do visitante
03

Sessão com estado

Use sessões quando cookies, consentimento, local ou paginação alterarem a resposta.

Perfil de estado mais pesado; preserve-o apenas quando a continuidade for importante.

Roteamento de solicitações através de rotas geográficas e de maior qualidade
04

Roteamento e geo premium

Use roteamento premium ou geográfico apenas quando a origem, país, reputação ou conteúdo regional alterarem o resultado.

Perfil de roteamento mais pesado; aplique-o apenas a alvos que provem que precisam.

O que torna uma solicitação mais pesada

Mais trabalho de infraestrutura

Renderização de navegador, escolhas de roteamento e esperas mais longas significam que a plataforma precisa fazer mais do que retornar uma simples resposta.

Mais incerteza no alvo

Redirecionamentos, estados vazios, limites de taxa e páginas de desafio frequentemente requerem opções de entrega mais robustas ou tentativas novamente.

Mais estado a preservar

Cookies, sessões, consentimento e fluxos de múltiplas páginas adicionam partes móveis que um fetch sem estado simples não possui.

Mais evidências a retornar

Capturas de tela, PDFs, saída renderizada e artefatos de resposta mais ricos são úteis, mas são mais pesados do que HTML simples.

Como manter o peso das requisições previsível

Amostre antes de escalar

Teste um pequeno conjunto de URLs primeiro e agrupe alvos pelo perfil mais leve que retorna dados completos.

Não renderize por padrão

Inspecione o HTML bruto antes de ativar a renderização. Muitas páginas públicas já contêm os dados que você precisa.

Escalone com base em evidências

Suba apenas quando a resposta mostrar conteúdo ausente, dependência de estado, variação geográfica ou problemas de roteamento.

Meça resultados úteis

Otimize em torno de registros válidos entregues, não no volume bruto de solicitações. Um perfil mais leve é melhor apenas quando permanece completo.

FAQ DE CASOS DE USO

Perguntas comuns sobre casos de uso de web scraping

Respostas práticas para equipes que escolhem o que raspar, como testar uma fonte, quando adicionar controles mais pesados e como manter os fluxos de trabalho de dados públicos da web úteis sem sobrecarregar a solicitação.

Respostas para casos de uso
Solicitações

Fazendo solicitações à API

Para desenvolvedores conectando ScraperFly a agentes, trabalhos, serviços de backend ou testes rápidos.

O que eu envio para ScraperFly?

Envie uma URL alvo mais o formato de saída que você precisa. A API pode retornar HTML, texto limpo, Markdown, JSON, capturas de tela ou PDFs, dependendo das opções de solicitação.

Devo usar GET ou POST?

Ambos podem produzir o mesmo resultado de scraping. GET é conveniente para parâmetros de consulta simples; POST é melhor quando você deseja um corpo JSON claro ou opções de solicitação mais longas.

Posso testar uma solicitação antes de codificar?

Sim. O API Builder gera o endpoint, corpo JSON, parâmetros de consulta e exemplos de código, e depois permite que você envie uma solicitação ao vivo do painel.

Saída

HTML, texto, Markdown e JSON

Escolha a menor saída que seu produto realmente precisa.

Quando devo usar texto limpo?

Use texto limpo quando você precisar de conteúdo de página legível para resumos, classificação, indexação de busca ou prompts de LLM sem marcação de layout.

Para que serve a saída JSON?

JSON é útil quando você quer metadados estruturados, cabeçalhos, links, texto e Markdown em uma única resposta que é mais fácil de inspecionar programaticamente.

Markdown é diferente de texto limpo?

Markdown mantém mais estrutura de conteúdo, como cabeçalhos e listas. Texto limpo é mais plano e melhor quando a formatação é menos importante.

Renderização

Páginas JavaScript

Use renderização de navegador apenas quando a página de destino precisar.

Quando eu ativo render=true?

Ative a renderização para SPAs, páginas de produtos injetadas por JavaScript, conteúdo carregado sob demanda ou páginas onde o HTML fonte não contém os dados que você precisa.

A renderização sempre custa mais?

Sim, o trabalho do navegador é mais pesado do que uma busca HTML básica. Comece sem renderização, depois ative apenas para alvos que realmente exigem a execução de JavaScript.

Posso controlar as dimensões da viewport e o tempo de espera?

Sim. Solicitações de captura de tela e PDF podem usar dimensões de viewport e opções de espera de renderização para que a página capturada tenha tempo de se estabilizar.

Roteamento

Proxies e localização

Roteie solicitações através de pools padrão ou premium quando o comportamento do alvo mudar.

Quando eu preciso de roteamento de proxy premium?

Use roteamento premium para alvos mais rigorosos, taxas de bloqueio mais altas, respostas instáveis ou páginas que se comportam de maneira diferente sob o tráfego normal de datacenter.

Posso solicitar um país?

Sim. Adicione uma opção de país quando o conteúdo alvo depende de localização, moeda, idioma, disponibilidade ou redirecionamentos regionais.

As sessões são suportadas?

Fluxos de trabalho estilo sessão podem reutilizar o contexto entre solicitações relacionadas quando a continuidade é importante para paginação, mudanças de localidade ou scraping em várias etapas.

Arquivos

Capturas de tela e PDFs

Capture páginas renderizadas quando um artefato visual é a saída necessária.

O ScraperFly pode retornar uma captura de tela?

Sim. A saída de captura de tela captura a página renderizada como um arquivo de imagem, incluindo conteúdo renderizado em JavaScript quando a renderização está habilitada.

O ScraperFly pode gerar um PDF?

Sim. A saída em PDF é útil para recibos, relatórios, arquivos, instantâneas de conformidade e páginas que precisam ser salvas como um documento.

Onde os arquivos gerados aparecem?

Usuários registrados no painel podem salvar e baixar artefatos gerados dos logs de solicitações quando a solicitação produz um arquivo para download.

Créditos

Custos e créditos

Créditos rastreiam o trabalho de entrega em vez de infraestrutura ociosa.

Quantos créditos um pedido usa?

Um pedido simples em HTML, texto, Markdown ou JSON geralmente usa menos créditos. Renderização, roteamento premium, capturas de tela e PDFs usam mais porque requerem um trabalho de entrega mais pesado.

Os créditos pay-as-you-go expiram?

Os créditos pay-as-you-go permanecem disponíveis até que você os use. Eles são uma boa opção para cargas de trabalho irregulares ou projetos que não precisam de um plano mensal.

Os créditos de assinatura são acumulados?

Sim. Os créditos do plano mensal se renovam todo mês e os créditos não utilizados são acumulados. Se o pagamento falhar após as tentativas do Stripe, a conta volta para o Pay as you go.

Segurança

Chaves, cabeçalhos e segurança

Mantenha as credenciais em seu backend e encaminhe apenas os cabeçalhos que você pretende usar.

Onde devo armazenar minha chave da API?

Armazene a chave da API no lado do servidor ou em um ambiente confiável. Evite expor chaves de produção em pacotes frontend públicos ou páginas estáticas.

Posso encaminhar cabeçalhos de solicitação?

Sim, cabeçalhos selecionados como user-agent, accept-language, cookie e referer podem ser encaminhados quando um alvo espera um contexto de solicitação realista.

O ScraperFly contorna controles de acesso privados?

Não. É projetado para buscar páginas da web públicas e páginas que você tem permissão para acessar, não para contornar autenticação ou sistemas privados.

Cobrança

Planos, registros e faturas

Use o painel para entender o que aconteceu e por que os créditos mudaram.

Onde posso inspecionar o uso?

O painel registra logs de solicitações, alterações de saldo de crédito, formatos de saída, roteamento de proxy, durações e eventos de cobrança para que você possa auditar o uso.

Posso baixar faturas?

Transações pagas incluem dados de fatura quando o Stripe os fornece, então PDFs de fatura podem ser abertos a partir do log financeiro.

Como gerencio uma assinatura?

Usuários assinantes podem abrir o portal do cliente para alterar detalhes de pagamento, revisar faturas ou cancelar. Usuários gratuitos e de pagamento conforme o uso podem ir para Preços em vez disso.