proxies

Hub de roteamento de proxy para entrega da API de web scraping

Use o roteamento de proxy quando um alvo público provar que o caminho da rede, geografia, reputação, pressão de taxa ou continuidade de sessão mudam a resposta. ScraperFly ajuda equipes a começar leve e escalar a entrega apenas quando as evidências dizem que isso importa.

O roteamento de proxy deve resolver um problema de entrega comprovado, e não se tornar a resposta padrão para cada raspagem falhada. Um fluxo de trabalho forte começa com um pedido simples, inspeciona a resposta e, em seguida, decide se o roteamento rotativo, a entrega premium, o direcionamento por país ou a continuidade da sessão podem melhorar o resultado.

ScraperFly é construído em torno desse caminho de escalonamento prático. Mantenha páginas simples em um perfil de solicitação mais leve, depois adicione roteamento mais forte quando a resposta alvo mostrar acesso bloqueado, comportamento regional, entrega instável ou necessidade de continuidade em solicitações relacionadas.

Escolha o roteamento pelo comportamento alvo que você pode observar

Um alvo pode falhar por muitas razões: entrada malformada, cabeçalhos ausentes, conteúdo renderizado em JavaScript, pressão de taxa, um redirecionamento regional, um caminho de rede bloqueado ou uma página que retorna um status válido, mas conteúdo inútil. O roteamento de proxy ajuda quando o problema está relacionado à entrega, mas deve ser selecionado com base em evidências.

Essas evidências podem incluir códigos de status, URL final, tamanho da resposta, tipo de conteúdo, variação de amostra entre rotas, páginas de desafio visíveis, conteúdo específico de localização e se solicitações relacionadas dependem de cookies ou estado. Quanto mais específicas forem as evidências, mais fácil será escolher o controle certo sem desperdiçar peso de solicitação.

Escolha de roteamento	Use quando	O que ajuda a provar	Hábito de controle de custo
Roteamento padrão	O alvo retorna conteúdo útil em uma solicitação leve	O fluxo de trabalho não precisa de entrega mais pesada	Mantenha isso como o perfil padrão
Proxies rotativos	Solicitações repetidas precisam de distribuição de rotas ou diversidade de entrega	Se a rotação de rotas melhora a estabilidade	Use após comparar amostras, não antes de testar
Roteamento premium	A entrega padrão retorna bloqueios, páginas de desafio ou respostas instáveis	Se uma reputação mais forte muda o resultado capturado	Escalone apenas para alvos que provem que precisam disso
Direcionamento por país	Conteúdo público muda por localização, moeda, idioma, disponibilidade ou regulamentação	Se a geografia muda as evidências da página	Escolha o país exigido pelo fluxo de trabalho
Sessões	Solicitações relacionadas precisam de continuidade, cookies, preferências ou estado compartilhado	Se a persistência muda a resposta	Use sessões dentro de fluxos relacionados, não capturas isoladas

Mantenha a escalonamento de proxy conectado ao diagnóstico

Os recursos de proxy são mais valiosos quando a equipe pode explicar por que estão sendo usados. Um 403 pode sugerir sinais de acesso ou reputação. Um 429 aponta para pressão de taxa. Um redirecionamento regional aponta para direcionamento por país. Uma parede de login ou fluxo de consentimento pode precisar de cabeçalhos, cookies ou sessões. Uma shell JavaScript vazia pode precisar de renderização em vez de roteamento mais forte.

O caminho prático é classificar a resposta primeiro, depois escolher o próximo controle. Isso torna o roteamento de proxy uma parte precisa do fluxo de trabalho, em vez de uma configuração abrangente cara.

Resumo prático: use o caminho de entrega mais leve que retorna evidências de página pública utilizáveis, depois escale o roteamento apenas quando a resposta provar que o caminho simples não é suficiente.

ESCALONAMENTO DE ENTREGA

Escalone o roteamento a partir de evidências de resposta, não de suposições

Um alvo 403, página de desafio, incompatibilidade regional, resposta instável ou falha de rota repetida deve guiar a próxima escolha de entrega. ScraperFly ajuda as equipes a começarem com um perfil leve e a passarem para um roteamento mais forte apenas quando a resposta provar a necessidade.

Uma solicitação HTTP simples retornando uma resposta HTML limpa

Solicitação HTML simples

Use isso primeiro para páginas públicas que já incluem os dados necessários no HTML inicial.

Uma página mudando de uma estrutura HTML vazia para um DOM renderizado após a execução do JavaScript

Renderização JavaScript

Ative a renderização quando o servidor retornar uma estrutura, mas o conteúdo útil da página aparecer somente após a execução do JavaScript.

Cabeçalhos, cookies e estado da sessão preservados entre duas requisições.

Cabeçalhos, cookies e sessões

Use controles de estado do visitante quando o alvo espera continuidade entre requisições ou retorna conteúdo diferente após consentimento, local ou estado de navegação ser definido.

Uma requisição roteada através de um país selecionado e um caminho de proxy de maior reputação

Proxy premium e geográfico

Escalone o roteamento quando a resposta depende da origem da requisição, reputação do IP ou geografia do alvo.

Um fluxo de automação de navegador com etapas de busca, filtros, rolagem e captura de dados.

Fluxo de navegador

Use um fluxo de navegador completo quando os dados estão atrás de interação em vez de uma única solicitação: caixas de busca, filtros, rolagem, abas ou navegação em múltiplas etapas.

Escalate when:

Solicitação HTML simples

a resposta bruta contém os campos que você precisa, os códigos de status são estáveis e o tamanho/conteúdo da página não colapsam após verificações repetidas.

Detalhes do produto, texto do artigo, documentação ou listagens são visíveis na resposta HTML.
A URL final, status e comprimento do conteúdo permanecem consistentes em uma pequena amostra.
Nenhuma parede de consentimento, estado do visitante ou chamada de API do lado do cliente é necessária para os campos alvo.

Renderização JavaScript

o HTML bruto é principalmente espaços reservados, o DOM renderizado contém os campos alvo, ou dados chave chegam através de solicitações do lado do cliente.

HTML bruto tem contêineres de aplicativo, esqueletos de carregamento ou grades de produtos vazias.
A inspeção do navegador mostra os campos após os scripts terminarem.
Capturas de tela parecem corretas enquanto a resposta HTML sozinha está incompleta.

Cabeçalhos, cookies e sessões

paginação, avaliações, filtros ou fluxos de consentimento dependem do mesmo contexto do visitante em várias requisições.

A primeira requisição define cookies que mudam as respostas posteriores.
Local, consentimento, moeda, carrinho ou estado de filtro devem ser preservados.
A página redireciona ou fica vazia quando as requisições parecem sem estado.

Proxy premium e geográfico

a mesma URL se comporta de maneira diferente por região, retorna 403/429 de uma rota, ou mostra preços, disponibilidade, SERP, anúncios ou dados de catálogo específicos de localização.

Tráfego semelhante ao de datacenter recebe bloqueios enquanto uma rota de maior reputação funciona.
País, idioma, moeda, inventário ou resultados de busca mudam por geo.
Solicitações repetidas acionam limites de taxa ou páginas de desafio em rotas específicas.

Fluxo de navegador

os dados-alvo aparecem apenas após etapas de navegação semelhantes a um usuário, ou áreas protegidas como avaliações, perfis, refinamentos de resultados de busca ou painéis de dados especiais se comportam de maneira diferente de páginas de detalhes simples.

Uma ação de clique, rolagem, busca ou filtro é necessária antes que os campos apareçam.
Avaliações, perfis ou páginas de resultados dinâmicos carregam em etapas separadas.
Tentativas de busca/renderização mais simples retornam conteúdo parcial, páginas de desafio ou estados instáveis.

Stay lower & Credit impact:

Solicitação HTML simples

Stay lower: a página já retorna dados completos. Adicionar renderização ou roteamento premium aqui apenas adiciona latência e uso de crédito sem melhorar o resultado.

Credit impact: perfil de solicitação mais baixo porque evita trabalho de navegador e roteamento especial.

Renderização JavaScript

Stay lower: os campos já estão presentes no HTML bruto. Um site com aparência moderna não significa automaticamente que a renderização JavaScript é necessária.

Credit impact: mais alto que HTML simples porque envolve trabalho de navegador, tempo de espera e recursos da página.

Cabeçalhos, cookies e sessões

Stay lower: conteúdo público é estável sem estado. Não invente sessões para páginas que podem ser buscadas de forma limpa como HTML anônimo.

Credit impact: geralmente moderado; o maior custo é a complexidade operacional e a disciplina de tentativas.

Proxy premium e geográfico

Stay lower: o alvo é globalmente consistente e aceita roteamento normal. Roteamento premium e geográfico deve estar vinculado a evidências, não usado como uma configuração padrão.

Credit impact: pode aumentar o uso de crédito e latência, então aplique isso aos grupos de URL que realmente precisam.

Fluxo de navegador

Stay lower: uma única solicitação HTML ou renderizada já retorna o alvo. Fluxos de navegador são a ferramenta mais forte nesta escada, não o ponto de partida padrão.

Credit impact: perfil de solicitação mais alto porque combina tempo de execução do navegador, esperas, navegação e frequentemente roteamento mais pesado.

Escale por evidência, não por hábito

Para a maioria dos sites públicos, uma solicitação HTML simples ou renderização leve de JavaScript é suficiente. Comece por aí, inspecione a resposta e só então decida se o próximo passo é justificado.
Sinais de anti-bot geralmente são visíveis na resposta: status 403 ou 429 inesperados, redirecionamentos súbitos, HTML pequeno ou vazio, páginas de desafio, telas de CAPTCHA, loops de login ou consentimento, e conteúdo que desaparece após solicitações repetidas.
Alvos grandes e de alto tráfego como Amazon, Google, LinkedIn, Instagram, TikTok e grandes marketplaces frequentemente protegem algumas superfícies de forma agressiva. Eles podem exigir renderização, sessões, roteamento cuidadoso ou um fluxo de navegador, e cada alvo precisa de seu próprio perfil de teste.
A proteção não é uniforme mesmo dentro de um site. Páginas de produto/detalhe podem abrir com um perfil mais leve, enquanto avaliações, perfis, páginas de busca, visualizações sensíveis a preços, painéis de disponibilidade ou dados adjacentes à conta podem exigir uma escalada mais forte.
Configurações de proxy geo e premium afetam tanto o que você recebe quanto quão caro o perfil de solicitação se torna. Use-os quando conteúdo específico do país, reputação de IP ou bloqueios repetidos provarem que eles importam.
O objetivo prático não é ativar todos os controles do ScraperFly. O objetivo é encontrar o nível suficiente que retorne dados completos e repetíveis enquanto mantém o uso de crédito, latência e modos de falha sob controle.

ADEQUAÇÃO DO ROTEAMENTO

Mapeie geografia, reputação e necessidades de sessão antes de escalar

A estratégia de proxy depende do que o alvo realmente muda. Verifique se o conteúdo varia por país, se solicitações repetidas precisam de estado estável, se cabeçalhos ou cookies afetam a resposta e se a entrega padrão retorna dados utilizáveis.

Resposta HTML bruta mapeada para dados visíveis da página

Disponibilidade de HTML bruto

Verifique se os campos que você precisa já estão presentes na primeira resposta HTML.

Melhor primeiro teste para páginas simples, artigos, documentos, listagens e detalhes de produtos.

Comparação antes e depois da renderização do JavaScript

Dependência de JavaScript

Compare HTML bruto com o DOM renderizado ou captura de tela antes de ativar a renderização do navegador.

Use renderização quando o HTML bruto é apenas uma casca e scripts criam o conteúdo útil.

Cookies, consentimento, sessão e contexto de acesso para scraping

Estado e contexto de acesso

Identifique se cookies, consentimento, limites de login, paginação ou o mesmo estado do visitante afetam a resposta.

Use sessões e cabeçalhos quando a continuidade muda os dados que você recebe.

Variações de conteúdo regional entre países e rotas

Variação geo/conteúdo

Teste se país, idioma, moeda, inventário, SERP, anúncios ou reputação da rota mudam o resultado.

Use roteamento geo ou premium apenas quando o alvo provar que a resposta varia por rota.

Perguntas a responder antes de fazer scraping

Onde está o campo alvo?

Verifique se o campo existe no HTML bruto, DOM renderizado, uma chamada de API, dados estruturados, um arquivo ou um estado de interação posterior.

O que muda na resposta?

Amostre algumas URLs e compare status, URL final, comprimento do conteúdo, redirecionamentos, estados vazios e diferenças nos resultados visíveis.

Qual contexto é necessário?

Marque qualquer dependência de consentimento, localidade, cookies, cabeçalhos, limite de autenticação, paginação, filtros ou solicitações anteriores.

Como é a falha?

Defina os sinais para respostas bloqueadas, parciais, obsoletas, redirecionadas, vazias, com tempo esgotado ou com região incompatível antes de escalar.

O que isso muda na configuração da solicitação

Modo de busca

A disponibilidade de HTML bruto decide se a primeira solicitação pode permanecer simples ou precisa de renderização, esperas, capturas de tela ou extração.

Contexto da solicitação

Os requisitos de estado decidem se é necessário adicionar cabeçalhos, cookies, sessões, manuseio de consentimento ou um perfil de visitante estável.

Escolha de roteamento

Descobertas geográficas e de reputação decidem se o roteamento padrão é suficiente ou se uma rota de país/premium é justificada.

Regras de validação

Estados de falha conhecidos se tornam verificações para novas tentativas, escalonamento, revisão de QA e decisão de quando um perfil mais leve ainda está completo.

CONFIGURAÇÃO DE SOLICITAÇÃO

Teste escolhas de rota, país, sessão e saída em um único perfil de solicitação

Um fluxo de trabalho de proxy confiável deve tornar as escolhas de entrega explícitas: roteamento padrão, roteamento premium, direcionamento por país, sessões, cabeçalhos, renderização, esperas e formato de saída. Teste o alvo antes de incorporar o perfil em trabalhos de produção.

HTML

Resposta bruta

HTML bruto para parsers e crawlers

Use o caminho mais rápido para páginas estáticas, listas, documentos e páginas de produtos. Busque o HTML fonte original primeiro e, em seguida, ative a renderização do navegador quando o JavaScript criar a marcação que seu scraper precisa.

format=htmlrender=falserender=true

TXT

Dados limpos

Texto, Markdown e JSON

Pule a camada de limpeza após o acesso à página. Retorne texto legível para agentes, Markdown para prompts e RAG, ou JSON estruturado com metadados, links, cabeçalhos, texto limpo e Markdown pronto para seu pipeline.

format=textformat=markdownformat=json

PDF

Arquivos visuais

Capturas de tela e PDFs

Capture o que um navegador real vê quando você precisa de evidências de QA, provas arquivadas, verificações de regressão visual, relatórios para download ou registros de páginas compartilháveis para clientes e equipes internas.

format=screenshotformat=pdfdownload

Controles que mantêm as solicitações previsíveis

url

A página alvo a ser buscada, renderizada, limpa ou capturada.

format

Selecione a resposta que seu produto precisa: html, texto, markdown, json, captura de tela ou pdf.

premium

Escalonar para roteamento mais forte para bloqueios, alvos instáveis ou conteúdo sensível à localização.

render

Execute o Chromium para SPAs, marcação injetada em JS, capturas de tela, PDFs e páginas apenas para navegador.

country

Solicite uma rota específica do país quando o conteúdo mudar por localização.

keep_headers

Encaminhe o contexto da solicitação selecionada, como user-agent, cookie, idioma e referer.

render_wait

Dê ao conteúdo dinâmico uma espera extra controlada antes da extração ou captura.

download

Retorne artefatos visuais como arquivos para download quando a saída for captura de tela ou PDF.

exemplo de cURL

Gere Markdown com a mesma forma de solicitação que você pode mover para produção

curl "https://scraperfly.com/api/v1?url=https%3A%2F%2Fexample.com&format=markdown" \
  -H "apikey: YOUR_API_KEY"

CUSTO DE ROTEAMENTO

Mantenha a entrega mais forte reservada para alvos que provem que precisam disso

Roteamento premium, renderização de navegador, arquivos visuais e longas esperas podem adicionar peso. O modelo de crédito flexível do ScraperFly permite que as equipes validem o alvo primeiro, depois escolham créditos pay-as-you-go ou mensais uma vez que as necessidades de roteamento e volume estejam claras.

Um pedido HTML leve retornando uma resposta simples

Fetch básico

Use um fetch básico quando o HTML público já contém os campos que você precisa.

Perfil de pedido mais leve; mantenha-o quando a resposta estiver completa.

Renderização

Use renderização quando o HTML bruto é uma casca e o JavaScript completa a página.

Perfil mais pesado; use-o apenas quando a saída do navegador alterar o resultado.

Várias solicitações preservando cookies e estado do visitante

Sessão com estado

Use sessões quando cookies, consentimento, local ou paginação alterarem a resposta.

Perfil de estado mais pesado; preserve-o apenas quando a continuidade for importante.

Roteamento de solicitações através de rotas geográficas e de maior qualidade

Roteamento e geo premium

Use roteamento premium ou geográfico apenas quando a origem, país, reputação ou conteúdo regional alterarem o resultado.

Perfil de roteamento mais pesado; aplique-o apenas a alvos que provem que precisam.

O que torna uma solicitação mais pesada

Mais trabalho de infraestrutura

Renderização de navegador, escolhas de roteamento e esperas mais longas significam que a plataforma precisa fazer mais do que retornar uma simples resposta.

Mais incerteza no alvo

Redirecionamentos, estados vazios, limites de taxa e páginas de desafio frequentemente requerem opções de entrega mais robustas ou tentativas novamente.

Mais estado a preservar

Cookies, sessões, consentimento e fluxos de múltiplas páginas adicionam partes móveis que um fetch sem estado simples não possui.

Mais evidências a retornar

Capturas de tela, PDFs, saída renderizada e artefatos de resposta mais ricos são úteis, mas são mais pesados do que HTML simples.

Como manter o peso das requisições previsível

Amostre antes de escalar

Teste um pequeno conjunto de URLs primeiro e agrupe alvos pelo perfil mais leve que retorna dados completos.

Não renderize por padrão

Inspecione o HTML bruto antes de ativar a renderização. Muitas páginas públicas já contêm os dados que você precisa.

Escalone com base em evidências

Suba apenas quando a resposta mostrar conteúdo ausente, dependência de estado, variação geográfica ou problemas de roteamento.

Meça resultados úteis

Otimize em torno de registros válidos entregues, não no volume bruto de solicitações. Um perfil mais leve é melhor apenas quando permanece completo.

FAQ DE PROXY

Perguntas comuns sobre roteamento de proxy para raspagem da web

Respostas práticas para equipes decidindo quando proxies rotativos, entrega premium, direcionamento por país e sessões pertencem a um fluxo de trabalho de dados da web público.

Respostas de roteamento

Solicitações

Fazendo solicitações à API

Para desenvolvedores conectando ScraperFly a agentes, trabalhos, serviços de backend ou testes rápidos.

O que eu envio para ScraperFly?

Envie uma URL alvo mais o formato de saída que você precisa. A API pode retornar HTML, texto limpo, Markdown, JSON, capturas de tela ou PDFs, dependendo das opções de solicitação.

Devo usar GET ou POST?

Ambos podem produzir o mesmo resultado de scraping. GET é conveniente para parâmetros de consulta simples; POST é melhor quando você deseja um corpo JSON claro ou opções de solicitação mais longas.

Posso testar uma solicitação antes de codificar?

Sim. O API Builder gera o endpoint, corpo JSON, parâmetros de consulta e exemplos de código, e depois permite que você envie uma solicitação ao vivo do painel.

Saída

HTML, texto, Markdown e JSON

Escolha a menor saída que seu produto realmente precisa.

Quando devo usar texto limpo?

Use texto limpo quando você precisar de conteúdo de página legível para resumos, classificação, indexação de busca ou prompts de LLM sem marcação de layout.

Para que serve a saída JSON?

JSON é útil quando você quer metadados estruturados, cabeçalhos, links, texto e Markdown em uma única resposta que é mais fácil de inspecionar programaticamente.

Markdown é diferente de texto limpo?

Markdown mantém mais estrutura de conteúdo, como cabeçalhos e listas. Texto limpo é mais plano e melhor quando a formatação é menos importante.

Renderização

Páginas JavaScript

Use renderização de navegador apenas quando a página de destino precisar.

Quando eu ativo render=true?

Ative a renderização para SPAs, páginas de produtos injetadas por JavaScript, conteúdo carregado sob demanda ou páginas onde o HTML fonte não contém os dados que você precisa.

A renderização sempre custa mais?

Sim, o trabalho do navegador é mais pesado do que uma busca HTML básica. Comece sem renderização, depois ative apenas para alvos que realmente exigem a execução de JavaScript.

Posso controlar as dimensões da viewport e o tempo de espera?

Sim. Solicitações de captura de tela e PDF podem usar dimensões de viewport e opções de espera de renderização para que a página capturada tenha tempo de se estabilizar.

Roteamento

Proxies e localização

Roteie solicitações através de pools padrão ou premium quando o comportamento do alvo mudar.

Quando eu preciso de roteamento de proxy premium?

Use roteamento premium para alvos mais rigorosos, taxas de bloqueio mais altas, respostas instáveis ou páginas que se comportam de maneira diferente sob o tráfego normal de datacenter.

Posso solicitar um país?

Sim. Adicione uma opção de país quando o conteúdo alvo depende de localização, moeda, idioma, disponibilidade ou redirecionamentos regionais.

As sessões são suportadas?

Fluxos de trabalho estilo sessão podem reutilizar o contexto entre solicitações relacionadas quando a continuidade é importante para paginação, mudanças de localidade ou scraping em várias etapas.

Arquivos

Capturas de tela e PDFs

Capture páginas renderizadas quando um artefato visual é a saída necessária.

O ScraperFly pode retornar uma captura de tela?

Sim. A saída de captura de tela captura a página renderizada como um arquivo de imagem, incluindo conteúdo renderizado em JavaScript quando a renderização está habilitada.

O ScraperFly pode gerar um PDF?

Sim. A saída em PDF é útil para recibos, relatórios, arquivos, instantâneas de conformidade e páginas que precisam ser salvas como um documento.

Onde os arquivos gerados aparecem?

Usuários registrados no painel podem salvar e baixar artefatos gerados dos logs de solicitações quando a solicitação produz um arquivo para download.

Créditos

Custos e créditos

Créditos rastreiam o trabalho de entrega em vez de infraestrutura ociosa.

Quantos créditos um pedido usa?

Um pedido simples em HTML, texto, Markdown ou JSON geralmente usa menos créditos. Renderização, roteamento premium, capturas de tela e PDFs usam mais porque requerem um trabalho de entrega mais pesado.

Os créditos pay-as-you-go expiram?

Os créditos pay-as-you-go permanecem disponíveis até que você os use. Eles são uma boa opção para cargas de trabalho irregulares ou projetos que não precisam de um plano mensal.

Os créditos de assinatura são acumulados?

Sim. Os créditos do plano mensal se renovam todo mês e os créditos não utilizados são acumulados. Se o pagamento falhar após as tentativas do Stripe, a conta volta para o Pay as you go.

Segurança

Chaves, cabeçalhos e segurança

Mantenha as credenciais em seu backend e encaminhe apenas os cabeçalhos que você pretende usar.

Onde devo armazenar minha chave da API?

Armazene a chave da API no lado do servidor ou em um ambiente confiável. Evite expor chaves de produção em pacotes frontend públicos ou páginas estáticas.

Posso encaminhar cabeçalhos de solicitação?

Sim, cabeçalhos selecionados como user-agent, accept-language, cookie e referer podem ser encaminhados quando um alvo espera um contexto de solicitação realista.

O ScraperFly contorna controles de acesso privados?

Não. É projetado para buscar páginas da web públicas e páginas que você tem permissão para acessar, não para contornar autenticação ou sistemas privados.

Cobrança

Planos, registros e faturas

Use o painel para entender o que aconteceu e por que os créditos mudaram.

Onde posso inspecionar o uso?

O painel registra logs de solicitações, alterações de saldo de crédito, formatos de saída, roteamento de proxy, durações e eventos de cobrança para que você possa auditar o uso.

Posso baixar faturas?

Transações pagas incluem dados de fatura quando o Stripe os fornece, então PDFs de fatura podem ser abertos a partir do log financeiro.

Como gerencio uma assinatura?

Usuários assinantes podem abrir o portal do cliente para alterar detalhes de pagamento, revisar faturas ou cancelar. Usuários gratuitos e de pagamento conforme o uso podem ir para Preços em vez disso.