Um trabalho de scraping pode falhar por várias razões. A página de destino pode bloquear a solicitação. As opções de solicitação podem estar erradas. A conta pode não ter créditos. A conexão com o serviço também pode estar indisponível por um curto período. Uma simples verificação de status ajuda a separar esses casos.
A URL da API de status do ScraperFly é uma verificação de saúde leve. Seu sistema pode chamá-la em um cronograma, armazenar o resultado e construir um pequeno histórico de disponibilidade do serviço e tempo de resposta.
Esta página explica uma maneira simples de usar a verificação de status. O objetivo não é substituir os logs de solicitação. O objetivo é adicionar um sinal claro: seu sistema pode alcançar o ScraperFly agora e quão rápido a verificação responde?
Para que serve a URL da API de status
A URL da API de status é uma pequena verificação de serviço. Ela informa ao seu aplicativo se o ScraperFly pode ser alcançado do local onde seus próprios trabalhos são executados. Se a verificação responder com um resultado saudável, seu aplicativo sabe que o caminho básico do serviço está funcionando.
Isso não significa que todo scraping terá sucesso. Uma verificação de serviço saudável não corrige uma URL ruim, uma página de destino bloqueada, uma chave de API errada, um saldo de crédito ausente ou uma página que precisa de renderização em JavaScript. Ela apenas responde a uma pergunta simples: o serviço ScraperFly é acessível agora?
Como verificar a saúde do serviço a cada poucos minutos
Um monitor prático pode chamar a URL da API de status a cada cinco minutos. Para cada verificação, armazene o horário, o resultado HTTP e o tempo de resposta. Isso dá à sua equipe uma visão simples da disponibilidade ao longo do tempo.
Não alerte sobre uma amostra lenta ou falhada muito rapidamente. Redes podem ter pequenos atrasos. Um monitor melhor espera por falhas repetidas ou um padrão claro de tempos de resposta lentos antes de enviar um alerta.
| Valor a armazenar | Por que ajuda |
|---|---|
| Resultado HTTP | Mostra se a verificação de status respondeu com sucesso. |
| Tempo de resposta | Mostra quanto tempo a verificação de serviço levou do seu ambiente. |
| Hora da verificação | Mostra quando a amostra foi coletada. |
| Contagem de falhas | Ajuda a evitar alertas barulhentos de um curto problema de rede. |
Exemplo de log de status
Uma pequena tabela é suficiente para muitas equipes. Você pode manter as últimas horas ou dias de verificações e mostrá-las em um painel interno. A tabela abaixo é apenas um exemplo do tipo de dados que você pode armazenar.
| Hora | URL da verificação | Resultado | Tempo de resposta | Nota |
|---|---|---|---|---|
| 09:00 | /api/v1/status | 200 OK | 142 ms | Verificação de serviço aprovada. |
| 09:05 | /api/v1/status | 200 OK | 156 ms | Verificação de serviço aprovada. |
| 09:10 | /api/v1/status | 200 OK | 149 ms | Verificação de serviço aprovada. |
Como ler o status junto com os logs de solicitação
Use a verificação de status junto com os logs normais de scraping. Se a verificação de serviço estiver saudável, mas um scraping falhar, olhe para a solicitação em si: URL de destino, código de status de destino, URL final, tamanho da resposta, formato de saída, opção de renderização, histórico de tentativas e estado da conta.
Se a verificação de serviço falhar muitas vezes seguidas, trate isso como um sinal de conectividade do serviço. Pause tentativas barulhentas, mantenha os trabalhos falhados em uma fila e tente novamente após a verificação de saúde estar estável novamente.
O que a verificação de status não prova
A verificação de status não é uma garantia de que um site de destino retornará dados utilizáveis. Ela não testa sua URL de destino. Não confirma que uma página permite acesso. Não confirma que a renderização em JavaScript é necessária. Também não substitui diagnósticos de conta, cobrança ou nível de solicitação.
Pense nisso como um pequeno sinal operacional. Ele ajuda a responder se o ScraperFly é acessível. Depois disso, seus logs de solicitação explicam o que aconteceu com cada solicitação de scraping.
FAQ
Com que frequência devo chamar a URL da API de status do ScraperFly?
Para um pequeno monitor de saúde, verificar a cada cinco minutos geralmente é suficiente. Você pode usar um intervalo mais curto se seu próprio sistema precisar de alertas mais rápidos.
Uma verificação de status saudável significa que cada solicitação de scraping funcionará?
Não. Uma verificação de status saudável apenas significa que o serviço pode ser alcançado. Erros de destino, opções de solicitação erradas, problemas de conta, limites de taxa e bloqueios de acesso ainda precisam de diagnósticos em nível de solicitação.
Devo parar todos os trabalhos de scraping após uma verificação de status falhada?
Normalmente não. Uma verificação falhada pode ser um curto problema de rede. É melhor esperar por falhas repetidas antes de pausar trabalhos ou enviar um alerta.