Задача по сбору данных может провалиться по многим причинам. Целевая страница может заблокировать запрос. Опции запроса могут быть неверными. У аккаунта может не быть кредитов. Соединение с сервисом также может быть недоступно на короткое время. Простая проверка статуса помогает вам отделить эти случаи.
URL статуса API ScraperFly — это легкая проверка работоспособности. Ваша система может вызывать его по расписанию, сохранять результат и строить небольшую историю доступности сервиса и времени ответа.
Эта страница объясняет простой способ использования проверки статуса. Цель не в том, чтобы заменить журналы запросов. Цель — добавить один четкий сигнал: может ли ваша система в данный момент достучаться до ScraperFly и как быстро отвечает проверка?
Для чего нужен URL статуса API
URL статуса API — это небольшая проверка сервиса. Он сообщает вашему приложению, может ли ScraperFly быть достигнут из того места, где выполняются ваши собственные задачи. Если проверка отвечает с положительным результатом, ваше приложение знает, что основной путь сервиса работает.
Это не означает, что каждый сбор данных будет успешным. Положительная проверка сервиса не исправляет неверный URL, заблокированную целевую страницу, неправильный API ключ, отсутствие кредитного баланса или страницу, которая требует рендеринга JavaScript. Она только отвечает на один простой вопрос: доступен ли сервис ScraperFly прямо сейчас?
Как проверять работоспособность сервиса каждые несколько минут
Практический монитор может вызывать URL статуса API каждые пять минут. Для каждой проверки сохраняйте время, HTTP результат и время ответа. Это дает вашей команде простой обзор доступности с течением времени.
Не стоит слишком быстро реагировать на один медленный или неудачный образец. Сети могут иметь короткие задержки. Лучший монитор ждет повторяющихся сбоев или четкого паттерна медленных времен ответа, прежде чем отправить оповещение.
| Значение для хранения | Почему это полезно |
|---|---|
| HTTP результат | Показывает, ответила ли проверка статуса успешно. |
| Время ответа | Показывает, сколько времени заняла проверка сервиса из вашей среды. |
| Время проверки | Показывает, когда был собран образец. |
| Количество сбоев | Помогает избежать шумных оповещений из-за одной короткой сетевой проблемы. |
Пример журнала статуса
Небольшой таблицы достаточно для многих команд. Вы можете хранить последние несколько часов или дней проверок и отображать их на внутренней панели управления. Таблица ниже — это только пример того, какие данные вы можете хранить.
| Время | Проверка URL | Результат | Время ответа | Примечание |
|---|---|---|---|---|
| 09:00 | /api/v1/status | 200 OK | 142 мс | Проверка сервиса прошла успешно. |
| 09:05 | /api/v1/status | 200 OK | 156 мс | Проверка сервиса прошла успешно. |
| 09:10 | /api/v1/status | 200 OK | 149 мс | Проверка сервиса прошла успешно. |
Как читать статус вместе с журналами запросов
Используйте проверку статуса вместе с обычными журналами сборов данных. Если проверка сервиса успешна, но сбор данных не удался, посмотрите на сам запрос: целевой URL, целевой код состояния, конечный URL, размер ответа, формат вывода, опцию рендеринга, историю повторных попыток и состояние аккаунта.
Если проверка сервиса несколько раз подряд не удалась, рассматривайте это как сигнал о проблемах с подключением к сервису. Приостановите шумные повторные попытки, оставьте неудачные задачи в очереди и повторите их после того, как проверка работоспособности снова станет стабильной.
Что проверка статуса не подтверждает
Проверка статуса не является гарантией того, что целевой веб-сайт вернет используемые данные. Она не тестирует ваш целевой URL. Она не подтверждает, что страница разрешает доступ. Она не подтверждает, что требуется рендеринг JavaScript. Она также не заменяет диагностику на уровне аккаунта, выставления счетов или запросов.
Считайте это одним небольшим операционным сигналом. Он помогает ответить на вопрос, доступен ли ScraperFly. После этого ваши журналы запросов объясняют, что произошло с каждым запросом на сбор данных.
Часто задаваемые вопросы
Как часто мне следует вызывать URL статуса API ScraperFly?
Для небольшого монитора работоспособности проверка каждые пять минут обычно достаточно. Вы можете использовать более короткий интервал, если вашей системе нужны более быстрые оповещения.
Значит ли положительная проверка статуса, что каждый запрос на сбор данных будет работать?
Нет. Положительная проверка статуса означает только то, что сервис доступен. Ошибки целевой страницы, неправильные опции запроса, проблемы с аккаунтом, ограничения по скорости и блокировки доступа все еще требуют диагностики на уровне запроса.
Должен ли я остановить все задачи по сбору данных после одной неудачной проверки статуса?
Обычно нет. Одна неудачная проверка может быть кратковременной сетевой проблемой. Лучше подождать повторяющихся сбоев, прежде чем приостанавливать задачи или отправлять оповещение.