request control

Anforderungssteuerungshub für zuverlässige Web-Scraping-API-Workflows

Verwenden Sie Anforderungssteuerungen, um das Scraping-Verhalten explizit zu machen: die richtigen Header senden, Cookies bei Bedarf beibehalten, GET oder POST wählen, leeres HTML diagnostizieren, 403 von 429 trennen und nur eskalieren, wenn die Beweise der Antwort dies rechtfertigen.

Die Kontrolle über Anfragen ist der Unterschied zwischen Raten und dem gezielten Betreiben eines Scraping-Workflows. Eine nützliche API-Anfrage sollte die Ziel-URL, Methode, Header, Cookies, User-Agent, Sprache, Authentifizierung, Rendering-Wahl, Wartezeiten, Antwortformat und Wiederholverhalten ausreichend sichtbar machen, um sie zu debuggen.

ScraperFly ist für diesen praktischen Weg gebaut. Beginnen Sie mit der leichtesten Anfrage, überprüfen Sie die Beweise und fügen Sie dann die spezifische Kontrolle hinzu, die das Ziel tatsächlich benötigt. Dies hält einfache Seiten einfach und macht schwierigere Ziele leichter nachvollziehbar.

Verwenden Sie Anfragekontrollen, um die Antwort zu erklären

Ein fehlgeschlagener oder unvollständiger Scrape ist nicht immer ein Proxy-Problem, ein Rendering-Problem oder ein Zielproblem. Es kann ein fehlender Header, ein falscher Inhaltstyp, ein Sprachmismatch, ein Cookie-Kontinuitätsproblem, ein Ratenlimit, eine übergroße Antwort, eine Weiterleitung oder ein Browser-Warteproblem sein, das nicht mit der Art und Weise übereinstimmt, wie die Seite geladen wird.

Die Aufgabe eines Anfragekontroll-Workflows besteht darin, diese Fälle zu trennen. Jede Kontrolle sollte eine spezifische Frage beantworten: Erwartet das Ziel einen User-Agent? Benötigt es eine akzeptierte Sprache? Ist es auf Cookies angewiesen? Enthält das Quell-HTML die Daten? Hat das Ziel 403, 429, 5xx oder eine kleine HTML-Schale zurückgegeben?

Kontrollbereich	Verwenden Sie es, wenn	Was es hilft zu beweisen	Häufiger nächster Schritt
Header und User-Agent	Das Ziel erwartet Sprache, Inhaltstyp, Referer oder realistischen Anfragekontext	Ob die Antwort sich ändert, wenn ein legitimer Kontext vorhanden ist	Status, Inhaltstyp und Antwortgröße vergleichen
Cookies und Sitzungen	Das Verhalten öffentlicher Seiten hängt von Kontinuität, Präferenzen, Zustimmung oder verwandten Anfragen ab	Ob der Zustand den erfassten Inhalt ändert	Cookies nur innerhalb verwandter Workflows speichern
Fehler und Ratenlimits	Die Antwort gibt 403, 429, 5xx, Timeout, Weiterleitung oder leeren Inhalt zurück	Ob der Fehler Eingabe-, Druck-, Routing-, Ziel- oder Renderverhalten ist	Wiederholen, zurückziehen, Kontext anpassen oder mit Beweisen eskalieren
Antwortgröße und -format	Die Antwort ist zu groß, zu klein oder nicht für das nachgelagerte System geformt	Ob der Workflow eine engere Erfassung oder ein anderes Ausgabeformat benötigt	Wählen Sie HTML, Text, Markdown, JSON-Metadaten, Screenshot oder PDF

Eskalieren Sie aus Beweisen, nicht aus Frustration

Es ist verlockend, jeden Scrape zu beheben, indem man Rendering, Premium-Routing, lange Wartezeiten, Sitzungen und mehr Wiederholungen hinzufügt. Das kann manchmal funktionieren, macht jedoch jede Anfrage schwerer und schwieriger zu diagnostizieren. Ein besserer Workflow liest zuerst die Antwort.

Wenn die Seite Quell-HTML mit nützlichen Daten zurückgibt, halten Sie die Anfrage leicht. Wenn die Seite eine JavaScript-Schale zurückgibt, testen Sie das Rendering. Wenn das Ziel die Anfrage blockiert, vergleichen Sie Header, User-Agent, Länder-Routing oder Premium-Lieferung. Wenn die Antwort zu groß ist, verengen Sie die Erfassung. Wenn die Anfrage ratenbegrenzt ist, ziehen Sie sich zurück, anstatt den Druck zu erhöhen.

Praktische Erkenntnis: Jede Anfragekontrolle sollte einen Grund haben. Verwenden Sie den kleinsten Kontrollsatz, der die Zielantwort in verwertbare Beweise umwandelt.

ANFRAGEANPASSUNG

Kartieren Sie das Zielverhalten, bevor Sie die Anfragekontrollen ändern

Header, Cookies, Sitzungen, Rendering, Wartezeiten, Routing und Wiederholungen sollten eine zielgerichtete Frage beantworten. Vergleichen Sie die Quellantwort, die gerenderte Ausgabe, den Status, die endgültige URL, die Größe und den Inhaltstyp, bevor Sie das Anfrageprofil ändern.

Roh-HTML-Antwort, die auf sichtbare Seitendaten abgebildet ist

Verfügbarkeit von Roh-HTML

Überprüfen Sie, ob die benötigten Felder bereits in der ersten HTML-Antwort vorhanden sind.

Bester erster Test für einfache Seiten, Artikel, Dokumente, Listen und Produktdetails.

Vergleich vor und nach der JavaScript-Rendering

JavaScript-Abhängigkeit

Vergleichen Sie das Roh-HTML mit dem gerenderten DOM oder Screenshot, bevor Sie das Browser-Rendering aktivieren.

Verwenden Sie Rendering, wenn das Roh-HTML nur eine Hülle ist und Skripte den nützlichen Inhalt erstellen.

Cookies, Zustimmung, Sitzung und Zugriffs-Kontext für das Scraping

Status & Zugriffs-Kontext

Identifizieren Sie, ob Cookies, Zustimmung, Anmeldegrenzen, Pagination oder der gleiche Besucherstatus die Antwort beeinflussen.

Verwenden Sie Sitzungen und Header, wenn die Kontinuität die Daten, die Sie erhalten, verändert.

Regionale Inhaltsvariationen über Länder und Routen hinweg

Geo-/Inhaltsvariation

Testen Sie, ob Land, Sprache, Währung, Inventar, SERP, Anzeigen oder Routenreputation das Ergebnis verändern.

Verwenden Sie Geo- oder Premium-Routing nur, wenn sichergestellt ist, dass die Antwort je nach Route variiert.

Fragen, die vor dem Scraping beantwortet werden müssen

Wo befindet sich das Ziel-Feld?

Finden Sie heraus, ob das Feld im Roh-HTML, im gerenderten DOM, einem API-Aufruf, strukturierten Daten, einer Datei oder einem späteren Interaktionszustand vorhanden ist.

Was ändert die Antwort?

Probieren Sie einige URLs aus und vergleichen Sie Status, endgültige URL, Inhaltslänge, Weiterleitungen, leere Zustände und sichtbare Ergebnisunterschiede.

Welcher Kontext ist erforderlich?

Markieren Sie alle Abhängigkeiten von Zustimmung, Gebietsschema, Cookies, Headern, Authentifizierungsgrenzen, Paginierung, Filtern oder vorherigen Anfragen.

Wie sieht ein Fehler aus?

Definieren Sie die Signale für blockierte, teilweise, veraltete, umgeleitete, leere, zeitüberschreitende oder regionsfremde Antworten, bevor Sie skalieren.

Was sich in der Anfrageeinrichtung ändert

Abrufmodus

Die Verfügbarkeit von Roh-HTML entscheidet, ob die erste Anfrage einfach bleiben kann oder Rendering, Wartezeiten, Screenshots oder Extraktion benötigt.

Anfragekontext

Statusanforderungen entscheiden, ob Header, Cookies, Sitzungen, Zustimmungsverwaltung oder ein stabiler Besucherprofil hinzugefügt werden müssen.

Routing-Wahl

Geo- und Reputationsfunde entscheiden, ob das Standard-Routing ausreicht oder eine Länder-/Premium-Route gerechtfertigt ist.

Validierungsregeln

Bekannte Fehlerzustände werden zu Prüfungen für Wiederholungen, Eskalationen, QA-Überprüfungen und zur Entscheidung, wann ein leichteres Profil dennoch vollständig ist.

Fehlerbehandlung

Verwandeln Sie Scraping-Fehler in Lösungen

Jeder Webdaten-Workflow trifft schließlich auf eine schlechte Antwort: eine fehlende URL, einen ungültigen Schlüssel, eine leere HTML-Hülle, ein Ziel 403, ein Ratenlimit, ein Render-Timeout, eine fehlerhafte PDF-Erfassung oder eine JSON-Nutzlast, die nicht die Felder enthält, die Ihr Produkt erwartet hat. ScraperFly ist so konzipiert, dass diese Momente diagnostizierbar sind. Sie überprüfen den HTTP-Status, den stabilen Fehlercode, das Anfrageprofil und das zurückgegebene Artefakt und wählen dann den kostengünstigsten nützlichen nächsten Schritt: die Anfrage beheben, Credits hinzufügen, verlangsamen, mit Backoff erneut versuchen, Rendering aktivieren, das Land ändern, Premium-Routing verwenden, Header beibehalten oder die Ausgabe vor der Skalierung validieren.

Stabile FehlerformEntscheidungen zum erneuten VersuchKostenbewusste EskalationAusgabevalidierung

Entwickler, der Code und API-Anforderungsparameter auf einem Laptop überprüft

01 / Anforderungssetup und Zugriff

Beheben Sie zuerst Anforderungsfehler

Einige Fehler sind überhaupt keine Zielprobleme. Sie treten auf, bevor ScraperFly einen sinnvollen Zustellversuch unternehmen kann: eine fehlende oder fehlerhafte URL, ein nicht unterstütztes Ausgabeformat, ein inkompatibler visueller Dateityp, ein fehlender API-Schlüssel, ein ungültiger Schlüssel oder ein Schlüssel, der pausiert oder deaktiviert wurde. Diese Fehler sind Konfigurationssignale, keine Wiederholsignale: Stoppen Sie den Workflow, weisen Sie den Entwickler auf das genaue Feld hin, das korrigiert werden muss, und konzentrieren Sie die Credits auf echte Zieltests anstelle wiederholter fehlerhafter Eingaben.

missing_urlinvalid_urlunsupported_formatinvalid_api_key

Validieren Sie die URL und die Kodierung, bevor Sie einen Batch senden.
Verwenden Sie unterstützte Ausgaben: HTML, Text, Markdown, JSON, Screenshot oder PDF.
Passen Sie die Screenshot-Dateitypen an den Bildausgang und den PDF-Dateityp an den PDF-Ausgang an.
Behandeln Sie fehlende oder ungültige API-Schlüssel als Konfigurationsarbeit, nicht als Wiederholungsarbeit.

Business-Dashboard mit Diagrammen, Dokumenten und Nutzungsplanung auf einem Schreibtisch

02 / Credits, Limits und Parallelität

Trennen Sie Limits von Fehlern

Eine Arbeitslast kann fehlschlagen, weil das Konto keine verwendbaren Credits hat, das monatliche Planlimit erreicht wurde oder die Parallelität für den aktuellen Plan und die Zielmischung zu aggressiv ist. ScraperFly macht diese Grenzen als Betriebssignale sichtbar, nicht als mysteriöse Scrape-Fehler. Das hält die Kaufentscheidung praktisch: kostenlos starten, das Ziel testen, Pay-as-you-go-Credits für unregelmäßige Jobs kaufen, auf monatliche Credits umsteigen, wenn das Volumen vorhersehbar wird, und Backoff verwenden, wenn der Anforderungsdruck das eigentliche Problem ist.

usage_limit_reachedrate_limitedcreditsBackoff

Verwenden Sie den Kontostatus, um verbleibende Credits vor großen Ausführungen zu überprüfen.
Wiederholen Sie die Ratenlimits mit Backoff, anstatt sofort den Druck zu erhöhen.
Halten Sie einmalige Projekte im Pay-as-you-go-Modell, wenn das Volumen unregelmäßig ist.
Verschieben Sie vorhersehbare wiederkehrende Arbeiten auf monatliche Credits, wenn das Muster bewiesen ist.

Serverraum, der Lieferwege, Routing und Netzwerk-Infrastruktur darstellt

03 / Zielzustellung und Netzwerk

Finden Sie zuerst Lieferfehler

Viele Scraping-Plattformen fassen Lieferprobleme in einem vagen Anforderungsfehler zusammen. In der Produktion ist das nicht genug. Das Team muss wissen, ob die Anfrage zeitlich abgelaufen ist, das Ziel upstream einen vorübergehenden Serverfehler zurückgegeben hat, die Verbindung fehlgeschlagen ist, die Antwort zu groß war, Weiterleitungen irgendwo unerwartet gingen oder die Seite als winziges HTML ohne nützlichen Inhalt zurückkam. ScraperFly verwandelt diese Fehler in Liefernachweise: Versuchen Sie zuerst das leichte Profil, vergleichen Sie den Status und die Antwortgröße, und entscheiden Sie dann, ob die nächste Anfrage Backoff, eine andere Route, einen Premium-Proxy, Länderauswahl oder eine engere Erfassung benötigt.

Zeitüberschreitung5xxWeiterleitungenAntwort_zu_groß

Wiederholen Sie vorübergehende Netzwerk- und Upstream-Fehler mit einer kontrollierten Backoff-Politik.
Vergleichen Sie die endgültige URL, den Status, den Inhaltstyp und die Antwortgröße über die Proben.
Eskalieren Sie das Routing nur, wenn die Antwort beweist, dass der einfache Pfad instabil ist.
Behandeln Sie übergroße Antworten als ein Umfangsproblem, bevor Sie dasselbe Profil skalieren.

Digitaler Sicherheitsbildschirm, der Anti-Bot- und geschützte Zugriffssignale darstellt

04 / Anti-Bot-, Geo- und Zugriffsblöcke

Blöcke lesen, bevor Sie eskalieren

Ein Ziel 403, 401, 429, CAPTCHA-Bildschirm, WAF-Herausforderung, Login-Wall, Einwilligungsloop oder regionsspezifische Fehlanpassung ist nicht nur ein Fehler; es ist ein Hinweis darauf, was die Website vom Besucher erwartet. Wettbewerber drängen oft Teams zu einem schwereren Standardprofil, aber das kann das Budget belasten, ohne die Lösung zu beweisen. Der bessere Weg von ScraperFly ist eine evidenzbasierte Eskalation: realistische Header beibehalten, wenn der Kontext wichtig ist, Sitzungen verwenden, wenn die Kontinuität die Antwort ändert, Rendering aktivieren, wenn der nützliche Inhalt browserbasiert ist, und Premium- oder Länderrouting wählen, wenn Reputation oder Geografie das Ergebnis ändern.

403429CAPTCHALänderfehlanpassung

Verwenden Sie Premium-Routing, wenn die IP-Reputation der nachgewiesene Engpass ist.
Verwenden Sie Ländermarkierung, wenn Sprache, Währung, Inventar oder Suchergebnisse je nach Markt variieren.
Verwenden Sie Header, Cookies und Sitzungen, wenn sich der Zustand des Besuchers auf die Antwort auswirkt.
Reduzieren Sie die Parallelität und fügen Sie Backoff hinzu, wenn wiederholte Anfragen die Ziel-Drosselung auslösen.

Entwickler, der Code und Ausgabeartefakte auf einem Laptop vorbereitet

05 / Rendering- und Ausgabequalität

Nutzbare Artefakte versenden

Ein 200-Status ist nicht dasselbe wie ein nutzbarer Scrape. Das rohe HTML kann eine leere App-Schale sein, Markdown kann den Hauptartikel verpassen, JSON kann erwartete Metadaten fehlen, Text kann Rauschen enthalten, Screenshots können leer sein, und PDF- oder Bildausgaben können fehlschlagen, wenn der Browser-Schritt abläuft. ScraperFly ist wertvoll, weil dieselbe API-Anfrage von rohem HTML zu gerendertem DOM, sauberem Text, Markdown, JSON, Screenshot oder PDF wechseln kann und dann gegen das Artefakt überprüft wird, das Ihr Produkt tatsächlich benötigt. Das reduziert Klebekode, fehlgeschlagene Importe und teure Batchläufe, die nur nachträglich schlechte Ausgaben entdecken.

render_timeoutbrowser_render_failedJSON-FelderPDF/Bildausgabe

Rendering aktivieren, wenn rohes HTML nur eine Schale ist und der nützliche Inhalt nach JavaScript erscheint.
Validieren Sie Text, Markdown und JSON gegen erwartete Felder, bevor Sie sie batchen.
Verwenden Sie Screenshot- oder PDF-Ausgaben, wenn visuelle Beweise oder Prüfungsnachweise wichtig sind.
Behandeln Sie leere oder teilweise Artefakte als Qualitätsfehler, selbst wenn der HTTP-Status erfolgreich ist.

ScraperFly passt

Sauberere Fehlerbehebung

ScraperFly hilft Teams zu entscheiden, was zu beheben, was erneut zu versuchen und was zu eskalieren ist, ohne jede Abfrage in das teuerste Anfrageprofil zu verwandeln.

Stabile Fehlerform

Verwenden Sie HTTP-Status und Fehlercode zusammen, damit die Anwendungslogik zwischen der Behebung von Eingaben, dem Aktualisieren von Anmeldeinformationen, dem Verlangsamen, dem erneuten Versuch oder der Eskalation der Lieferung wählen kann.

Nur bei Bedarf erneut versuchen

Netzwerkfehler, Ratenlimits und temporäre Serverfehler können mit Backoff behandelt werden. Ungültige URLs, nicht unterstützte Formate und fehlerhafte Schlüssel sollten einmal korrigiert werden.

Kostenbewusste Eskalation

Beginnen Sie mit dem leichten Anfrageprofil und fügen Sie Rendering, Premium-Routing, Länder, Sitzungen, Header, Wartezeiten oder visuelle Erfassung nur hinzu, wenn der Fehler dies beweist.

Ausgabe vor der Skalierung validieren

Bestätigen Sie das tatsächliche Artefakt, das Ihr Produkt benötigt: HTML, Text, Markdown, JSON, Screenshot oder PDF, bevor Sie dasselbe Profil über ein großes URL-Set kopieren.

API-BAUER

Testen Sie Header, Cookies, Methode, Rendering und Ausgabe vor der Produktion

Bauen Sie das Anfrageprofil kontrolliert auf, bevor Sie es in einen Job integrieren. Das erleichtert es zu sehen, ob ein Header, Cookie, Render-Flag, Wartezeit oder Ausgabeformat tatsächlich das erfasste Ergebnis ändert.

HTML

Rohantwort

Roh-HTML für Parser und Crawler

Verwenden Sie den schnellsten Pfad für statische Seiten, Listen, Dokumente und Produktseiten. Holen Sie sich zuerst das ursprüngliche Quell-HTML und schalten Sie dann das Browser-Rendering ein, wenn JavaScript das Markup erstellt, das Ihr Scraper benötigt.

format=htmlrender=falserender=true

TXT

Saubere Daten

Text, Markdown und JSON

Überspringen Sie die Bereinigungsschicht nach dem Seitenzugriff. Geben Sie lesbaren Text für Agenten, Markdown für Eingabeaufforderungen und RAG oder strukturiertes JSON mit Metadaten, Links, Überschriften, sauberem Text und Markdown zurück, das bereit für Ihre Pipeline ist.

format=textformat=markdownformat=json

PDF

Visuelle Dateien

Screenshots und PDFs

Erfassen Sie, was ein echter Browser sieht, wenn Sie QA-Beweise, archivierte Nachweise, visuelle Regressionstests, herunterladbare Berichte oder teilbare Seitenaufzeichnungen für Kunden und interne Teams benötigen.

format=screenshotformat=pdfdownload

Steuerungen, die Anfragen vorhersehbar halten

url

Die Zielseite, die abgerufen, gerendert, bereinigt oder erfasst werden soll.

format

Wählen Sie die Antwort, die Ihr Produkt benötigt: html, text, markdown, json, screenshot oder pdf.

premium

Erhöhen Sie die Routing-Stärke für Blockaden, instabile Ziele oder geo-sensible Inhalte.

render

Führen Sie Chromium für SPAs, JS-injizierte Markups, Screenshots, PDFs und nur im Browser verfügbare Seiten aus.

country

Fordern Sie eine länderspezifische Route an, wenn sich der Inhalt je nach Standort ändert.

keep_headers

Leiten Sie den ausgewählten Anfragekontext wie Benutzer-Agent, Cookie, Sprache und Referer weiter.

render_wait

Geben Sie dynamischen Inhalten eine kontrollierte zusätzliche Wartezeit vor der Extraktion oder Erfassung.

download

Geben Sie visuelle Artefakte als herunterladbare Dateien zurück, wenn die Ausgabe Screenshot oder PDF ist.

cURL-Beispiel

Generieren Sie Markdown mit derselben Anfrageform, die Sie in die Produktion überführen können.

curl "https://scraperfly.com/api/v1?url=https%3A%2F%2Fexample.com&format=markdown" \
  -H "apikey: YOUR_API_KEY"

ANFRAGEGEWICHT

Halten Sie Kontrolländerungen an Kosten und Beweisen fest

Das Hinzufügen von Rendering, Premium-Routing, Downloads, Screenshots, PDFs, Wartezeiten oder wiederholten Wiederholungen kann das Anfragegewicht erhöhen. ScraperFly hilft Teams, einfache Seiten leicht zu halten und nur dann zu eskalieren, wenn die Antwort beweist, dass es sich lohnt.

Eine leichte HTML-Anfrage, die eine einfache Antwort zurückgibt

Einfacher Abruf

Verwenden Sie einen einfachen Abruf, wenn das öffentliche HTML bereits die benötigten Felder enthält.

Leichtestes Anfrageprofil; behalten Sie es, wenn die Antwort vollständig ist.

Rendering

Verwenden Sie Rendering, wenn rohes HTML eine Hülle ist und JavaScript die Seite vervollständigt.

Schwereres Profil; verwenden Sie es nur, wenn die Browserausgabe das Ergebnis ändert.

Mehrere Anfragen, die Cookies und den Besucherstatus beibehalten

Zustandsbehaftete Sitzung

Verwenden Sie Sitzungen, wenn Cookies, Zustimmung, Sprache oder Paginierung die Antwort ändern.

Schwereres Zustandsprofil; bewahren Sie es nur, wenn Kontinuität wichtig ist.

Anforderungsrouting über Geo- und hochwertigere Routen

Premium-Routing & Geo

Verwenden Sie Premium-Routing oder Geo nur, wenn Herkunft, Land, Ruf oder regionale Inhalte das Ergebnis ändern.

Schwerstes Routing-Profil; wenden Sie es nur auf Ziele an, die nachweisen, dass sie es benötigen.

Was eine Anfrage schwerer macht

Mehr Infrastrukturarbeit

Browser-Rendering, Routing-Entscheidungen und längere Wartezeiten bedeuten, dass die Plattform mehr tun muss, als nur eine einfache Antwort zurückzugeben.

Mehr Zielunsicherheit

Weiterleitungen, leere Zustände, Ratenlimits und Challenge-Seiten erfordern oft stärkere Lieferoptionen oder Wiederholungen.

Mehr Zustand zu bewahren

Cookies, Sitzungen, Einwilligungen und mehrseitige Abläufe fügen bewegliche Teile hinzu, die ein einfacher zustandsloser Abruf nicht hat.

Mehr Beweise zurückzugeben

Screenshots, PDFs, gerenderte Ausgaben und reichhaltigere Antwortartefakte sind nützlich, aber sie sind schwerer als einfaches HTML.

Wie man das Anfragegewicht vorhersehbar hält

Beispiel vor der Skalierung

Testen Sie zuerst eine kleine URL-Gruppe und gruppieren Sie Ziele nach dem leichtesten Profil, das vollständige Daten zurückgibt.

Standardmäßig nicht rendern

Überprüfen Sie das rohe HTML, bevor Sie das Rendering aktivieren. Viele öffentliche Seiten enthalten bereits die Daten, die Sie benötigen.

Eskalieren Sie anhand von Beweisen

Steigen Sie nur auf, wenn die Antwort fehlende Inhalte, Zustandsabhängigkeit, geo-variationen oder Routing-Probleme zeigt.

Nützliche Ergebnisse messen

Optimieren Sie basierend auf gültigen gelieferten Datensätzen, nicht auf dem Rohanfragevolumen. Ein leichteres Profil ist nur dann am besten, wenn es vollständig bleibt.

ANFRAGE-FAQ

Häufige Fragen zu Anfragekontrollen beim Scraping

Praktische Antworten für Teams, die entscheiden, welche Header, Cookies, Sitzungen, User-Agent, Wiederholungen, Rendering und Diagnosen in einen zuverlässigen Scraping-Workflow gehören.

Anfrageantworten

Anfragen

API-Anfragen stellen

Für Entwickler, die ScraperFly in Agenten, Jobs, Backend-Dienste oder schnelle Tests integrieren.

Was sende ich an ScraperFly?

Senden Sie eine Ziel-URL plus das benötigte Ausgabeformat. Die API kann je nach Anfrageoptionen HTML, reinen Text, Markdown, JSON, Screenshots oder PDFs zurückgeben.

Sollte ich GET oder POST verwenden?

Beide können dasselbe Scraping-Ergebnis produzieren. GET ist praktisch für einfache Abfrageparameter; POST ist besser, wenn Sie einen klaren JSON-Body oder längere Anfrageoptionen wünschen.

Kann ich eine Anfrage testen, bevor ich code?

Ja. Der API Builder generiert den Endpunkt, den JSON-Body, die Abfrageparameter und Codebeispiele und ermöglicht es Ihnen dann, eine Live-Anfrage vom Dashboard aus zu senden.

Ausgabe

HTML, Text, Markdown und JSON

Wählen Sie die kleinste Ausgabe, die Ihr Produkt tatsächlich benötigt.

Wann sollte ich sauberen Text verwenden?

Verwenden Sie sauberen Text, wenn Sie lesbaren Seiteninhalt für Zusammenfassungen, Klassifizierungen, Suchindizierungen oder LLM-Eingabeaufforderungen ohne Layout-Markup benötigen.

Wofür ist die JSON-Ausgabe?

JSON ist nützlich, wenn Sie strukturierte Metadaten, Überschriften, Links, Text und Markdown in einer Antwort wünschen, die einfacher programmgesteuert zu inspizieren ist.

Unterscheidet sich Markdown von sauberem Text?

Markdown behält mehr Inhaltsstruktur, wie Überschriften und Listen. Sauberer Text ist flacher und besser, wenn die Formatierung weniger wichtig ist.

Rendering

JavaScript-Seiten

Verwenden Sie die Browserdarstellung nur, wenn die Zielseite dies benötigt.

Wann aktiviere ich render=true?

Aktivieren Sie das Rendering für SPAs, JavaScript-injizierte Produktseiten, lazy-loaded Inhalte oder Seiten, auf denen der Quell-HTML nicht die benötigten Daten enthält.

Kostet Rendering immer mehr?

Ja, die Arbeit des Browsers ist schwerer als ein einfacher HTML-Abruf. Beginnen Sie ohne Rendering und aktivieren Sie es nur für Ziele, die tatsächlich die Ausführung von JavaScript erfordern.

Kann ich Ansichtsport und Wartezeit steuern?

Ja. Screenshot- und PDF-Anfragen können Ansichtsportdimensionen und Render-Warteoptionen verwenden, damit die erfasste Seite Zeit hat, sich zu stabilisieren.

Routing

Proxys und Standort

Leiten Sie Anfragen durch Standard- oder Premium-Pools, wenn sich das Zielverhalten ändert.

Wann benötige ich Premium-Proxy-Routing?

Verwenden Sie Premium-Routing für strengere Ziele, höhere Blockraten, instabile Antworten oder Seiten, die sich unter normalem Rechenzentrumsverkehr anders verhalten.

Kann ich ein Land anfordern?

Ja. Fügen Sie eine Länderoption hinzu, wenn der Zielinhalt von Standort, Währung, Sprache, Verfügbarkeit oder regionalen Weiterleitungen abhängt.

Werden Sitzungen unterstützt?

Session-basierte Workflows können den Kontext über verwandte Anfragen hinweg wiederverwenden, wenn Kontinuität für die Paginierung, Sprachänderungen oder mehrstufiges Scraping wichtig ist.

Dateien

Screenshots und PDFs

Erfassen Sie gerenderte Seiten, wenn ein visuelles Artefakt das erforderliche Ergebnis ist.

Kann ScraperFly einen Screenshot zurückgeben?

Ja. Der Screenshot-Ausgang erfasst die gerenderte Seite als Bilddatei, einschließlich JavaScript-gerendertem Inhalt, wenn das Rendering aktiviert ist.

Kann ScraperFly ein PDF generieren?

Ja. PDF-Ausgaben sind nützlich für Quittungen, Berichte, Archive, Compliance-Schnappschüsse und Seiten, die als Dokument gespeichert werden müssen.

Wo erscheinen generierte Dateien?

Registrierte Dashboard-Nutzer können generierte Artefakte aus den Anfrageprotokollen speichern und herunterladen, wenn die Anfrage eine herunterladbare Datei produziert.

Credits

Kosten und Credits

Credits verfolgen die Lieferarbeit und nicht die untätige Infrastruktur.

Wie viele Credits verwendet eine Anfrage?

Eine einfache HTML-, Text-, Markdown- oder JSON-Anfrage verwendet normalerweise weniger Credits. Rendering, Premium-Routing, Screenshots und PDFs benötigen mehr, da sie eine aufwendigere Lieferung erfordern.

Verfallen Pay-as-you-go-Credits?

Pay-as-you-go-Credits bleiben verfügbar, bis Sie sie verwenden. Sie eignen sich gut für unregelmäßige Arbeitslasten oder Projekte, die keinen monatlichen Plan benötigen.

Werden Abonnement-Credits übertragen?

Ja. Die Credits des monatlichen Plans werden jeden Monat zurückgesetzt und ungenutzte Credits werden übertragen. Wenn die Zahlung nach den Wiederholungen von Stripe fehlschlägt, wechselt das Konto zu Pay as you go.

Sicherheit

Schlüssel, Header und Sicherheit

Bewahren Sie die Anmeldeinformationen in Ihrem Backend auf und leiten Sie nur die Header weiter, die Sie verwenden möchten.

Wo sollte ich meinen API-Schlüssel speichern?

Speichern Sie den API-Schlüssel serverseitig oder in einer vertrauenswürdigen Umgebung. Vermeiden Sie es, Produktionsschlüssel in öffentlichen Frontend-Bundles oder statischen Seiten offenzulegen.

Kann ich Anfrage-Header weiterleiten?

Ja, ausgewählte Header wie user-agent, accept-language, cookie und referer können weitergeleitet werden, wenn ein Ziel realistische Anfragekontexte erwartet.

Umgeht ScraperFly private Zugriffskontrollen?

Nein. Es ist dafür ausgelegt, öffentliche Webseiten und Seiten abzurufen, auf die Sie zugreifen dürfen, nicht um Authentifizierung oder private Systeme zu umgehen.

Abrechnung

Pläne, Protokolle und Rechnungen

Verwenden Sie das Dashboard, um zu verstehen, was passiert ist und warum sich die Credits geändert haben.

Wo kann ich die Nutzung überprüfen?

Das Dashboard protokolliert Anfrageprotokolle, Änderungen des Kreditguthabens, Ausgabeformate, Proxy-Routing, Dauer und Abrechnungsereignisse, damit Sie die Nutzung überprüfen können.

Kann ich Rechnungen herunterladen?

Bezahlte Transaktionen enthalten Rechnungsdaten, wenn Stripe diese bereitstellt, sodass Rechnungs-PDFs aus dem Finanzprotokoll geöffnet werden können.

Wie verwalte ich ein Abonnement?

Abonnierte Benutzer können das Kundenportal öffnen, um Zahlungsdetails zu ändern, Rechnungen zu überprüfen oder zu kündigen. Kostenlose und Pay as you go-Benutzer können stattdessen zu Preisen gehen.