Google scrapen: So geht es 2026

Was „Google scrapen“ bedeutet

Google scrapen heißt, die Ergebnisseite einer Suche (die SERP) automatisch zu erfassen, um ihre Daten auszulesen: organische Ergebnisse, Anzeigen, Local Pack, ähnliche Fragen, AI Overviews und ihre Position. Die Einsatzzwecke sind bekannt: SEO-Rank-Tracking, Wettbewerbsbeobachtung, Marktanalysen, Keyword-Clustering nach SERP-Ähnlichkeit und die Messung der Sichtbarkeit in KI-generierten Antworten.

Drei Wege zum Ziel

1. Von Hand oder mit einer Browser-Erweiterung

Für ein paar Dutzend Keywords ausreichend. Darüber hinaus ist es zu langsam, und Ihr eigener Verlauf, Ihr Standort und Ihr Google-Konto verfälschen die Ergebnisse.

2. Ein eigener Scraper

Ein Skript, das Google selbst abfragt. Auf dem Papier kostenlos, in der Praxis brauchen Sie aber:

• Proxys, idealerweise Residential Proxys, und deren Rotation, denn Google sperrt Adressen, die massenhaft Anfragen senden, sehr schnell;
• eine Captcha-Behandlung;
• einen Headless-Browser, um die Seite zu rendern, sonst fehlt ein Teil der Inhalte (siehe unten);
• einen Parser, der bei jeder Layout-Änderung von Google angepasst werden muss;
• die Verwaltung von Land, Sprache, Stadt und Gerät.

Die tatsächlichen Kosten sind Proxys, Server und vor allem Wartungszeit.

3. Eine SERP API

Ein Dienst, der all das für Sie übernimmt: Sie senden ein Keyword und seine Parameter und erhalten die strukturierte SERP im JSON-Format zurück. Die meisten SEO-Tools gehen diesen Weg und zahlen lieber pro Anfrage, als eine eigene Scraping-Infrastruktur zu betreiben. Für die Wahl eines Anbieters lesen Sie unsere Vergleiche mit SerpApi und DataForSEO.

Was eine SERP im Jahr 2026 enthält

Eine Ergebnisseite ist längst keine Liste aus zehn blauen Links mehr. Je nach Suchanfrage fügt Google hinzu:

• organische Ergebnisse;
• Google Ads oben und unten auf der Seite sowie Shopping-Anzeigen;
• das Local Pack, mit Bewertung, Anzahl der Rezensionen und Preisspanne jedes Unternehmens;
• „Ähnliche Fragen“, das Featured Snippet und den Knowledge Graph;
• Top-Meldungen, Videos und Bilder;
• das AI Overview, mit den im Text zitierten Marken, seinen Zitaten und seinem Quellenbereich.

Um zu messen, was tatsächlich sichtbar ist, muss jeder Block separat ausgelesen werden, mit der Position jedes seiner Elemente. Die Semscraper API liefert jeden Block unter seinem eigenen Typ: organic, paid_top, local_pack, people_also_ask, ai_overview_citation …

Die vier Fallstricke im Jahr 2026

Der Parameter num=100 funktioniert nicht mehr

Seit September 2025 zeigt Google keine 100 Ergebnisse mehr auf einer einzigen Seite. Für die Top 100 müssen Sie die Seiten einzeln durchgehen. Methode und Kosten erklären wir in Die Google Top 100 ohne num=100 abrufen.

AI Overviews kommen erst nach dem Laden der Seite

In unserer Studie mit einer Million Keywords laden 48 % der AI Overviews asynchron: Sie fehlen im ursprünglichen HTML und erscheinen erst, wenn die Seite angezeigt wird. Ein Scraper, der die Seite nicht rendert, verpasst sie. Details in unserer Studie zu AI Overviews in Frankreich.

Die SERP hängt von der Stadt ab

Eine lokale Suche wie „Klempner“ oder „Restaurant“ liefert in zwei verschiedenen Städten nicht dieselben Ergebnisse. Ohne Geolokalisierung messen Sie eine SERP, die niemand sieht. Siehe lokale SERPs.

Desktop und Mobil weichen voneinander ab

Bei jedem achten Keyword verhalten sich die AI Overviews auf den beiden Geräten unterschiedlich, und die Reihenfolge der Blöcke ist eine andere. Erfassen Sie das Gerät, das für Ihren Anwendungsfall zählt, oder beide.

Beispiel mit der Semscraper API

Eine POST-Anfrage legt die Erfassung an, mit bis zu 1.000 Keywords pro Aufruf:

curl -X POST 'https://api.semscraper.com/v1/serp' \
  -H 'Authorization: Bearer API_KEY' \
  -H 'Content-Type: application/json' \
  -d '[{"search_engine": "google_search", "keyword": "restaurant", "device": "desktop", "location": "de", "language": "de", "depth": 1, "geolocation": "Munich, Bavaria, Germany"}]'

Die Ergebnisse werden anschließend per ID abgerufen, in JSON oder HTML, oder direkt an Ihre Callback-URL geliefert. Jedes Ergebnis enthält seinen Rang innerhalb seines Blocks, seinen Rang auf der Seite, seine Google-Seite und seine Pixelposition. Die vollständige Liste der Blöcke und Parameter finden Sie auf der Seite Google Search API.

Suchoperatoren funktionieren

Die Google-Operatoren funktionieren unverändert im Keyword: site:, inurl:, intitle:, filetype:, Anführungszeichen oder der Ausschluss eines Begriffs mit einem Minuszeichen. Praktisch, um die indexierten Seiten einer Website aufzulisten oder eine Marke auf einer bestimmten Domain zu beobachten. Eine Suchanfrage mit Operator kostet genauso viel wie jede andere. Eine Einschränkung: kein Komma in einem Keyword, die API nutzt es als Trennzeichen.

Vollständiges Python-Beispiel

Dieses Skript sendet drei Keywords, wartet auf ihre Ergebnisse und gibt dann für jedes aus, ob es ein AI Overview gibt, sowie die drei ersten organischen Ergebnisse mit ihrer Pixelposition:

import time
import requests

API = "https://api.semscraper.com/v1/serp"
HEADERS = {"Authorization": "Bearer API_KEY"}

keywords = ["restaurant münchen", "klempner berlin", "scheidungsanwalt hamburg"]

# 1. Erfassungen anlegen, bis zu 1.000 Keywords pro Aufruf
items = [{"search_engine": "google_search", "keyword": k, "device": "desktop",
          "location": "de", "language": "de", "depth": 1} for k in keywords]
created = requests.post(API, json=items, headers=HEADERS).json()
ids = [row["id"] for row in created["data"]]

# 2. Ergebnisse abrufen (höchstens 500 IDs pro Aufruf), höchstens 10 Minuten lang
done, attempts = {}, 0
while len(done) != len(ids) and attempts < 60:
    attempts += 1
    time.sleep(10)
    res = requests.get(API, params={"ids": ",".join(ids), "output": "json"}, headers=HEADERS).json()
    for row in res["data"]:
        if row["status"] == "done":
            done[row["id"]] = row

# 3. Jede SERP auslesen: AI Overview, dann die Top 3 der organischen Ergebnisse
for row in done.values():
    aio = row["serp_info"].get("ai_overview")
    print(row["keyword"], "| AI Overview:", aio["type"] if aio else "-")
    for block in row["results"]:
        if block["type"] == "organic":
            for item in block["items"][:3]:
                print("   ", item["rank_type"], item["pixel"], "px", item["url"])

Bei großen Volumen ersetzen Sie die Polling-Schleife durch eine Callback-URL (callback_url): Die API sendet Ihnen jedes Ergebnis, sobald es fertig ist.

Volumen und Bearbeitungszeit

Eine einzelne SERP-Seite braucht im Median etwa zwanzig Sekunden Erfassung, die Top 100 etwa fünfzig. Mediane Erfassungszeit, gemessen an 12 Millionen SERPs (davon 5,3 Millionen mit einer Seite und 260.000 mit 10 Seiten) vom 12. September bis 10. Oktober 2026; hinzu kommt die Wartezeit in der Warteschlange Ihres Kontos, die vom gesendeten Volumen abhängt. Jeder Aufruf kann bis zu 1.000 Keywords enthalten. Die Robots bedienen die Konten im Wechsel: Der große Batch eines anderen Kunden hält Ihre Anfragen nicht auf, und Ihrer läuft über Ihre eigene Warteschlange.

Eine SERP API auswählen: die Checkliste

• Echte Paginierung, mit der Seite jedes Ergebnisses, für verlässliche Top 100.
• Rendering in einem Browser, um verzögert ladende AI Overviews zu erfassen.
• Geolokalisierung auf Stadtebene, nicht nur auf Länderebene.
• Pixelposition, um die tatsächliche Sichtbarkeit eines Ergebnisses zu messen.
• Abrechnung nur gefundener Seiten, ohne Abo-Zwang.
• Das HTML der Seite zusätzlich zum JSON, um ein überraschendes Ergebnis zu prüfen.
• Eine faire Warteschlange zwischen den Kunden.

Was es kostet

Bei Semscraper kostet die erste Seite 0,30 € pro 1.000 Keywords und jede weitere Seite 0,20 €, also 2,10 € pro 1.000 Keywords über 10 Seiten. Nur gefundene Seiten werden abgerechnet, ohne Abo. Details auf der Seite Preise.

Ist das legal?

Ergebnisseiten sind öffentlich, ihre automatisierte Erfassung unterliegt aber dennoch den Nutzungsbedingungen von Google und, wenn Sie personenbezogene Daten verarbeiten, dem Datenschutzrecht, etwa der DSGVO. Dieser Guide ist keine Rechtsberatung: Lassen Sie Ihren Anwendungsfall im Zweifel prüfen.