Guide

Comment scraper Google en 2026

Récupérer les résultats de Google à grande échelle n'a jamais été aussi exigeant : 100 résultats par page supprimés, AI Overviews chargées après coup, SERP qui changent selon la ville. Voici les options et les pièges.

En bref
  • Trois options : à la main, un scraper maison (proxies, captchas, parseur à maintenir) ou une API SERP.
  • Quatre pièges en 2026 : num=100 supprimé, AI Overviews asynchrones, SERP qui varient selon la ville et selon l'appareil.
  • Avec Semscraper : 0,30 € les 1 000 mots-clés en page 1, 2,10 € pour un top 100, sans abonnement.

Ce que veut dire « scraper Google »

Scraper Google, c'est collecter automatiquement la page de résultats d'une recherche (la SERP) pour en extraire les données : résultats naturels, annonces, pack local, questions associées, AI Overviews, et leur position. Les usages sont connus : suivi de positions SEO, veille concurrentielle, études de marché, regroupement de mots-clés par similarité de SERP, mesure de la visibilité dans les réponses générées par l'IA.

Trois façons de faire

1. À la main ou avec une extension

Valable pour quelques dizaines de mots-clés. Au-delà, c'est trop lent, et votre propre historique, votre localisation et votre compte Google faussent les résultats.

2. Un scraper maison

Un script qui interroge Google lui-même. Sur le papier c'est gratuit, en pratique il faut :

  • des proxies, résidentiels de préférence, et leur rotation, car Google bloque vite les adresses qui l'interrogent en masse ;
  • la gestion des captchas ;
  • un navigateur sans interface pour rendre la page, sans quoi une partie du contenu manque (voir plus bas) ;
  • un parseur, à maintenir à chaque changement de la mise en page de Google ;
  • la gestion du pays, de la langue, de la ville et de l'appareil.

Le coût réel se compte en proxies, en serveurs et surtout en temps de maintenance.

3. Une API SERP

Un service qui fait tout cela pour vous : vous envoyez un mot-clé et ses paramètres, vous recevez la SERP structurée en JSON. C'est le choix de la plupart des outils SEO, qui préfèrent payer à la requête plutôt que d'entretenir une infrastructure de scraping. Pour choisir un fournisseur, voir nos comparatifs avec SerpApi et DataForSEO.

Ce que contient une SERP en 2026

Une page de résultats n'est plus une liste de dix liens bleus. Selon la requête, Google y place :

  • les résultats naturels ;
  • les annonces Google Ads, en haut et en bas de page, et les annonces Shopping ;
  • le pack local, avec la note, le nombre d'avis et la fourchette de prix des établissements ;
  • les « Autres questions posées », l'extrait optimisé et le Knowledge Graph ;
  • les actualités, les vidéos et les images ;
  • l'AI Overview, avec les marques citées dans son texte, ses citations et son panneau de sources.

Pour mesurer ce qui est réellement visible, chaque bloc doit être extrait séparément, avec la position de chacun de ses éléments. L'API Semscraper renvoie chaque bloc sous un type distinct : organic, paid_top, local_pack, people_also_ask, ai_overview_citation…

Les quatre pièges de 2026

Le paramètre num=100 ne fonctionne plus

Depuis septembre 2025, Google n'affiche plus 100 résultats sur une seule page. Pour obtenir un top 100, il faut parcourir les pages une à une. Nous détaillons la méthode et son coût dans Récupérer le top 100 de Google sans num=100.

Les AI Overviews arrivent après le chargement

Sur notre étude d'un million de mots-clés, 48 % des AI Overviews sont chargées en asynchrone : absentes du HTML initial, elles n'apparaissent qu'une fois la page affichée. Un scraper qui ne rend pas la page les manque. Détails dans notre étude sur les AI Overviews en France.

La SERP dépend de la ville

Une recherche locale, « plombier » ou « restaurant », ne renvoie pas les mêmes résultats à Lyon et à Lille. Sans géolocalisation, vous mesurez une SERP que personne ne voit. Voir SERP géolocalisées.

Desktop et mobile divergent

Un mot-clé sur huit n'a pas le même comportement sur les deux appareils pour les AI Overviews, et l'ordre des blocs diffère. Collectez l'appareil qui compte pour votre usage, ou les deux.

Exemple avec l'API Semscraper

Une requête POST crée la collecte, avec jusqu'à 1 000 mots-clés par appel :

curl
curl -X POST 'https://api.semscraper.com/v1/serp' \
  -H 'Authorization: Bearer API_KEY' \
  -H 'Content-Type: application/json' \
  -d '[{"search_engine": "google_search", "keyword": "restaurant", "device": "desktop", "location": "fr", "language": "fr", "depth": 1, "geolocation": "Nice, Alpes-Maritimes, France"}]'

Les résultats se récupèrent ensuite par identifiant, en JSON ou en HTML, ou arrivent directement sur votre URL de callback. Chaque résultat porte son rang dans son bloc, son rang dans la page, sa page Google et sa position pixel. La liste des blocs renvoyés et des paramètres est sur la page API Google Search.

Les opérateurs de recherche fonctionnent

Les opérateurs de Google s'utilisent tels quels dans le mot-clé : site:, inurl:, intitle:, filetype:, les guillemets ou l'exclusion d'un terme avec un tiret. Pratique pour lister les pages indexées d'un site ou surveiller une marque sur un domaine précis. Une requête avec opérateur coûte le même prix qu'une autre. Seule contrainte : pas de virgule dans un mot-clé, l'API s'en sert comme séparateur.

Exemple complet en Python

Ce script envoie trois mots-clés, attend leurs résultats, puis affiche pour chacun la présence d'une AI Overview et les trois premiers résultats naturels avec leur position pixel :

scraper_google.py
import time
import requests

API = "https://api.semscraper.com/v1/serp"
HEADERS = {"Authorization": "Bearer API_KEY"}

keywords = ["restaurant nice", "plombier lyon", "avocat divorce paris"]

# 1. créer les collectes, jusqu'à 1 000 mots-clés par appel
items = [{"search_engine": "google_search", "keyword": k, "device": "desktop",
          "location": "fr", "language": "fr", "depth": 1} for k in keywords]
created = requests.post(API, json=items, headers=HEADERS).json()
ids = [row["id"] for row in created["data"]]

# 2. récupérer les résultats (500 identifiants au plus par appel), 10 minutes au plus
done, attempts = {}, 0
while len(done) != len(ids) and attempts < 60:
    attempts += 1
    time.sleep(10)
    res = requests.get(API, params={"ids": ",".join(ids), "output": "json"}, headers=HEADERS).json()
    for row in res["data"]:
        if row["status"] == "done":
            done[row["id"]] = row

# 3. lire chaque SERP : AI Overview, puis les 3 premiers résultats naturels
for row in done.values():
    aio = row["serp_info"].get("ai_overview")
    print(row["keyword"], "| AI Overview :", aio["type"] if aio else "-")
    for block in row["results"]:
        if block["type"] == "organic":
            for item in block["items"][:3]:
                print("   ", item["rank_type"], item["pixel"], "px", item["url"])

Pour de gros volumes, remplacez la boucle d'attente par une URL de callback (callback_url) : l'API vous envoie chaque résultat dès qu'il est prêt.

Volumes et délais

Une SERP d'une page demande une vingtaine de secondes de collecte en médiane, un top 100 une cinquantaine. Les pages d'un même mot-clé sont ouvertes l'une après l'autre, comme le ferait un internaute, jamais en parallèle. Si Google affiche un captcha, le mot-clé est relancé depuis la première page, pour que toutes ses pages viennent de la même session. Temps de collecte médian mesuré sur 12 millions de SERP (dont 5,3 millions à une page et 260 000 à 10 pages) du 12 septembre au 10 octobre 2026 ; s'y ajoute l'attente dans la file de votre compte, qui dépend du volume envoyé. Chaque appel peut porter jusqu'à 1 000 mots-clés. Les robots servent les comptes à tour de rôle : le gros lot d'un autre client ne retarde pas le vôtre, et le vôtre s'écoule au fil de l'eau dans votre propre file.

Choisir une API SERP : la liste de contrôle

  • Une vraie pagination, avec la page de chaque résultat, pour un top 100 fiable.
  • Un rendu dans un navigateur, pour capter les AI Overviews chargées après coup.
  • Une géolocalisation à la ville, pas seulement au pays.
  • La position pixel, pour mesurer la visibilité réelle d'un résultat.
  • La facturation des seules pages trouvées, sans abonnement imposé.
  • Le HTML de la page en plus du JSON, pour vérifier un résultat surprenant.
  • Une file d'attente équitable entre les clients.

Combien ça coûte

Avec Semscraper, la première page coûte 0,30 € pour 1 000 mots-clés et chaque page supplémentaire 0,20 €, soit 2,10 € les 1 000 mots-clés sur 10 pages. Seules les pages trouvées sont facturées, sans abonnement. Le détail est sur la page tarifs.

Et la légalité ?

Les pages de résultats sont publiques, mais leur collecte automatisée reste encadrée par les conditions d'utilisation de Google et, si vous traitez des données personnelles, par le RGPD. Ce guide ne constitue pas un avis juridique : faites valider votre usage si vous avez un doute.

Testez sur vos propres mots-clés

1 000 SERP offertes, sans carte bancaire.