Como fazer scraping do Google em 2026

O que significa “fazer scraping do Google”

Fazer scraping do Google é coletar automaticamente a página de resultados de uma pesquisa (a SERP) para extrair seus dados: resultados orgânicos, anúncios, pacote local, perguntas relacionadas, AI Overviews e a posição de cada um. Os usos são conhecidos: monitoramento de posições em SEO, acompanhamento da concorrência, pesquisa de mercado, clusterização de palavras-chave por similaridade de SERP e medição da visibilidade nas respostas geradas por IA.

Três formas de fazer

1. Manualmente ou com uma extensão de navegador

Serve para algumas dezenas de palavras-chave. Acima disso, é lento demais, e seu próprio histórico, sua localização e sua conta Google distorcem os resultados.

2. Um scraper próprio

Um script que consulta o Google diretamente. De graça no papel, mas na prática você precisa de:

• proxies, de preferência residenciais, com rotação, porque o Google bloqueia rapidamente os endereços que o consultam em massa;
• tratamento de captchas;
• um navegador headless para renderizar a página, senão parte do conteúdo fica de fora (veja abaixo);
• um parser, que precisa ser atualizado sempre que o Google muda o layout;
• gestão de país, idioma, cidade e dispositivo.

O custo real está nos proxies, nos servidores e, principalmente, no tempo de manutenção.

3. Uma API de SERP

Um serviço que faz tudo isso por você: você envia uma palavra-chave e seus parâmetros e recebe a SERP estruturada em JSON. A maioria das ferramentas de SEO segue esse caminho e prefere pagar por requisição a manter uma infraestrutura de scraping. Para escolher um fornecedor, veja nossos comparativos com a SerpApi e a DataForSEO.

O que uma SERP contém em 2026

Uma página de resultados não é mais uma lista de dez links azuis. Dependendo da consulta, o Google acrescenta:

• os resultados orgânicos;
• os anúncios do Google Ads no topo e no rodapé da página, e os anúncios do Shopping;
• o pacote local, com a nota, o número de avaliações e a faixa de preço de cada empresa;
• “As pessoas também perguntam”, o featured snippet e o Knowledge Graph;
• as principais notícias, os vídeos e as imagens;
• o AI Overview, com as marcas citadas no texto, suas citações e seu painel de fontes.

Para medir o que é realmente visível, é preciso extrair cada bloco separadamente, com a posição de cada um de seus elementos. A API do Semscraper retorna cada bloco com seu próprio tipo: organic, paid_top, local_pack, people_also_ask, ai_overview_citation…

As quatro armadilhas de 2026

O parâmetro num=100 não funciona mais

Desde setembro de 2025, o Google não exibe mais 100 resultados em uma única página. Para obter um top 100, é preciso percorrer as páginas uma a uma. Explicamos o método e o custo em Como obter o top 100 do Google sem num=100.

Os AI Overviews chegam depois do carregamento da página

No nosso estudo com um milhão de palavras-chave, 48% dos AI Overviews carregam de forma assíncrona: ausentes do HTML inicial, eles só aparecem depois que a página é exibida. Um scraper que não renderiza a página não os vê. Detalhes no nosso estudo sobre os AI Overviews na França.

A SERP depende da cidade

Uma pesquisa local, como “encanador” ou “restaurante”, não retorna os mesmos resultados em duas cidades diferentes. Sem geolocalização, você mede uma SERP que ninguém vê. Veja SERPs geolocalizadas.

Desktop e mobile divergem

Uma em cada oito palavras-chave se comporta de forma diferente nos dois dispositivos em relação aos AI Overviews, e a ordem dos blocos também muda. Colete o dispositivo que importa para o seu caso, ou os dois.

Exemplo com a API do Semscraper

Uma requisição POST cria a coleta, com até 1.000 palavras-chave por chamada:

curl -X POST 'https://api.semscraper.com/v1/serp' \
  -H 'Authorization: Bearer API_KEY' \
  -H 'Content-Type: application/json' \
  -d '[{"search_engine": "google_search", "keyword": "restaurante", "device": "desktop", "location": "br", "language": "pt", "depth": 1, "geolocation": "Sao Paulo, State of Sao Paulo, Brazil"}]'

Depois, os resultados são obtidos pelo ID, em JSON ou HTML, ou entregues diretamente na sua URL de callback. Cada resultado traz sua posição dentro do bloco, sua posição na página, sua página do Google e sua posição em pixels. A lista completa de blocos e parâmetros está na página da API do Google Search.

Os operadores de pesquisa funcionam

Os operadores do Google funcionam normalmente dentro da palavra-chave: site:, inurl:, intitle:, filetype:, aspas ou a exclusão de um termo com o sinal de menos. É útil para listar as páginas indexadas de um site ou monitorar uma marca em um domínio específico. Uma consulta com operador custa o mesmo que qualquer outra. Uma restrição: nada de vírgula na palavra-chave, pois a API a usa como separador.

Exemplo completo em Python

Este script envia três palavras-chave, espera os resultados e, para cada uma, mostra se há um AI Overview e os três primeiros resultados orgânicos com sua posição em pixels:

import time
import requests

API = "https://api.semscraper.com/v1/serp"
HEADERS = {"Authorization": "Bearer API_KEY"}

keywords = ["restaurante em sao paulo", "encanador curitiba", "advogado de divorcio rio de janeiro"]

# 1. cria as coletas, até 1.000 palavras-chave por chamada
items = [{"search_engine": "google_search", "keyword": k, "device": "desktop",
          "location": "br", "language": "pt", "depth": 1} for k in keywords]
created = requests.post(API, json=items, headers=HEADERS).json()
ids = [row["id"] for row in created["data"]]

# 2. busca os resultados (no máximo 500 IDs por chamada), por até 10 minutos
done, attempts = {}, 0
while len(done) != len(ids) and attempts < 60:
    attempts += 1
    time.sleep(10)
    res = requests.get(API, params={"ids": ",".join(ids), "output": "json"}, headers=HEADERS).json()
    for row in res["data"]:
        if row["status"] == "done":
            done[row["id"]] = row

# 3. lê cada SERP: o AI Overview e depois os 3 primeiros resultados orgânicos
for row in done.values():
    aio = row["serp_info"].get("ai_overview")
    print(row["keyword"], "| AI Overview:", aio["type"] if aio else "-")
    for block in row["results"]:
        if block["type"] == "organic":
            for item in block["items"][:3]:
                print("   ", item["rank_type"], item["pixel"], "px", item["url"])

Para grandes volumes, substitua o loop de consulta por uma URL de callback (callback_url): a API envia cada resultado assim que ele fica pronto.

Volumes e prazos

Uma SERP de uma página leva uma mediana de cerca de vinte segundos de coleta, e um top 100 cerca de cinquenta. Tempo mediano de coleta medido em 12 milhões de SERPs (5,3 milhões de uma página e 260 mil de 10 páginas) de 12 de setembro a 10 de outubro de 2026; a isso se soma a espera na fila da sua conta, que depende do volume enviado. Cada chamada aceita até 1.000 palavras-chave. Os robôs atendem as contas em rodízio: o lote grande de outro cliente não atrasa o seu, e o seu avança na sua própria fila.

Como escolher uma API de SERP: o checklist

• Paginação real, com a página de cada resultado, para um top 100 confiável.
• Renderização em navegador, para capturar os AI Overviews que carregam com atraso.
• Geolocalização por cidade, e não só por país.
• Posição em pixels, para medir a visibilidade real de um resultado.
• Cobrança apenas das páginas encontradas, sem assinatura obrigatória.
• O HTML da página além do JSON, para conferir um resultado inesperado.
• Uma fila justa entre os clientes.

Quanto custa

Com o Semscraper, a primeira página custa € 0,30 a cada 1.000 palavras-chave e cada página extra € 0,20, ou seja, € 2,10 a cada 1.000 palavras-chave em 10 páginas. Só as páginas encontradas são cobradas, sem assinatura. Detalhes na página de preços.

E a questão legal?

As páginas de resultados são públicas, mas coletá-las automaticamente continua sujeito aos termos de uso do Google e, se você tratar dados pessoais, à legislação de proteção de dados, como a LGPD ou o GDPR. Este guia não é uma consultoria jurídica: em caso de dúvida, peça uma análise do seu caso de uso.