AI Influence

A visão AI Influence mostra como as superfícies de IA interagem com seu site. Ela cobre duas coisas que você realmente pode medir hoje:

1. Acesso de rastreadores de IA — quais dos 29 bots de IA rastreados suas declarações robots.txt, llms.txt e Content-Signal permitem ou bloqueiam.
2. Referências de IA — quais produtos de IA enviam visitantes humanos (ChatGPT, Claude, Perplexity, Gemini, Copilot, DeepSeek e 20+ outros).

Estes são apresentados em três abas: Overview (resumo de postura + inspeção de robots/sinais), Crawlers (a tabela completa do catálogo somente leitura) e Metrics (analytics de referências de IA).

Duas camadas adicionais — Citation (onde sua marca aparece dentro de respostas de IA) e Assist (aumento probabilístico em busca de marca após exposição à IA) — foram adiadas para V2 porque precisam de um fornecedor ou de modelagem probabilística consciente do risco. Não entregamos métricas de vaidade que não possamos medir rigorosamente.

Você encontra AI Influence abrindo Domains, selecionando seu site e escolhendo a aba AI Influence (no grupo Behavior).

Aba Overview

A Overview responde a uma pergunta de relance:

"ChatGPT (ou Claude, ou Perplexity, …) consegue rastrear meu site? Eu bloqueei algo por acidente?"

Ela mostra um Summary compacto (quantos dos 29 bots rastreados podem rastreá-lo, quantos estão bloqueados na raiz, visitas humanas de IA) e um cartão Robots & Signals que torna o veredito verificável — links diretos "View raw" para seu robots.txt e llms.txt, a declaração Content-Signal analisada e a lista explícita de bots bloqueados na raiz.

Content-Signal

Zenovay analisa a diretiva Content-Signal que o "Managed robots.txt" da Cloudflare e um número crescente de sites agora emitem. Ela expressa a intenção de uso por IA independentemente do acesso de rastreamento:

• search — seu conteúdo pode ser usado para construir um índice de busca?
• ai-input — ele pode ser usado como entrada em tempo real para uma resposta generativa (RAG/grounding)?
• ai-train — ele pode ser usado para treinar ou fazer fine-tuning de um modelo?

Cada um é mostrado como yes, no ou unset. Esta é a declaração moderna de consentimento de IA específica de conteúdo — distinta de um Disallow genérico.

Aba Crawlers

Uma tabela somente leitura de todos os 29 rastreadores de IA rastreados com o acesso configurado de cada bot no seu site. Ela é deliberadamente não um painel de controle — Zenovay lê robots.txt; não impõe bloqueios no edge. Ele reporta o que seu robots.txt declara.

Os 29 bots são agrupados em 5 categorias:

• Live AI Assistants — buscam páginas sob demanda para responder perguntas de usuários: ChatGPT-User, Perplexity-User, ClaudeBot, Bingbot (Copilot), Applebot-Extended.
• Model Training — coletam conteúdo para corpora de treinamento: GPTBot, Google-Extended, anthropic-ai, Common Crawl (CCBot), Meta-ExternalAgent, Bytespider, Amazonbot.
• AI Browser Agents — agentes de tarefas autônomos navegando em nome de um usuário: ChatGPT-Operator, Claude-Computer-Use, You.com Agent.
• Commercial Scrapers — feeds de mineração de dados vendidos a laboratórios de IA: DataForSEO Bot, PetalBot, Webz.io.
• Search with AI Overlays — índices de busca primários cujos resultados alimentam respostas de IA: Googlebot (AI Overviews).

O que o veredito significa

Para uma ferramenta de acesso de conteúdo por IA, a única pergunta que importa é "este bot consegue alcançar meu conteúdo?". O veredito é, portanto, reportado em três estados:

• Allowed — o bot é autorizado na raiz do seu site. Isso inclui bots que são permitidos na raiz mas excluídos de caminhos genéricos de infraestrutura (/api, /_next, /e, …) — essas exclusões são mostradas como uma legenda, não um alarme, porque não restringem o conteúdo.
• Blocked — o bot é proibido na raiz do site pelo robots.txt.
• Unknown — não conseguimos ler seu robots.txt (erro de rede, 5xx, malformado) ou o site ainda não teve sua primeira verificação (sites novos são verificados em até 24 horas).

Combinação de grupos da RFC 9309 (importante se você usa Managed robots.txt da Cloudflare)

Seguimos RFC 9309. Os tokens UA são comparados sem distinção de maiúsculas/minúsculas como substrings (então ClaudeBot corresponde a Anthropic-ClaudeBot). Crucialmente, todos os grupos User-agent que correspondem a um bot são combinados, então a precedência de correspondência mais longa é aplicada com Allow vencendo empates.

Isso importa porque o Managed robots.txt da Cloudflare emite um bloco gerenciado que aplica Disallow: / a muitos bots de IA, e donos de sites frequentemente adicionam um grupo personalizado posterior que re-aplica Allow: / aos que eles querem para visibilidade de IA. Um parser ingênuo de primeira correspondência reportaria erroneamente esses bots re-permitidos como Blocked. Zenovay combina os grupos e reporta o acesso efetivo do bot — correspondendo ao que um rastreador conforme realmente faz.

O botão Re-check now

O cabeçalho tem um botão Re-check now. Ele re-busca seu robots.txt + llms.txt, reavalia o catálogo completo de 29 bots e dispara 5 requisições HTTP HEAD ao vivo (um bot representativo por categoria) para detectar bloqueios em tempo de execução (WAF da Cloudflare, filtros anti-bot de CDN, restrições geográficas). Limitado a uma vez por minuto por site.

O aviso honesto

robots.txt é consultivo, não imposto.

Crawlers respeitáveis (OpenAI, Anthropic, Google, Perplexity, Microsoft) honram robots.txt. Os menos respeitáveis ignoram. Um veredito "Blocked" significa que o bot foi educadamente pedido a ficar longe — seu servidor ainda precisa impor isso se você quiser proteção real. Para impor ativamente: regras de bot de IA da Cloudflare, uma regra WAF/rate-limit correspondendo ao User-Agent, ou um beacon do lado do servidor (Zenovay V1.5 — mede eventos reais de rastreamento em vez de acesso configurado).

Aba Metrics

A aba Metrics é analytics de referências de IA — visitantes humanos que chegaram de produtos de IA. Uma visita é classificada como originária de IA usando quatro sinais, em ordem de prioridade:

1. Client-side AI source — o rastreador lê uma pista do navegador in-app do produto de IA se estiver presente.
2. Referrer domain match — document.referrer corresponde a um host de IA conhecido (chat.openai.com, claude.ai, perplexity.ai, gemini.google.com, copilot.microsoft.com, deepseek.com, you.com, phind.com, t3.chat, kimi.com, +15 outros).
3. UTM source match — a URL de campanha carrega utm_source=chatgpt, utm_source=claude, etc. (44 variantes conhecidas).
4. User-Agent match — a visita veio do navegador in-app de um produto de IA.

Cada fonte de IA detectada é listada (não truncada). Cada visita armazena seu ai_source e o ai_detection_method que a classificou, com uma pontuação de confiança de 0.0–1.0, para que o painel Detection method distribution reconcilie exatamente com a divisão por fonte.

Dark AI

Uma grande parte do tráfego chegado por IA não carrega referrer — o usuário colou seu link de uma janela de chat em uma nova aba, ou a superfície de IA removeu o referrer. Uma heurística comportamental diária captura esta "Dark AI" entre visitantes de tráfego direto:

• Deep content landing (entrada em uma URL de cauda longa, não /)
• Single-page focused reading (30–300 segundos, profundidade de rolagem > 70%)
• Visitante primeira-vez com baixa interação de clique
• Chegada em horário comercial

Uma pontuação ≥ 60 marca a visita como is_ai_traffic=true com ai_detection_method='behavioral_heuristic' e confiança de 0.5–0.95. O método de detecção e a confiança são armazenados por visita para que você possa filtrar, exportar e auditar honestamente.

O que é adiado para V2

• Citation — medir quando sua marca ou páginas aparecem dentro de respostas de IA. Precisa de um fornecedor de monitoramento de prompt ou nosso próprio crawler. Não entregamos números que não possamos sustentar.
• Assist — estimativa probabilística de aumento downstream em busca de marca após exposição à IA. Apresentada apenas quando pudermos rotular a confiança honestamente.

Quando a V2 for lançada, cada métrica carregará um rótulo explícito measured vs. inferred.

Conformidade

• GPC (Global Privacy Control) é honrado — visitantes com Sec-GPC: 1 não são usados para heurísticas comportamentais de IA.
• Endereços IP são hasheados com um sal rotativo diário — nunca armazenados em texto claro.
• Nenhum cookie é introduzido pela AI Influence — o tracker sem cookies existente continua sendo o único script necessário.

API

GET /api/analytics/ai-influence?websiteId={id}&period={7d|30d|...}

Retorna:

{
  "crawl": {
    "summary": {
      "total": 29, "allowed": 6, "partial": 19, "blocked": 4,
      "indeterminate": 0, "never_checked": 0,
      "robots_txt_present": true, "llms_txt_present": true,
      "hostname": "example.com", "last_checked_at": "2026-05-16T08:14:23Z",
      "blocked_bots": ["Amazonbot", "Bytespider", "CCBot", "Meta-ExternalAgent"],
      "content_signals": { "search": true, "ai_train": false, "raw": "search=yes,ai-train=no" }
    },
    "crawlers": [{ "ua_token": "GPTBot", "vendor": "OpenAI", "category": "training", "verdict": "allowed", "restricted_paths": [], "...": "..." }]
  },
  "referral": { "summary": { "ai_visitors": 1247, "known_ai_visitors": 1100, "dark_ai_visitors": 147, "...": "..." }, "sources": [...], "trend": [...], "top_pages": [...] }
}

Nota: verdict é um de allowed / partial / blocked / indeterminate / never_checked no payload bruto; a UI agrupa allowed + partial em um único estado Allowed (veja O que o veredito significa).

POST /api/analytics/ai-influence-probe?websiteId={id}

Aciona um re-fetch + parse + 5 sondas HTTP HEAD ao vivo síncronas. Limitado a 1 requisição por minuto por site.

Relacionado

• Page Flows — visualiza a navegação emergente dos visitantes.
• Visitor Value Scoring — classifica visitas por valor de vida previsto.
• Data Export — exporte dados de tráfego de IA programaticamente.