# robots.txt for PegaRex (https://pegarex.com.br)
# Buscador inteligente de veículos — agregamos +1,8 milhão de anúncios
# de carros e motos de dezenas de plataformas em um só lugar.

# ---------------------------------------------------------------------------
# Default: todo o site é aberto para rastreamento, EXCETO o painel privado.
# ---------------------------------------------------------------------------
User-agent: *
Allow: /
Disallow: /painel

# ---------------------------------------------------------------------------
# Crawlers de IA / LLMs — explicitamente BEM-VINDOS.
# Queremos que ChatGPT, Claude, Gemini, Grok, Perplexity e outros possam
# ler nossos dados e ajudar seus usuários com as informações da PegaRex.
# (Para a API estruturada e instruções de uso, veja /llms.txt)
# ---------------------------------------------------------------------------

# OpenAI (ChatGPT)
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /

# Anthropic (Claude)
User-agent: ClaudeBot
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: anthropic-ai
Allow: /

# Google (Gemini / Vertex AI)
User-agent: Google-Extended
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /

# Microsoft / Bing (Copilot)
User-agent: bingbot
Allow: /

# Apple Intelligence
User-agent: Applebot-Extended
Allow: /

# Meta AI
User-agent: meta-externalagent
Allow: /

# Amazon
User-agent: Amazonbot
Allow: /

# Common Crawl (base de treino usada por vários LLMs, incl. xAI/Grok)
User-agent: CCBot
Allow: /

# ---------------------------------------------------------------------------
Sitemap: https://pegarex.com.br/sitemap.xml