# Robots.txt para CepaLabs - Soluciones Tecnológicas
# Optimizado para Google, Bing y otros motores de búsqueda

# Reglas para todos los bots
User-agent: *
Allow: /
Allow: /servicios
Allow: /otros
Allow: /api/paginas_online
Allow: /api/health
Allow: /sitemap.xml
Allow: /robots.txt
Allow: /ads.txt
Allow: /app-ads.txt
Allow: /manifest.json

# Disallow endpoints que no necesitan indexación
Disallow: /api/refresh-status
Disallow: /__pycache__
Disallow: /*.py
Disallow: *.pyc
Disallow: /venv/
Disallow: /env/

# Configuración para Google
User-agent: Googlebot
Allow: /
Crawl-delay: 3
Request-rate: 1/3s

# Configuración para Bing
User-agent: Bingbot
Allow: /
Crawl-delay: 5
Request-rate: 1/5s

# Configuración para otros bots
User-agent: *
Crawl-delay: 5
Request-rate: 1/5s

# Sitemaps
Sitemap: https://cepalabs.cl/sitemap.xml

# Especificaciones adicionales
Host: https://cepalabs.cl