# ==============================================================================
# robots.txt - Mariachis Bogotá
# Dominio: https://mariachibogota.co/
# Propósito: Optimización SEO para servicio profesional de mariachis en Bogotá
# Última actualización: 05 de Octubre de 2025
# ==============================================================================

# ------------------------------------------------------------------------------
# CONFIGURACIÓN PRINCIPAL - Acceso total para motores de búsqueda
# ------------------------------------------------------------------------------
User-agent: *
Allow: /

# ------------------------------------------------------------------------------
# GOOGLEBOT - Sin restricciones para indexación óptima
# ------------------------------------------------------------------------------
User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /images/
Allow: /public/

# ------------------------------------------------------------------------------
# BINGBOT - Motor de búsqueda Microsoft
# ------------------------------------------------------------------------------
User-agent: Bingbot
Allow: /

# ------------------------------------------------------------------------------
# HERRAMIENTAS SEO PROFESIONALES - Permitidas para análisis
# ------------------------------------------------------------------------------
# SemrushBot - Herramienta SEO de análisis
User-agent: SemrushBot
Allow: /

# AhrefsBot - Herramienta SEO de backlinks
User-agent: AhrefsBot
Allow: /

# Screaming Frog - Herramienta de auditoría SEO
User-agent: Screaming Frog SEO Spider
Allow: /

# ------------------------------------------------------------------------------
# BOTS DE SPAM Y SCRAPERS - Bloqueados
# ------------------------------------------------------------------------------
User-agent: MJ12bot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: SputnikBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: AhrefsBot
Crawl-delay: 2

User-agent: SemrushBot
Crawl-delay: 2

# ------------------------------------------------------------------------------
# COMPLEMENTOS INDEPENDIENTES
# ------------------------------------------------------------------------------
# Nota: /cancionero/ y /reservar/ tienen su propia configuración en .htaccess
# - Cancionero: Permite indexación (configurado en .htaccess)
# - Reservar: Bloquea indexación vía X-Robots-Tag (configurado en .htaccess)

# ------------------------------------------------------------------------------
# SITEMAP - Mapa del sitio principal
# ------------------------------------------------------------------------------
Sitemap: https://mariachibogota.co/sitemap.xml

# ==============================================================================
# NOTAS TÉCNICAS:
# - Sin crawl-delay para Googlebot = indexación más rápida
# - Herramientas SEO permitidas para análisis y mejora continua
# - Los módulos /cancionero/ y /reservar/ gestionan su indexación vía .htaccess
# - Proyecto optimizado para: "mariachis bogota", "mariachis bogota precio"
# ==============================================================================
# Creado con 🎺 para el mejor servicio de mariachis en Bogotá
# ==============================================================================