# Reglas específicas para Scrapy
User-agent: Scrapy
Allow: /

# Reglas generales para todos los bots
User-agent: *
# Bloquea el acceso a /wp-admin excepto admin-ajax.php
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Bloquea las páginas con /feed
Disallow: /*/feed

# Bloquea las URLs con parámetros
Disallow: /*?

# Bloquea todo wp-content excepto lo necesario
Disallow: /wp-content/
Allow: /wp-content/uploads/
Allow: /wp-content/themes/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.css
Allow: /wp-content/plugins/*.js

# Sitemap del sitio
Sitemap: https://www.dondecomersano.es/sitemap.xml
Sitemap: https://www.dondecomersano.es/sitemap_videos.xml