# al principio de una linea podemos escribir comentarios que no interpretará el crawler.
# ---------------------------------------------------------------
# User-agent: msnbot -> aqui especificamos a que Crawler (Robot de busqueda) queremos usar
# Disallow: /links.html -> blockea el acceso a esta pagina
# Disallow: /private/ -> blockea el acceso a esta carpeta
# Disallow: /*.js$ -> se le indica al crawler que no indexe los archivos de JavaScript
# Disallow: -> permite que acceda a todo el sitio.
# Crawl-delay: 30 -> los crawler deben de esperar 30 segundos entre cada acceso
# Sitemap: http://www.colorperu-traveladvisors.com/sitemap.xml -> direcciona al crawler al sitemap
# ---------------------------------------------------------------

# Crawler del buscador de Google ***
User-agent: Googlebot
Disallow: /admin/
Disallow: /*.js$
Disallow: /*.css$
Disallow:
Crawl-delay: 30
Sitemap: http://www.colorperu-traveladvisors.com/sitemap.xml

# Crawler del buscador de Google para imagenes***
User-agent: Googlebot-Image
Disallow: /admin/
Disallow: /*.js$
Disallow: /*.css$
Disallow:
Crawl-delay: 30
Sitemap: http://www.colorperu-traveladvisors.com/sitemap.xml

# Crawler del buscador de Yahoo***
User-agent: Slurp
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow:
Crawl-delay: 30
Sitemap: http://www.colorperu-traveladvisors.com/sitemap.xml

# Crawler del buscador de Altavista***
User-agent: Scooter
Disallow: /admin/
Disallow: /*.js$
Disallow: /*.css$
Disallow:
Crawl-delay: 30
Sitemap: http://www.colorperu-traveladvisors.com/sitemap.xml

# Crawler del buscador de MSN***
User-agent: msnbot
Disallow: /admin/
Disallow: /*.js$
Disallow: /*.css$
Disallow:
Crawl-delay: 30
Sitemap: http://www.colorperu-traveladvisors.com/sitemap.xml

# Crawler del buscador de Noxtrum***
User-agent: noxtrumbot
Disallow: /admin/
Disallow: /*.js$
Disallow: /*.css$
Disallow:
Crawl-delay: 30
Sitemap: http://www.colorperu-traveladvisors.com/sitemap.xml