User-agent: * # aplicable a todos los robots
# Fase Desarrollo        
# Disallow: / # impide la indexacion de todas las paginas 
# Fase Producción
Disallow: /blog*desactivado
Disallow: /img
Disallow: /js
Disallow: /visuals
Visit-time: 0300-0400 # rastrear las paginas solo de 3 am a 4 am