El nuevo archivo robots.txt de E.E.U.U.
Se trata de un cambio en el archivo de robots.txt de la web de whitehouse.gov. Así es como estaba con el gobierno Bush:
User-agent: *
Disallow: /cgi-bin
Disallow: /search
Disallow: /query.html
Disallow: /omb/search
Disallow: /omb/query.html
Disallow: /expectmore/search
Disallow: /expectmore/query.html
Disallow: /results/search
Disallow: /results/query.html
Disallow: /earmarks/search
Disallow: /earmarks/query.html
Disallow: /help
Disallow: /360pics/text
Disallow: /911/911day/text
Disallow: /911/heroes/text(…)
Y así hasta 2400 lineas.
User-agent: *
Disallow: /includes/
El archivo de robots.txt le dice a los robots de búsqueda que incluir y que no incluir en sus índices.






Deja tu comentario / Leave your comment