################################################################################# # # robots.txt file for this website ################ # # addresses all robots by using wild card * ################ # User-agent: * # list folders robots are not allowed to index ################ Disallow: /secure/ Disallow: /assets/ Disallow: /images/ Disallow: /Connections/ Disallow: /admin/ # list specific files robots are not allowed to index # Disallow: /test.asp Disallow: /default1.html Disallow: /CookiesDisabled.asp Disallow: /pop_free_spare.html # # End of robots.txt file ################ # #################################################################################