User-agent: *
Disallow: 
# всем ботам разрешено посещение всех страниц и 
# папок на сайте