В robots.txt должно быть следующее:
 

• Главное зеркало ресурса
• Страницы с полезным материалом
• Запрещенные страницы

 
В корне сайта создайте файл robots.txt и наполняйте его содержимым. Также можно использовать онлайн-генераторы, которые автоматически создадут файл robots.txt. В любом случае файл нужно будет редактировать.