Комментарии: Марафон по созданию сайта — правильный robots.txt https://kanapiya.kz/marafon-pravilny-robotstxt/ Fri, 20 Apr 2018 19:45:36 +0000 hourly 1 Автор: Kanapiya https://kanapiya.kz/marafon-pravilny-robotstxt/#comment-395 Fri, 20 Apr 2018 19:45:36 +0000 http://www.500tenge.ru/?p=5429#comment-395 В ответ на Андрей.

Спасибо за коммент, видно старые посыт читаете

]]> Автор: Андрей https://kanapiya.kz/marafon-pravilny-robotstxt/#comment-393 Fri, 20 Apr 2018 19:28:36 +0000 http://www.500tenge.ru/?p=5429#comment-393 Полезная статья, помню когда создавал свой первый сайт на тогда популярном uCoz, мне советовали добавить robots.txt а я все никак не мог найти правильный шаблон этого сайта, в итоге забил.Кстати, сейчас вроде Яндекс отменил обязательное правило использование Host в robots.txt

]]> Автор: Максим https://kanapiya.kz/marafon-pravilny-robotstxt/#comment-267 Fri, 31 Mar 2017 07:43:44 +0000 http://www.500tenge.ru/?p=5429#comment-267 Роботс, как мне кажется не может быть правельным или неправельным. Это сугубо индивидуальный инструмент для сайта. Вот например одному сайту очень надо чтобы по нему бегал робот гугл, яндекс и др поисковиков, тогда Useragent:* в тему, а др. надо только яндекс и гугл пустить, тогда инструкции пишем для этих поисковиков, а остальным доступ закрываем.

]]> Автор: Kanapiya https://kanapiya.kz/marafon-pravilny-robotstxt/#comment-248 Sun, 19 Mar 2017 10:40:00 +0000 http://www.500tenge.ru/?p=5429#comment-248 В ответ на Татьяна.

Разные цвета это просто плагин подсветки синтаксиса.
Можно написать Disallow: /wp-content и тогда все что начинается с этого будет закрыто для индексации.
Прописывать themes необязательно.

]]> Автор: Татьяна https://kanapiya.kz/marafon-pravilny-robotstxt/#comment-236 Wed, 15 Mar 2017 06:26:22 +0000 http://www.500tenge.ru/?p=5429#comment-236 Я не поняла,разные цвета,что они обозначают?
Disallow: /wp-content/themes
Если мы закрываем полностью папку /wp-content/, в которой есть папка themes, то зачем указывать themes?
Мы же закрыли всю папку.

]]> Автор: Владимир https://kanapiya.kz/marafon-pravilny-robotstxt/#comment-234 Tue, 14 Mar 2017 10:20:09 +0000 http://www.500tenge.ru/?p=5429#comment-234 Попробуй не создать роботс для сайта и в панели вебмастера появится уведомление! Поисковики сами заинтересованы в этой инструкции для роботов и ругаются, если ее нет.

]]> Автор: Максим Бойко https://kanapiya.kz/marafon-pravilny-robotstxt/#comment-233 Tue, 14 Mar 2017 04:32:02 +0000 http://www.500tenge.ru/?p=5429#comment-233 Честно говоря, уже не так обращаю внимание на это файл. Пару раз переделывал, всё время видя заголовки «Правильный роботс». Решил, что мой нынешний вариант вполне хорош. А так, в целом, полезная статья, особенно для новичков.

]]> Автор: Олег Лютов https://kanapiya.kz/marafon-pravilny-robotstxt/#comment-220 Wed, 08 Mar 2017 10:11:26 +0000 http://www.500tenge.ru/?p=5429#comment-220 Поисковики ежедневно вводят новые алгоритмы, но не именным остается именно отношение к файлу robots.txt. Я когда-то давно и не знал о его существовании, пока меня не «прочитали всего» — имею введу скрытый текст на моем блоге, как я считал на тот момент. Автор молодец, что акцентирует внимание новичков на этом файле.

]]> Автор: Kanapiya https://kanapiya.kz/marafon-pravilny-robotstxt/#comment-210 Fri, 03 Mar 2017 16:57:24 +0000 http://www.500tenge.ru/?p=5429#comment-210 В ответ на Олег.

О я рад видеть новичков у себя на блоге. Да роботов нужно направлять в нужные русла, а то есть даже примеры когда в сеть попадают данные американских военных под глифом «секретно» изза простой ошибки с этим файлом.

]]> Автор: Олег https://kanapiya.kz/marafon-pravilny-robotstxt/#comment-204 Thu, 02 Mar 2017 17:29:21 +0000 http://www.500tenge.ru/?p=5429#comment-204 Здравствуйте, Мухамед! Прочитал вашу статью: «Марафон по созданию сайта — правильный robots.txt». Довольно-таки познавательная статья. В этой статье Вы все правильно пишете, я с вами абсолютно согласен. Файл robots.txt чрезвычайно важен для блога. В самом деле, с его помощью можно легко закрыть доступ поисковым роботам к индексации абсолютно всех папок и файлов. Ведь там есть служебные папки и файлы, а также с сохраненными паролями. Это все совершенно не нужно индексировать и давать кому-то доступ ко всему этому «добру». Потому что, если поисковые роботы будут индексировать все полностью, то это будет не совсем хорошо (мягко выражаясь). Лучше самому разобраться как составить свой robots.txt. И это, наверное, будет самый лучший вариант.

]]>