И так марафон медленно, но верно идет своим чередом. А сегодня очередная статья которая полезна тем кто только начинает создавать свой сайт, или просто не знаком с этой информацией. Многие даже не знают что надо настраивать robots.txt самому, а в некоторых CMS это делается автоматом, но иногда автоматом тоже может быть не правильно.

В этой статье постараюсь описать как настроить правильный robots.txt в популярных CMS: WordPress, Joomla, Ucoz (не популярный).

Что такое robots.txt?

То есть этот текстовый файл дает указания поисковым роботам google, яндекса и других систем, какие разделы, каталоги, папки стоить проиндексировать, а какие не стоит. Как бы таким путем можно создать собственный даркнет.

Но если вы смотрели фильм «Сноуден» в интернете все может быть проиндексировано .

Где расположен robots.txt

Этот файл должен располагаться в корне вашего сайта (http(s)://www.сайт.kz/robots.txt). его можно редактировать через простой блокнот, или через вашу панель хостинга (если возможно).

Значения в robots.txt

В этом файле каталоги которые нельзя индексировать поисковикам прописываются через определенные команды:

• «User-agent: *» означает, что правила, приведенные ниже, будут действовать для всех поисковиков. Во второй части файла мы прописываем правило специально для Яндекса: «User-agent: Yandex».
• «Allow:» — разрешено к индексации.
• «Disallow:» — запрещено к индексации.
• «Host: сайт.кз» — нужно указывать обязательно ваше основное зеркало сайта. Ваш сайт может быть доступен по двум адресам: с www и без www. Но в итоге происходит редирект на один из адресов  – это и есть основное зеркало, которое нужно указать здесь. Эта строчка может быть расположена в любой части файла.
• «Sitemap:» — ссылка на вашу XML-карту сайта, блога, форума и т.д. Если файлов с XML-картами несколько, пропишите путь к каждому из них.
• Звездочка * — означает произвольную последовательность символов.
• Disallow: /nazvanie — закроет от индексации все файлы и папки которые начинаются с nazvanie
• Disallow: /nazvanie/ — а с слешом в конце от индексации закроется только содержимое папки nazvanie

Особенности настройки robots.txt для Гугла и Яндекса

Каждый поисковик и его роботы имеют свои правила для нашего файла с роботами. Напишу известные мне правила для google и yandex. Но не стоить забывать что в интернете много поисковых систем, и их правила могут отличаться.

Для Яндекса наш файл должен иметь директиву host, которую понимает только сам яндекс, он указывает основное зеркало сайта. Также стоит разделять директивы для поисковых роботов.

User-agent: Yandex
Disallow: /nazvanie/
Host: http://www.website.kz

User-agent: *
Disallow: /nazvanie/

Также не стоить забывать изменить директорию Host при переходе на SSL сертификат с http:// на https:// . И стоит указать на то что разработчики компании добра (гугл) говорят то ваш файл robots.txt не должен весит больше 500кб, иначе это может привести к проблемам с индексацией.

Правильный Robots.txt для WordPress

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
 
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: http://www.website.kz
Sitemap: http://www.website.kz/sitemap.xml

Хотелось бы чтобы в самом Вордпрессе была функция настройки robots.txt, но ее пока нету. По крайней мере это можно сделать самому, или подключив дополнительные плагины.

Правильный Robots.txt для Joomla и Ucoz

Про Ucoz много говорить не стану, скажу лишь то что она создает robots.txt автоматически, но после истечения одного месяца. Ну а если не хотите ждать, то можно это сделать самостоятельно.

И вот ниже пример правильного robots.txt для Joomla по моему мнению.

Useragent:*
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrc/

Useragent:Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrc/
Host: http://www.website.kz
Sitemap: http://www.website.kz/sitemap.xml

Не получается у меня пока писать столько постов, сколько хотелось бы. Такими темпами до заветных 200 постов долго будут тянуться.  И по марафону вроде работы над сайтом идут впереди, а посты с отчетами далеко позади.

И так самые первые вопросы при создании сайта это как подобрать хостинг и домен. У этого дела есть свои нюансы и некоторые трудности, которые легко решаются прочтением этого поста.

Хостинг

Хостинг — это место, сервер где будет располагаться ваш сайт. Для обычных сайтов где трафик небольшой 100-200 хостов в сутки пойдет виртуальный хостинг. А я надеюсь что мой сайт будет иметь более 500 пользователей в сутки, поэтому сразу решил брать VPS виртуальный сервер. Всегда хотел его попробовать, так как он дает больше возможностей таких как, самостоятельный выбор версии php, веб сервера, все логи по сайту и т.д. Пока это все что я знаю по VPS, буду рад если в комментах отпишитесь если знаете больше.

После долгих обзоров хостинг провайдеров остановился на ispserver. Так как у них хорошие отзывы, аптайм, поддержка, и главное в сумму входит ispmanager панель. И того 595 рублей в месяц, или 3000 тенге. Пока точно есть деньги на ближайшие 3 месяца для  этого проекта. Дальше посмотрим будет ли он приносит доход, минимум окупать свой хост.

Получить хостинг (промокод 345527336)

Домен

Домен — это название вашего сайта, и адрес по которому будут его находить в интернете. Главное чтобы он отражал суть проекта, был близким к его тематике, и если возможно короче 3-4 буквы. Но если хотите он может быть и длиннее.

Я решил что буду брать домен в зоне ру, так как основная аудитория сайта из РФ, и в этой зоне домен намного дешевле чем в Казахстане. Всего 90 рублей = 450 тенге в год, продление 99 рублей. А у нас в Кз домен стоить минимум 3500 тенге, 700 рублей. Разница ощутимая. Домен брал у другого сервиса, там же мог взять и хостинг дешевле чем на ispserver. Но в этом случае не стал делать упор на дешевизну.

Купить домен за 90 рублей

Если у вас возникнут друге вопросы на тему хостинг и домена, отвечу на них в комментариях. На этом пока все, ждите новых постов на эту тему!

Самый первый вопрос возникающий при создании сайта, это какой хостинг выбрать. Ведь от него зависит дальнейшее будущее проекта. Хостинг бывает разный, и характеристики у него тоже разные. Выбор хостинга зависит от: цены, аптайма, дискового хранилища, объема трафика для сайта, расположения, возможностей и многого другого. В этой записи я опишу наиболее выгодные хостинги, которыми пользуюсь сам.

Что такое хостинг

Для начала если вы не знаете что это такое, то хостинг — услуга по предоставлению ресурсов для размещения информации на сервере, постоянно находящемся в сети (обычно Интернет). То есть это просто дисковое пространство на сервере где будет храниться ваш сайт.

Хостинг для жителей Казахстана

Так как я сам живу в Казахстане, для меня самый удобный хостинг это пс.кз. У него много тарифов от 200 до 1800 тенге за месяц. Достаточно хороший аптайм, иногда конечно гонит. Удобство оплаты, потому что он есть почти в любом терминале, но я люблю оплачивать через каспий банк без процентов.

Также у него удобная панель управления Plesk, и авто установщик почти всех CMS.

Хостинг для жителей СНГ и Казахстан тоже

Для жителей СНГ и Казахстанцам тоже советую хостинг от украинской компании Хостингер. Оплата в нем идет в украинских гривнах, то не особо удобно для КЗ. Но в нем есть бесплатный тариф, почти с теми же функциями что и в платном, но аптайм там хуже. Также есть авто установщик CMS. тарифы от 0 гривней до 149 гривней за месяц обслуживания.

Hostinger

На данный момент я пользуюсь этими двумя сервисами для своих сайтов, и вам рекомендую.