И так марафон медленно, но верно идет своим чередом. А сегодня очередная статья которая полезна тем кто только начинает создавать свой сайт, или просто не знаком с этой информацией. Многие даже не знают что надо настраивать robots.txt самому, а в некоторых CMS это делается автоматом, но иногда автоматом тоже может быть не правильно.

В этой статье постараюсь описать как настроить правильный robots.txt в популярных CMS: WordPress, Joomla, Ucoz (не популярный).

Что такое robots.txt?

То есть этот текстовый файл дает указания поисковым роботам google, яндекса и других систем, какие разделы, каталоги, папки стоить проиндексировать, а какие не стоит. Как бы таким путем можно создать собственный даркнет.

Но если вы смотрели фильм «Сноуден» в интернете все может быть проиндексировано .

Где расположен robots.txt

Этот файл должен располагаться в корне вашего сайта (http(s)://www.сайт.kz/robots.txt). его можно редактировать через простой блокнот, или через вашу панель хостинга (если возможно).

Значения в robots.txt

В этом файле каталоги которые нельзя индексировать поисковикам прописываются через определенные команды:

• «User-agent: *» означает, что правила, приведенные ниже, будут действовать для всех поисковиков. Во второй части файла мы прописываем правило специально для Яндекса: «User-agent: Yandex».
• «Allow:» — разрешено к индексации.
• «Disallow:» — запрещено к индексации.
• «Host: сайт.кз» — нужно указывать обязательно ваше основное зеркало сайта. Ваш сайт может быть доступен по двум адресам: с www и без www. Но в итоге происходит редирект на один из адресов  – это и есть основное зеркало, которое нужно указать здесь. Эта строчка может быть расположена в любой части файла.
• «Sitemap:» — ссылка на вашу XML-карту сайта, блога, форума и т.д. Если файлов с XML-картами несколько, пропишите путь к каждому из них.
• Звездочка * — означает произвольную последовательность символов.
• Disallow: /nazvanie — закроет от индексации все файлы и папки которые начинаются с nazvanie
• Disallow: /nazvanie/ — а с слешом в конце от индексации закроется только содержимое папки nazvanie

Особенности настройки robots.txt для Гугла и Яндекса

Каждый поисковик и его роботы имеют свои правила для нашего файла с роботами. Напишу известные мне правила для google и yandex. Но не стоить забывать что в интернете много поисковых систем, и их правила могут отличаться.

Для Яндекса наш файл должен иметь директиву host, которую понимает только сам яндекс, он указывает основное зеркало сайта. Также стоит разделять директивы для поисковых роботов.

User-agent: Yandex
Disallow: /nazvanie/
Host: http://www.website.kz

User-agent: *
Disallow: /nazvanie/

Также не стоить забывать изменить директорию Host при переходе на SSL сертификат с http:// на https:// . И стоит указать на то что разработчики компании добра (гугл) говорят то ваш файл robots.txt не должен весит больше 500кб, иначе это может привести к проблемам с индексацией.

Правильный Robots.txt для WordPress

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
 
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: http://www.website.kz
Sitemap: http://www.website.kz/sitemap.xml

Хотелось бы чтобы в самом Вордпрессе была функция настройки robots.txt, но ее пока нету. По крайней мере это можно сделать самому, или подключив дополнительные плагины.

Правильный Robots.txt для Joomla и Ucoz

Про Ucoz много говорить не стану, скажу лишь то что она создает robots.txt автоматически, но после истечения одного месяца. Ну а если не хотите ждать, то можно это сделать самостоятельно.

И вот ниже пример правильного robots.txt для Joomla по моему мнению.

Useragent:*
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrc/

Useragent:Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrc/
Host: http://www.website.kz
Sitemap: http://www.website.kz/sitemap.xml

Всем привет, сегодня очередная порция статейки из цикла марафона по созданию сайтов. В это раз поговорим об система сайта который у нас будет. Изначально я мог реализовать свою задумку через простой HTML/CSS и подключить дополнительные скрипты, что дало бы быстродействие сайта. Но затем подумал зачем нагружать себя, когда уже есть готовые решения, которые только помогут в создании проекта.

И мой выбор пал на CMS WordPress. И далее расскажу почему. Пока небольшой ликбез.

Как вы поняли это просто система управления сайтом, которая облегчает большинство рутинных дел, связанных с разработкой сайта.

Следуя данным из рейтинга рунета по использованию CMS, WordPress стоит на втором месте, что достаточно хорошо. И означает что данной системой пользуются многие. Хотя сам рейтинг я бы не назвал достаточно достоверным.

Хочу также развеять миф о том что на WordPress можно делать только блоги. Да так и было в самом начале, платформа разрабатывалась как раз для создания персональных блогов. Но в наше время у него огромный функционал. На WordPress можно создать абсолютно любой проект будь это блог, интернет магазин, форум, сервис, портал и так далее. А если вы хорошо разбираетесь в PHP, то у вас безграничные возможности сделать то что вы задумали, потому что у WordPress открытый и весьма понятный код, и структура.

Если говорить о WordPress и его преимуществах, уйдет много времени. Если вы и в правду хотите научиться работать с этой системой, то следите за обновлениями моего блога потому что скоро я анонсирую свой курс по созданию сайтов.

В целом сама система очень проста и понятна, и в ней можно разобраться без особых знаний в программировании. Даже многие хостинги в автоматическом режиме могут установить вам ее. Мой казахстанский хостинг провайдер на котором находиться этот блог не исключение.

Что вы думаете об этой системе управления сайтом? И не забудьте оценить статью под постом!

Не получается у меня пока писать столько постов, сколько хотелось бы. Такими темпами до заветных 200 постов долго будут тянуться.  И по марафону вроде работы над сайтом идут впереди, а посты с отчетами далеко позади.

И так самые первые вопросы при создании сайта это как подобрать хостинг и домен. У этого дела есть свои нюансы и некоторые трудности, которые легко решаются прочтением этого поста.

Хостинг

Хостинг — это место, сервер где будет располагаться ваш сайт. Для обычных сайтов где трафик небольшой 100-200 хостов в сутки пойдет виртуальный хостинг. А я надеюсь что мой сайт будет иметь более 500 пользователей в сутки, поэтому сразу решил брать VPS виртуальный сервер. Всегда хотел его попробовать, так как он дает больше возможностей таких как, самостоятельный выбор версии php, веб сервера, все логи по сайту и т.д. Пока это все что я знаю по VPS, буду рад если в комментах отпишитесь если знаете больше.

После долгих обзоров хостинг провайдеров остановился на ispserver. Так как у них хорошие отзывы, аптайм, поддержка, и главное в сумму входит ispmanager панель. И того 595 рублей в месяц, или 3000 тенге. Пока точно есть деньги на ближайшие 3 месяца для  этого проекта. Дальше посмотрим будет ли он приносит доход, минимум окупать свой хост.

Получить хостинг (промокод 345527336)

Домен

Домен — это название вашего сайта, и адрес по которому будут его находить в интернете. Главное чтобы он отражал суть проекта, был близким к его тематике, и если возможно короче 3-4 буквы. Но если хотите он может быть и длиннее.

Я решил что буду брать домен в зоне ру, так как основная аудитория сайта из РФ, и в этой зоне домен намного дешевле чем в Казахстане. Всего 90 рублей = 450 тенге в год, продление 99 рублей. А у нас в Кз домен стоить минимум 3500 тенге, 700 рублей. Разница ощутимая. Домен брал у другого сервиса, там же мог взять и хостинг дешевле чем на ispserver. Но в этом случае не стал делать упор на дешевизну.

Купить домен за 90 рублей

Если у вас возникнут друге вопросы на тему хостинг и домена, отвечу на них в комментариях. На этом пока все, ждите новых постов на эту тему!

Уже середина января, и я вот хочу начать свой марафон по созданию сайта. Идея по созданию именно этого сайта пришла ко мне в голову в прошлом году ночью, когда я не мог уснуть и в голове была тонна мыслей. С тематикой сайта и контентом, и методом продвижения я определился у себя в голове. А на самом деле это будет неким экспериментом.

Тематику сайта и сам адрес пока раскрывать не буду, вдруг он провалиться , но постараюсь публиковать на блоге отчеты с графиками и сделанными работами по проекту.

И да я ставил себе цель в начале года что сделаю несколько новых проектов в этом году. И теоретически если я выйду на этом проекте в посещаемость 1к посетителей в сутки, то думаю он сможет отбить вложенные средства. И если все пойдет хорошо далее создать форум на ту же тематику, благо опыт в этом есть. А пока на сам проект есть около 2к рублей = 10к тенге. И примерно 3 месяца.

Сам сайт будет не статейником, не блогом, скорее онлайн сервис для определенных групп людей. Монетизацию планирую сделать за счет продажи рекламы и адсенса.

А марафоном назвал потому что сам пока не знаю сколько это займет времени 3 месяца, а может и год, но цель выйти в 1к хостов в сутки.

Небольшой план по созданию сайта

И конечно надо создать небольшой план действий.

Создание сайта

• Купить домен
• Купить хостинг, возможно VPS
• Установить SSL сертификат
• Зарегать сайт в поисковиках, в инструментах вебмастеров и т.д.

Контент и продвижение

• Наполнить сайт контентом
• Сделать SEO продвижение
• Получить отзывы от лидеров мнений, и простых пользователей
• Продумать дальнейшее развитие проекта

Монетизация, заработок на сайте

И да было бы бессмысленно делать что то без получения прибыли с него, но хотя думаю что получу много опыта, и самое главное протестирую свою идею!