Способы заработка через Интернет Инфобизнес
Правильный robots txt для сайта, инструкция новичкам

Правильный robots txt для сайта, инструкция новичкам

                                                                                                                                                                                          

Здравствуйте друзья! В статье показано, что такое правильный robots txt для сайта, где он находится, способы создания файла robots, как адаптировать под себя файл robots с другого сайта, как его залить к себе на блог.

Что такое файл robots txt, зачем он нужен и за что он отвечает

Файл robots txtФайл robots txt, это текстовый файл, который содержит инструкции для поисковых роботов. Перед обращением к страницам Вашего блога, робот ищет первым делом файл robots, поэтому он так важен. Файл robots txt это стандарт для исключения индексации роботом тех или иных страниц. От файла robots txt будет зависеть попадание в выдачу Ваших конфиденциальных данных. Правильный robots txt для сайта поможет в его продвижении, поскольку он является важным инструментов во взаимодействии Вашего сайта и поисковых роботов.

Не зря файл robots txt называют важнейшим инструментом SEO, этот маленький файл напрямую влияет на индексацию страниц сайта и сайта в целом. И наоборот, неправильный robots txt может исключить некоторые страницы, разделы или сайт в целом из поисковой выдачи. В этом случае можно иметь и 1000 статей на блоге, а посетителей на сайте просто не будет, будут чисто случайные прохожие.

На Яндекс вебмастере есть обучающее видео, в котором Яндекс сравнивает файл роботс тхт с коробкой Ваших личных вещей, которые Вы не хотите никому показывать. Чтобы посторонние не заглядывали в эту коробку, Вы её заклеиваете скотчем и пишете на ней – «Не открывать».

Роботы, как воспитанные личности, эту коробку не открывают и другим не смогут рассказать, что там находится. Если файла robots txt нет, то робот поисковой системы считает, что все файлы доступные, он откроет коробку, всё посмотрит и другим расскажет, что лежит в коробке. Чтобы робот не лазил в этот ящик, надо запретить ему туда лазить, делается это с помощью директивы Disallow, что переводится с английского – запретить, а Allow – разрешить.

Это обычный txt файл, который составляется в обычном блокноте или программе NotePad++, файл, который предлагает роботам не индексировать определённые страницы на сайте. Для чего это нужно:

  • правильно составленный файл robots txt не позволяет роботам индексировать всякий мусор и не забивать поисковую выдачу ненужным материалом, а также не плодить дубли страниц, что является очень вредным явлением;
  • не позволяет роботам индексировать информацию, которая нужна для служебного пользования;
  • не позволяет роботам шпионам воровать конфиденциальные данные и использования их для отправки спама.

Это не означает, что мы что-то хотим спрятать от поисковиков, что-то тайное, просто эта информация не несёт ценности ни для поисковиков, ни для посетителей. Например, страница логина, RSS ленты и т.д. Кроме того, файл robots txt указывает зеркало сайта, а также карту сайта. По умолчанию на сайте, который делается на WordPress, файла robots txt нет. Поэтому нужно создать robots txt файл и залить его в корневую папку Вашего блога, в данной статье мы рассмотрим robots txt для WordPress, его создание, корректировку и заливку на сайт. Итак, сначала мы узнаем, где находится файл robots txt?

к оглавлению ↑

Где находится robots txt, как увидеть его?

Думаю, многие новички задают себе вопрос – где находится robots txt? Находится файл в корневой папке сайта, в папке public_html, его можно увидеть достаточно просто. Вы можете зайти на хостинг, открыть папку своего сайта и посмотреть есть там этот файл или нет. В прилагаемом ниже видео, показано, как это сделать. Можно посмотреть файл и с помощью Яндекс вебмастера и Google webmaster, но об этом поговорим позже.

Есть вариант еще проще, который позволяет посмотреть не только свой robots txt, но и robots любого сайта, Вы можете robots скачать к себе на компьютер, а затем адаптировать его к себе и использовать на своём сайте (блоге). Делается это так – Вы открываете нужный Вам сайт (блог), и через слэш дописываете robots.txt (смотрите скрин)

Файл robots txt_2

и нажимаете Enter, открывается файл robots txt. В данном случае, Вы не можете видеть, где находится robots txt, но можете его посмотреть и скачать.

к оглавлению ↑

Как создать правильный robots txt для сайта

Создать robots txt для сайта можно различными вариантами:

  • использовать генераторы онлайн, которые быстро создадут файл robots txt, сайтов и сервисов, которые это умеют делать, достаточно много;
  • использовать плагины для WordPress, которые помогут решить эту задачу;
  • составить файл robots txt своими руками вручную в обычном блокноте или программе NotePad++;
  • использовать готовый, правильный robots txt с чужого сайта (блога), заменив в нем адрес своего сайта.
к оглавлению ↑

Генераторы robots txt

Итак, ранее генераторами создания файлов robots txt я не пользовался, но перед написанием данной статьи решил протестировать 4 сервиса по генерации файлов robots txt, получил определённые результаты, о них позже скажу. Вот эти сервисы:

  • SEOlib;
  • сервис PR-CY;
  • [urlspan]сервис Raskruty.ru[/urlspan];
  • seo café  зайти сюда можно по этой ссылке  — info.seocafe.info/tools/robotsgenerator.

О том, как использовать генератор robots txt на практике, подробно показано в прилагаемом ниже видео. В процессе испытания пришел к выводу, что они для этого новичкам не подходят, и вот почему? Генератор позволяет только оформить правильную запись без ошибок самого файла, а для составления правильного robots txt все равно нужно обладать знаниями, надо знать, какие папки закрыть, какие нет. По этой причине использовать генератор robots txt чтобы создать файл, новичкам не рекомендую.

к оглавлению ↑

Плагины robots txt для WordPress

Есть плагины, например, PC Robots.txt для создания файла. Этот плагин позволяет редактировать файл прямо в панели управления сайтом. Другой плагин iRobots.txt SEO – этот плагин с похожим функционалом. Вы можете найти кучу различных плагинов, которые позволяют работать с файлом robots txt. При желании Вы можете задать в поле «Поиск плагинов» словосочетание robots. txt и нажать кнопку «Поиск» и Вам будет предложено несколько плагинов. Конечно, о каждом из них надо прочитать, посмотреть отзывы.

Принцип работы плагинов robots txt для WordPress очень похож на работу генераторов. Чтобы получить правильный robots txt для сайта, нужны знания и опыт, а откуда он может быть у новичков? По моему мнению, от подобных сервисов можно получить больше вреда, чем пользы. А если устанавливать плагин, так он еще и хостинг нагрузит. По этой причине устанавливать плагин robots txt WordPress не рекомендую.

к оглавлению ↑

Создать robots txt вручную

Можно создать robots txt вручную, используя обычный блокнот или программу NotePad++, но для этого должны быть знания и опыт. Новичкам этот вариант тоже подходит мало. Но со временем, когда появится опыт, можно будет это делать, причем составить файл robots txt для сайта, прописать директивы Disallow robots, закрыть от индексации нужные папки, выполнить проверку robots и его корректировку можно всего за 10 минут. На приведенном скрине показан роботс тхт в блокноте:

Роботс тхт в блокноте

Сам порядок создания файла robots txt здесь рассматривать не будем, об этом подробно написано во многих источниках, например, в Яндекс вебмастер. Перед составлением файла роботс тхт, необходимо зайти в Яндекс Вебмастер, где подробно расписана каждая директива, что за что отвечает и на основании этой информации составить файл. (смотрите скрин).

robots txt

Кстати, новый Яндекс вебмастер предлагает подробную и развернутую информацию, статью о новом Яндекс вебмастере можно посмотреть на блоге. Точнее представлено две статьи, которые принесут большую пользу блоггерам и не только новичкам, советую прочитать.

Если Вы не новичок и хотите сделать robots txt самостоятельно, то нужно соблюдать ряд правил:

  1. Использование национальных символов в файле robots txt не допускается.
  2. Размер файла robots не должен превышать 32 Кбайт.
  3. В названии файла robots нельзя писать типа Robots или ROBOTS, файл нужно подписать именно так, как показано в статье.
  4. Каждую директиву нужно начинать с новой строки.
  5. В одной строке нельзя указывать больше одной директивы.
  6. Директива «Disallow» с пустой строкой равнозначна директиве «Allow» — разрешить, это надо помнить.
  7. Нельзя ставить пробел в начале строки.
  8. Если не сделать пробел между различными директивами «User-agent», то роботы воспримут только верхнюю директиву – остальные проигнорируют.
  9. Сам параметр директивы нужно прописать только одной строкой.
  10. Нельзя заключать параметры директивы в кавычки.
  11. Нельзя после директивы закрывать строку точкой с запятой.
  12. Если файл robots не будет обнаружен или будет пустой, то роботы будут это воспринимать, как «Всё разрешено».
  13. Можно делать комментарии в строке директивы (чтобы было понятно, что это за строка), но только после знака решетка #.
  14. Если сделать пробел между строками, то это будет означать конец директивы User-agent.
  15. В директивах «Disallow» и «Allow» должен быть указан только один параметр.
  16. Для директив, которые являются директорией ставится слэш, например – Disallow/ wp-admin.
  17. В разделе «Crawl-delay» нужно рекомендовать роботам временной интервал между скачиванием документов с сервера, обычно это 4-5 секунд.
  18. Важно — между директивами не должно быть пустых строк. Новая директива начинается через один пробел. Это означает конец правил для поискового робота, в прилагаемом видео это подробно показано. Звёздочки означают последовательность любых символов.
  19. Все правила я советую повторять отдельно для робота Яндекса, то есть все директивы, которые были прописаны для других роботов, повторить для Яндекса отдельно. В конце информации для робота Яндекса надо записать директиву хост (Host — она поддерживается только Яндексом) и указать свой блог. Хост указывает Яндексу, какое зеркало Вашего сайта главное с www или без.
  20. Кроме того в отдельной директории файла роботс тхт, то есть через пробел, рекомендуется указывать адрес карты вашего сайта. Создание файла можно сделать за несколько минут и начинается с фразы «User-agent:». Если Вы хотите закрыть от индексации, например, картинки, то надо прописать Disallow: /images/.
к оглавлению ↑

Использовать правильный robots txt с чужого сайта

Идеального файла не существует, периодически нужно пробовать экспериментировать и учитывать изменения в работе поисковых систем, учитывать те ошибки, которые со временем могут появиться на Вашем блоге. Поэтому для начала можно взять чужой проверенный файл robots txt и установить его к себе.

Обязательно надо изменить записи, которые отражают адрес Вашего блога в директории Host (смотрите скрин, смотрите также видео), а также заменить на свой адрес сайта в адресе карты сайта (две нижние строки). Со временем этот файл немного надо подкорректировать. Например, Вы обратили внимание, что у Вас начали появляться дубли страниц.

В разделе «Где находится robots txt, как увидеть», который находится выше, мы рассматривали, как посмотреть и скачать robots txt. Поэтому, нужно выбрать хороший трастовый сайт, у которого высокие показатели Тиц, высокая посещаемость, открыть и скачать правильный robots txt. Нужно сравнить несколько сайтов, выбрать для себя нужный файл роботс тхт и залить себе его на сайт.

к оглавлению ↑

Как залить на сайт файл robots txt в корневую папку сайта

Как уже писалось, после создания сайта на WordPress, по умолчанию, файл robots txt отсутствует. Поэтому его надо создать и закачать в корневую папку нашего сайта (блога) на хостинг. Закачать файл достаточно просто. На хостинге TimeWeb можно закачать напрямую, на других хостингах закачать можно либо через FileZilla, либо через FTP соединение с помощью Total Commander. В видео, которое расположено ниже, показан процесс закачки файла robots txt на хостинг TimeWeb.

к оглавлению ↑

Проверка файла robots txt

После закачки файла robots txt, нужно проверить его наличие и работу. Для этого можем посмотреть файл с браузера, как показано выше в разделе «Где находится robots txt, как увидеть». А проверить работу файла можно с помощью Яндекс вебмастера и Google webmaster. Помним, что для этого должны быть подтверждены права на управление сайтом, как в Яндексе, так и в Google.

Для проверки в Яндексе заходим в наш аккаунт Яндекс вебмастера, выбираем сайт, если у Вас их несколько. Выбираем «Настройка индексирования», «Анализ robots.txt», а дальше следуем инструкциям.

Анализ robots.txt

В Google вебмастер делаем аналогично, заходим в наш аккаунт, выбираем нужный сайт (если их несколько), нажимаем кнопку «Сканирование» и выбираем «Инструмент проверки файла robots.txt». Откроется файл robots txt, Вы можете его исправить или проверить.

Проверка robots txt

На этой же странице находятся отличные инструкции по работе с файлом robots txt, можете с ними ознакомиться. В заключении привожу видео, где показано что представляет собой файл robots txt, как его найти, как его посмотреть и скачать, как работать с генератором файла, как составить robots txt и адаптировать под себя, показана другая информация:

к оглавлению ↑

Заключение

Итак, в данной статье мы рассмотрели вопрос, что собой представляет файл robots txt, выяснили, что этот файл является очень важным для сайта. Узнали, как сделать правильный robots txt, как адаптировать файл robots txt с чужого сайта к себе, как закачать его на свой блог, как его проверить.

Из статьи стало понятно, что новичкам, на первых порах, лучше использовать готовый и правильный robots txt, но надо не забыть заменить в нем в директории Host домен на свой, а также прописать адрес своего блога в картах сайта. Скачать мой файл robots txt можно здесь. Теперь, после исправления, можете использовать файл на своем блоге.

Отдельно по файлу robots txt есть сайт Вы можете зайти на него и узнать более подробную информацию. Надеюсь, у Вас всё получится и блог будет хорошо индексироваться. Удачи Вам!

                                                                                                                            С уважением, Иван Кунпан.

P.S. Для правильного продвижения блога надо правильно писать о оптимизировать статьи на блоге, тогда  на нём будет высокая посещаемость и рейтинги. В этом Вам помогут мои инфопродукты, в которые вложен мой трёхлетний опыт. Можете получить следующие продукты:

Если этих материалов будет недостаточно, можете перейти на страницу библиотеки инфопродуктов «Создание сайтов (блогов) и работа с ними» и выбрать там нужный видео-курс или книгу.

Просмотров: 4806
Получайте новые статьи блога прямо себе на почту. Заполните форму, нажмите кнопку "Подписаться"
Ваше имя: *
Ваш e-mail: *
Вы можете почитать:
94 комментария
  1. Андрей Косолапов:

    Иван, приветствую! Не знаю на счет роботс файла, но то что блог преобразился, это класс! Мне очень понравилось. Скромно и со вкусом. Короче, БРАВО!!!!!

    Ответить
    • Владимир:

      Установил файл. Все прошло как по статье без проблем. Все работает. Понаблюдаю, как изменится сайт от этого. Спасибо за информацию

      Ответить
      • Ivan:

        Владимир, если у Вас не было robots txt, то наверняка появилось много дублей страниц, надо проверить их количество и отслеживать темпы их изъятия поисковыми системами. Но надо понимать, что этот процесс медленный и может занять несколько месяцев. Конечно, роботс тхт улучшит показатели, можно и не сомневаться.

        Ответить
        • Юлия:

          Иван значит у Вас комментарии не индексируются

          Ответить
          • Иван Кунпан:

            Комментарии в любом случае будут индексироваться. Конечно, можно запретить их индексирование в файле robots txt, но эту команду воспримет только Яндекс. Google на robots txt обращает мало внимания и он обязательно их проиндексирует.

            Ответить
            • Юлия:

              зато появился комментарий, обновление на блоге и поисковику сигнал, что сайт часто обновляется

    • Ivan:

      Спасибо Андрей! Да, блог изменился, но еще остается много доработок. Надеюсь за следующую неделю закончим.

      Ответить
  2. Руслан:

    Честно скажу, впервые вижу такую подробную статью про роботс. Прям ну все аспекты затронуты.
    Кстати ещё совет по верстке блога. У меня он не помещается в телефоне, приходится использовать горизонтальную прокрутку.

    Ответить
    • Anna:

      Руслан, здравствуйте! Меня тоже интересует этот вопрос о том, что блог не помещается в телефоне…А с чем это связано и что нужно сделать, чтобы устранить эту ошибку? С уважением, Анна.

      Ответить
      • Руслан:

        Анна! Здравствуйте! А это вопрос не к нам. Это задание для верстальщика =)

        Ответить
        • Anna:

          Руслан, спасибо, что ответили…Теперь знаю, к кому обращаться…А если сайт делал сам, тогда к кому обращаться?….С уважением, Анна.

          Ответить
          • Руслан:

            Анна! Если человек всё делал сам, значит скорей всего он сам может всё исправить и сделать так, как хочет.
            А если не может, то также необходимо обращаться к специалистам, которые этим зарабатывают.

            Ответить
          • Иван Кунпан:

            Анна, по мобильной версии (если сайт не помещается на экране мобильного) — сначала нужно проверить, адаптирован сайт к мобильным устройствам или нет. В Google и новом Яндекс вебмастере есть такая возможность. По новому Яндекс вебмастер писал здесь https://biz-iskun.ru/instrument-yandeksa-vstrechayte-novyiy-yandeks-webmaster.html не помню точно в первой или второй части, указано на этот сервис.
            Если подтвердится, что Ваш блог не адаптирован, тогда поставьте и настройте плагин WPyouch Mobile как это сделать показано здесь https://biz-iskun.ru/mobilnaya-versiya-sayta-dlya-wordpress.html
            Можно сделать без плагина, но для этого нужно обращаться к специалистам. Кроме того, такая работа будет стоить не менее 50$.
            Сейчас Гугл учитывает при ранжировании сайтов на предмет наличия мобильной версии, Яндекс пока только фиксирует, но карательных мер не принимает. Думаю, скоро и у Яндекса будут принимать меры к сайтам, которые не адаптированы к мобильной версии.
            Так что по любому сайт должен быть адаптирован. Каким путем пойти решать Вам.

            Ответить
          • Ирина Лукшиц:

            А ваш сайт адаптирован под мобильные устройства? Если тема ( шаблон) не адаптированы, нужно установить специальный плагин WP mobil как-то так называется. У меня был установлен, но теперь мой шаблон адаптирован под мобильные устройства. так что надобность в нем отпала. И Роботс у меня не такой. Разработчик шаблона Анфиса Бреус в комплекте с шаблоном дает Роботс, он короче и немного отличается. А я сама до сих пор не очень разбираюсь во всех этих директивах, что открывать, что закрывать. Полностью полагаюсь на профессионалов.

            Ответить
            • Ivan:

              Ирина, Вы правы — если сайт не адаптирован, то нужно установить плагин. Я сам плагином WPtouch пользовался с мая 2015 года, но сейчас изменил дизайн блога и установил адаптированный шаблон. Правда остались небольшие недоработки, которые будут устранены в ближайшее время. Кстати, плагин работает на ура и прекрасно справляется со своими обязанностями.
              Что касается фала robots. Конечно, каждый сайт и блог разный и это должно учитываться. Вместе с тем, в последнее время поисковые системы борются с дублями страниц и различным мусором поэтому и приходится закрывать многие папки. Поверьте, это не дань моде, это необходимость, которую продиктовали сами поисковики.

    • Иван Кунпан:

      По статье. Статья просто не получалась короче, была мысль её разделить, но решил оставить, ведь так это одно целое и читателю так удобнее будет с ней работать. С другой стороны, в этой статье много, что еще можно было показать. Так, что тема Робос тхт не такая простая и не такая уж и маленькая.

      Что касается мобильной версии. Вы правы, есть такой косяк. Яндекс вебмастер тоже показал эту проблему, мой мобильник тоже. Со временем эти проблемы будут устраняться. Спасибо за подсказку.

      Ответить
  3. Anna:

    Очень хорошая статья…Такая подробная и основательная…Я вспоминаю, как я мучилась с созданием этого файла роботс…Мне трудно было его и создать , и залить…Это было что-то ужасное для меня, когда я вообще ничего не понимала в структуре блога…Поэтому уверена, что ваша обучающая статья поможет очень многим пользователям…Желаю творческих удач в написании новых статей…С уважением, Анна.

    Ответить
    • Иван Кунпан:

      Спасибо Анна! Жаль, что эту статью написал поздно и Вам пришлось мучиться!
      Будем надеяться, что нынешним новичкам статья сослужит добрую службу.

      Ответить
      • Anna:

        Иван, так и будет, можете не сомневаться…Уже первая ласточка есть у вас в комментариях от Ольги…И это только начало…С уважением, Анна.

        Ответить
  4. Ольга:

    Иван, спасибо большое за статью. Статья очень понравилась.
    Получила ответы на многие свои вопросы. Плюс написано просто и понятно, как раз то, что надо мне как новичку.

    Ответить
    • Иван Кунпан:

      Ольга, пожалуйста, рад, что статья Вам принесла пользу!

      Ответить
  5. Григорий:

    robots txt

    Когда то я, занимаясь версткой, имел дело с данным файлом. Насколько помню, он у меня занимал 2 или 3 строчки 🙂

    Время идет. Как говорили древние — изменяется! И теперь вот такому вопросу, как robots txt посвящаются обширные статьи, кандидатские диссертации, пишутся монографии и рефератты…

    И это прекрасно! 😉

    Ответить
    • Иван Кунпан:

      Григорий, Вы правы! Пустяковый файл, который весит всего 1 Кбайт, а как много от него зависит — будут Ваш блог индексировать или нет. Оно так и есть — все течет, все меняется. А поэтому тема robots txt очень важна и это надо учитывать новичкам.

      Ответить
  6. Иван:

    Подробно и качественно все описано. Нужно будет сверить свой файл с Вашими рекомендациями и если что, поправить его.

    Ответить
    • Ivan:

      Спасибо Иван за оценку. От этого маленького файла зависит действительно много. Конечно, блоги у всех разные, но общие подходы остаются. Если у Вас включены древовидные комментарии, то лучше сделать так, как у меня.

      Ответить
  7. Игорь Черноморец:

    Здравствуй Иван! Я тоже такую подробную инструкцию вижу впервые. Несомненно ваша статья окажется в топе.
    Но…я вижу, что в вашем Роботсе закрыты почти все разделы типа: feed, replytocom и т.п.
    Насколько мне известно, ПС советуют открыть в роботсе все разделы для индексации и если нужно что либо закрыть, то делать это через мета теги noindex или через файл .htecces с помощью редиректов.
    Это именно то, что я и сделал! В моем файле robots.txt откыто все, кроме служебных файлов админки wordpress и то, они предназначены исключительно для Яндекса. А вот для Google вообще все открыто.
    Поисковые системы стали умнее и они прекрасно понимают каждый закрытый и открытый раздел сайта. Поэтому я открыл доя них все! Сейчас задумываюсь открыть для Яндексы тоже все.
    Что вы думаете по этому поводу?

    Ответить
    • Ivan:

      Игорь, давайте по порядку.
      1. Google полностью игнорирует файл robots txt. Если Вы помните, раньше в роботсе писалось отдельно в User agent для Гугла и отдельно для Яндекса. Сейчас для Гугла в роботсе ничего не пишется, он заходит туда без проблем.

      2. Я думаю, Вы знаете как сейчас поисковики ненавидят дубли страниц и если они есть на любом блоге, то этому блогу или сайту никогда не быть в топе. На страницах блога об этом я писал. Так вот, многие дубли можно убрать через файл robots, что и делается. Кстати, replytocom тоже дубли, они рождаются при настройке древовидных комментариев на Вордпресс, от них обязательно надо избавляться, иначе у сайта никогда не будет успеха — это точно. Страницы типа feed, page тоже надо закрывать от индексации, это тоже дубли.
      Посмотреть есть дубли на сайте или нет можно следующим образом: Набираем в Google site:biz-iskun.ru (домен ставите свой), далее листаете все страницы до конца. В конце всех страниц нажимаете «Показать скрытые результаты.» Будут представлены все дубли на сайте.

      3. Совсем недавно Яндекс начал выдавать мне замечания, что нет Description к страницам archive, но как там их сделать, а ведь он понижает за это сайт в выдаче. Сейчас думаю о закрытии и этих страниц. Хотя специалисты говорят, что через archives также идёт продвижение.
      Игорь, надо зайти в новый Яндекс вебмастер и посмотреть там занятия от Яндекса, которые они проводили с сентября по ноябрь 2015, возможно, там есть тема по роботс.
      Это лучший вариант, узнать информацию от первоисточника. На блоге я писал статью о новом вебмастере, её Вы сможете найти через Поиск по блогу.

      4. Сегодня есть еще один вариант найти оптимальный роботс — надо подобрать высокопосещаемые и трастовые сайты, открыть их robots txt и сделать анализ.

      Ответить
      • Юлия:

        я часто захожу в гугл вебмастер и он часто пишет, что некоторые URL закрыты в роботс и это ему не нравится, что с этим можно сделать

        Ответить
        • Иван Кунпан:

          В двух словах не скажешь, нужно смотреть каждый случай отдельно. Знаю, что Гугл не такой уж и скромный, он часто индексирует то, что ему запретили. Если Вы сами не знаете, что хочет Гугл, лучше обратиться к специалистам. Просто неправильное действие может навредить больше, чем получится пользы.

          Ответить
          • Юлия:

            мне кажется не нужно закрывать от индексации комментарии, именно это гугл и не нравиться

            Ответить
            • Иван Кунпан:

              Дело не в этом, для Гугла нужно применять отдельную методику продвижения.

  8. Игорь Черноморец:

    И еще забыл сказать….
    Обратите внимание на все популярные зарубежные сайты. Проверьте у них файл robots.txt и вы увидите, что у них в файле почти все открыто для индексации!

    Ответить
    • Игорь Черноморец:

      Иван, мой предыдущий комментарий улетел в спам (скорей всего) можете его одобрить пожалуйста?

      Ответить
    • Ivan:

      Сам файл robotx txt зарубежных сайтов не смотрел, но если Вы говорите, значит так и есть. Могу предположить следующее.
      1. Они работают с Google, а Google robots почти не нужен, это одна причина.
      2. Сейчас львиная доля Западных сайтов использует SEO плагин by Yoast, это аналог старому All in oneSEO Pack. Так вот плагин by Yoast имеет возможность закрывать от индексации многие папки сайта. В этом случае действительно robots txt можно сделать коротким — это вторая причина.

      Ответить
      • Иосиф:

        Иван, Вы проверяли плагин SEO плагин by Yoast. О нем очень противоречивые отзывы. Хотя действительно, англоязычные сайты его используют. Я хотел его попробовать, но не решился.

        Ответить
        • Ivan:

          Иосиф, я использую плагин by Yoast уже год, хороший плагин, можете смело устанавливать и использовать его. Единственное, надо сделать правильную настройку и правильно перенести настройки с плагина, например, All in One SEO Pack.
          Плагин by Yoast показывает Вам сразу настолько Вы правильно отразили ключевые слова в статье и многое другое. Если Вы все правильно сделали, загорается зелёный светофор, значит можно публиковать статью.

          Ответить
          • Иосиф:

            Спасибо, Иван. Непременно в ближайшее время установлю и попробую.

            Ответить
            • Иван Кунпан:

              Иосиф, если у Вас будут сложности с настройкой, обращайтесь.

          • Иосиф:

            Забыл задать вопрос. Если у Вас плагин установлен, то зачем столь обширны запреты в robots txt. У Вас в нем около полусотни пунктов.

            Ответить
            • Иван Кунпан:

              Во-первых, я не настолько профессионально владею знаниями по работе с плагином by Yoast, а на изучение всех моментов нужно затратить много времени, а еще есть и другие проекты.
              Во-вторых, привычка великое дело, да и не всё можно закрыть с помощью плагина, без фала robots txt нельзя обойтись.

          • Юлия:

            Я убрала все ограничения по комментариям в этом файле, теперь посмотрим, что будет, у гугл очень много предупреждений из-за этого, многие сео специалисты советуют для него совсем ничего не ограничевать

            Ответить
            • Иван Кунпан:

              Юлия, настолько я знаю, Гугл на многие параметры плагина By Yoast не обращает внимания, он может запросто смотреть то, что вы ему запретили…

  9. Ivan:

    Да, я всё сделал и ответил на него.

    Ответить
  10. Олег Севостьянов:

    Приветствую Иван! Блог изменился,более солидный стал,мне нравиться.))

    Ответить
    • Иван Кунпан:

      Спасибо, Олег! Надеюсь с новым дизайном будут и новые позиции блога в «Поиске», будет приятно и посетителям. На самом деле, дизайн блога надо периодически обновлять, хотя бы раз в полтора года.

      Ответить
  11. Олег Севостьянов:

    Иван а кто дизайн разработал?

    Ответить
    • Иван Кунпан:

      Я нашел дизайнера через фриланс. Если хотите могу дать его контакты.

      Ответить
  12. Олег Севостьянов:

    Конечно,буду благодарен. ))

    Ответить
  13. Иван Кунпан:

    Олег, не вопрос, конечно же дам контакты. Напишите мне письмо в личку.

    Ответить
  14. Марина:

    Здравствуйте, Иван. Очень объемная, полезная статья. До этого прослушала вебинар в эксперт-группе об этой теме, теперь с интересом прочитала всю статью. Я на своем сайте, конечно, отстала, многое надо еще доводить до конца. Теперь по Вашей статье буду robots txt устанавливать — все очень подробно написано, надеюсь, справлюсь.
    Поздравляю с обновлением сайта — очень четкий, воспринимаемый глазом дизайн. А для меня очень важно — крупный шрифт. Сайт получился такой же представительный, как и Вы на фото в шапке сайта:-). Многих Вам посетителей!

    Ответить
    • Иван Кунпан:

      Марина, спасибо большое за отзыв! Да, посетители нужны и над этим буду продолжать работать.
      По своему блогу Вы всё догоните, главное каждый день делать созидательные шаги, со временем это выльется в результат. По файлу robots txt я ничуть не сомневаюсь, что у Вас получится.

      Ответить
  15. Марина:

    Иван, вопрос по предыдущему комментарию. Почему у меня ставится вместо фото знак аватара, я вроде создавала аватар с фото и раньше мои комментарии шли с фото? Заранее спасибо за ответ.

    Ответить
    • Иван Кунпан:

      Если граватар установлен правильно, то должно отображаться фото. Надо проверить еще раз настройки граватара.

      Ответить
  16. Алина Таранец:

    Спасибо большое, Иван! Я сделала по Вашей статье вручную файл robots.txt с запретом на индексирование для своего нарождающегося сайта. Повторила файл для Яндекса и дала данные своего сайта, как в Вашем образце. Проверила в Яндекс Вебмастере и в Google Search Consol.
    Ответ этих систем обрадовал — robots.txt проявился, ошибок нет!

    Ответить
    • Иван Кунпан:

      Алина, поздравляю Вас! Теперь Вы сами сможете помочь новичкам.

      Ответить
  17. Татьяна:

    Иван спасибо за обучающую статью! Я впервые об этом файле узнала от Вас и узнала как он важен.По видео сделала свой файл robots.txt (скопировала, изменила адрес сайта), сохранила, скачала на свой блог и проверила в вебмастере, вроде все отражается. Я думала, что самостоятельно у меня не получится, а по вашей статье все получилось. В дальнейшем буду смотреть изменения на своем блоге. Спасибо.

    Ответить
    • Иван Кунпан:

      Татьяна, поздравляю Вас с установленным файлом robots, теперь у Вас есть уже и собственный опыт.

      Ответить
  18. Илья Сёмин:

    Да, robots.txt очень важен, чтобы показать роботам, что можно индексировать, а что нельзя. Проверял свой в Яндекс и Гугл Вебмастерах, никто не ругается.

    Ответить
    • Иван Кунпан:

      Илья, всё верно, без файла robots txt у сайта нет никаких шансов на развитие. Этот файл обязательно нужно создавать, важно сделать это правильно.

      Ответить
  19. Екатерина:

    Иван, спасибо за прекрасную статью и за помощь в создании файла robots txt для моего сайта! Всё работает, Яндекс не ругается! :))

    Ответить
    • Ivan:

      Екатерина, пожалуйста! Еще один вопрос в продвижении сайта Вами решен, можно идти дальше.

      Ответить
  20. Иосиф:

    Здравствуйте, Иван! Статья очень подробная и нужная. Единственное замечание. Нельзя просто переносить robots.txt с сайта на сайт без проверки и адаптации под конкретную тему. Есть много готовых тем с совершенно различной индексацией элементов. Я проверял это на тестовом сайте. Ставил разные темы под один и тот же robots.txt. И еще одно наблюдение. В Гугле robots не блокирует появление дублей от древовидных коммент.

    Ответить
    • Ivan:

      Иосиф, Вы правильно говорите, многие файлы закрываются плагином by Yoast для Google, это решает многие проблемы. Что касается вставлять готовые robots с других сайтов. В начальный период новичкам можно смело это делать, а скажем так, через полгодика, можно будет сделать аудит сайтов с ревизией и корректировкой файла robots. На начальном этапе новички точно не сделают свой роботс самостоятельно, а делать аудит сайта, на котором пока ничего нет неоправданно.

      Ответить
  21. Алина Таранец:

    Здравствуйте, Иван! В начале зарождения моего блога я сделала файл robots.txt по Вашим рекомендациям и закрыла его от индексации. Сегодня я решила открыть блог для индексации и убрала 2 тега
    Disallow: /tag
    Disallow: /code
    Правильно ли это?
    Проверила в яндекс и гугль вебмастерах, там не ругаются, тишь да гладь.
    С уважением, Алина Таранец, автор блога ПУТИ К ЗДОРОВЬЮ.

    Ответить
    • Иван Кунпан:

      Алина, на занятиях мы говорили о том, что запретить индексацию лучше с помощью самого WordPress? установить галочку в разделе «Попросить поисковые системы не индексировать сайт». Не нужно проводить эксперименты с этим вопросом. А если уж запрещать индексацию, то нужно было прописать «Disallow:/ content».

      Откуда Вы взяли запреты на «tag» «code», я Вам таких рекомендаций не давал. Нужно было просто поставить роботс, которые мы давали Вам на занятиях. Вам не нужно так глубоко изучать данный вопрос, это не оправданная трата времени. Вы в будущем все равно не будете профессионально создавать сайты другим людям на заказ.

      Ответить
    • Алина Таранец:

      Спасибо, Иван! Потихонечку начинаю понимать тему с robots.txt
      На занятиях мы проходили много хорошего, но пока не начнешь действовать, всё кажется понятно. Вот и всплывают вопросы — подробности при осуществлении темы robots.txt

      Ответить
      • Иван Кунпан:

        Алина, всё так, когда начинаешь действовать появляются вопросы. Иногда действительно хочется поэкспериментировать и проверить, как повлияет тот или иной фактор. Вы человек очень настойчивый, который любит доходить до истины, получать собственный результат. У таких людей всегда все получается!!!

        Ответить
  22. Алина Таранец:

    Иван. для начала индексации моих статей в сайте правильно ли я поняла, прошу Вас подтвердить:
    1. я зашла в сканирование — просмотреть как GoogleBot — вставила латиницей название статьи в верхней строке, где прописано общее название моего сайта, а затем нажимаю Сканировать. После отображения моего статуса Готово, нажимаю кнопку ДОБАВИТЬ В ИНДЕКС. Далее высвечивается URL отправлен для индексирования. И теперь так делать с каждой новой статьей? и правильно ли я сделала?
    С уважением, Алина Таранец, автор блога ПУТИ К ЗДОРОВЬЮ

    Ответить
    • Иван Кунпан:

      Алина, для начала индексирования нужно зайти в админпанель блога, выбрать «Настройки», «Чтение». В чек боксе «Видимость для поисковых систем» — убрать галочку «Попросить поисковые системы не индексировать сайт» и «Сохранить изменения».
      Файл роботс должен быть такой, как мы Вам давали. Если есть сложности, лучше посмотреть Ваш блог в скайпе. Сложно что-то сказать не видя Ваш блог.

      Ответить
      • Алина Таранец:

        Здравствуйте, Иван! Галочку убрала в чек боксе «Видимость для поисковых систем».
        Так что появились первые результаты: резко возросла статистика сканирования в Google Webmaster. Лёд тронулся!
        Спасибо за советы! С уважением, Алина Таранец, автор блога ПУТИ К ЗДОРОВЬЮ

        Ответить
        • Иван Кунпан:

          Алина, отлично! Теперь будем ждать индексирования Ваших статей и прихода первого поискового трафика. Сначала он будет небольшим, а затем начнет нарастать. Поздравляю!

          Ответить
  23. Алина Таранец:

    Иван, на какую кнопку лучше нажимать для сканирования во вкладке ПРОСМОТРЕТЬ КАК GOOGLEBOT: сканировать ИЛИ ПОЛУЧИТЬ И ОТОБРАЖАТЬ? И ПОЧЕМУ?
    С уважением, Алина Таранец, автор блога ПУТИ К ЗДОРОВЬЮ

    Ответить
    • Иван Кунпан:

      Алина, я не совсем понял вопрос — какова цель и что нужно решить? Напишите мне в личку и мы попробуем разобраться.

      Ответить
  24. Виталий Алехин:

    Иван, почему даете ссылки на сторонние ресурсы (вроде этого избегают) в 3 случаях, а в 4 случае прямой ссылки нет:
    «SEOlib;
    сервис PR-CY;
    сервис Raskruty.ru;
    seo café зайти сюда можно по этой ссылке — info.seocafe.info/tools/robotsgenerator.» ?

    Ответить
    • Ivan:

      Виталий, живой сайт должен ссылаться на сторонние ресурсы, поисковики за этим смотрят. Если есть такие ссылки, то поисковики считают, что такой сайт естественный, им это нравится. Но надо иметь в виду, что такие ссылки надо закрывать тегами noindex и relnofollow, либо применять span технологию — об этом писалось на блоге в отдельной статье. Можете найти её через «Поиск по блогу».

      Что касается ссылки на сторонние ресурсы — одни показываем, другие нет. Дело в том, что показывать и ссылаться нужно на те сайты, которые имеют хороший вес у поисковиков. На такие мощные сайты не то, что можно, а нужно делать ссылки. А те сайты, у которых плохой авторитет, ссылаться на них не надо — это принесёт вред Вашему блогу. В двух словах так.

      Ответить
  25. Виталий Алехин:

    Привет, Иван!
    Хочу тоже написать статью по этой теме.
    Вопрос по файлу robots.txt твоего (и стало быть моего) сайта:
    в п.18 написано «Важно — между директивами не должно быть пустых строк…», однако, в твоем файле robots.txt для робота Яндекс таковая есть перед директивой host.
    Это ошибка?

    Ответить
    • Иван Кунпан:

      Виталий, статью можете писать, не вопрос, но лучше писать статью после того, как Вы со всеми вопросами разберетесь. Ведь Вам будут задавать вопросы и на них нужно будет правильно отвечать.
      Что касается пробела — да, пробела не должно быть в теле файла, всё верно, но перед host пробел должен быть, это уже отдельная директива.

      Ответить
      • Виталий Алехин:

        А где написано, что перед host должен быть пробел (Пробе́л — интервал между буквами)?
        Не могу найти об этом информации.

        Ответить
  26. Виталий Алехин:

    Также непонятно следующее:
    1. Этот файл «не позволяет роботам шпионам воровать конфиденциальные данные и использования их для отправки спама.» Как же не позволяет, когда шпионы чихали на все такие файлы — у них цель как раз своровать?
    2. По п.20 «Кроме того в отдельной директории файла роботс тхт, то есть через пробел, рекомендуется указывать адрес карты вашего сайта.»О каком пробеле речь? Нет там вроде пробелов.

    Ответить
    • Иван Кунпан:

      Виталий, что касается роботов шпионов. Вы закрываете от индексации все внутренние папки своего сайта, где хранятся все конфиденциальные данные, включая пароли. Значит в открытом доступе таких данных не будет и их не смогут собрать роботы шпионы. Это и есть защита. Конечно, сделать можно всё, ломается любой сайт. Но сомневаюсь, что наши сайты будут интересны для взломщиков, им нет смысла тратить время и ресурсы на сайты подобные нашим.
      Что касается карты сайта. На скрине приведен не полный файл роботс. Откройте его и увидите, что внизу, после пробела, прописана карта сайта, это и есть правильное действие.

      Ответить
      • Виталий Алехин:

        После пустого перевода строки действительно идут строки с host и xml файлы, но это не пробел.

        Ответить
  27. Виталий Алехин:

    Ещё вопрос по п.8 :Если не сделать пробел между различными директивами «User-agent», то роботы воспримут только верхнюю директиву – остальные проигнорируют.»Непонятно…
    Тут, наверное, нужно иметь ввиду перевод, а не пробел строки между секциями (наборами инструкций) User-agent?

    Ответить
    • Виталий Алехин:

      …перевод пустой строки…

      Ответить
    • Иван Кунпан:

      В одном из комментариев выше я уже писал, что в теле одной директивы пробела не должно быть, тогда робот воспримет каждую директиву отдельно. Новая директива должна начинаться с пробела, тогда он её и будет воспринимать, как новую директиву. Таков порядок, так договорились программисты всего мира лет 20 назад.

      Ответить
      • Виталий Алехин:

        Пробел и пустой перевод строки одно и то же?

        Ответить
        • Иван Кунпан:

          Виталий, советую сделать так, как сделано у меня. Зачем Вам вникать в дебри, изучать такие тонкости? Это не тот вопрос на который нужно тратить столько времени. Есть люди, которые специализируются на разработке файла роботс — занимаются только этим. Если Вы хотите стать именно таким специалистом, тогда надо приобрести специальную литературу, изучить её и дальше развиваться в этом направлении. Но если Вы хотите создать хороший блог и зарабатывать на нём, то не советую уделять столько внимания и времени вопросу создания файла robots txt. Нужно развивать блог, а позже — месяцев через 6 провести аудит блога и посмотреть, что и как работает. На основании анализа, сделать корректировку, в том числе и файла роботс.

          Ответить
  28. Виталий Алехин:

    Иван, почему ваш файл отличается от файла Андрея?
    Кстати, у него вовсе нет пустого перевода строки перед host — директивой.

    Ответить
    • Иван Кунпан:

      Виталий, я не анализировал файл Андрея, не могу Вам о нём что-то сказать. Знаю, что мой файл сделан правильно и он хорошо работает. Причем, я его дорабатывал с учетом аудита блога.

      Ответить
  29. Виталий Алехин:

    Добрый день!
    Времени у меня все равно на работу почти нет ( не думал даже, что все так хлопотно по дому будет) и потому все же задам еще вопросики:
    1. Конкретно, например, почему есть запрет на cgi-bin (Disallow: /cgi-bin) и что это такое вообще?
    2. Расписываем элементарные понятия Disallow и пр., а о самом главном ни слова: что же запрещать то на сайте (или хотя бы ссылку на то как найти папки — файлы )?
    3. Как Вы нашли столько много файлов для запрета: путем анализа, взяли у кого-либо…?
    4. Вообще, из опыта знаю: что помнишь сейчас, то вряд ли вспомнишь через полгода — хорошо прямо в файле на каждую строку поставить комментарий.

    Ответить
    • Иван Кунпан:

      Виталий, здравствуйте!
      1. Зачем Вам вникать в такие детали? Вам нужно чтобы Ваш блог правильно индексировался и продвигался, чтобы все ненужное для читателя и роботов было закрыто. Не думаю, что Вы хотите стать экспертом в области составления файлов роботс. Нужно просто понять главное — для чего это нужно и что надо сделать. Я сам по многим показателям так глубоко не вникал и не собираюсь это делать. Ведь так и жизни не хватит все изучить до мельчайших подробностей, согласитесь.
      Как я нашел, что закрывать, а что нет? Все просто, в течении трех лет читал материалы в сети, общался с блоггерами, проходил платное обучение — так постепенно и накопились знания. При этом нельзя сказать, что теперь все знаю — нет, конечно. Кроме того, надо постоянно следить за обновлениями, многое меняется со временем.
      Советую, Вам установить типичный роботс с хорошего блога. А позже, когда будут результаты, сделаете аудит и там уже будет видно, что нужно подкорректировать.

      Например, год назад я увидел, что появляются некоторые страницы в дублях, а это не хорошо. Сделал анализ и добавил в роботс эти страницы на запрет их индексации. Вот так и набираются строки для «Disallow».

      Ответить
  30. Виталий Алехин:

    И времени это займет ну минут 15.

    Ответить
    • Иван Кунпан:

      Не нужно этим заниматься.

      Ответить
  31. Иван Кунпан:

    Для Юлии, ветка закончилась. Ответ на комментарий: «зато появился комментарий, обновление на блоге и поисковику сигнал, что сайт часто обновляется».

    Да, поисковики любят тусовки на блогах, они реагируют на изменения, в том числе и комментарии. Кстати, еще есть один инструмент для привлечения роботов Яндекса на блоги — это плагин Яндекс ПДС. Допустим Вы вернулись на старую статью и дописали слово. Плагин Яндекс ПДС оповещает об этом роботов…

    Ответить
Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

ЛУЧШЕЕ РЕШЕНИЕ ДЛЯ НАЧИНАЮЩИХ
«Как начать зарабатывать в интернете без вложений»