Дубли страниц сайта, как убрать
Здравствуйте друзья! В данной статье рассмотрим, как получить рост посещаемости сайта с помощью плагина Replytocom, который убирает дубли страниц сайта.
Рост посещаемости сайта и дубли страниц
По мере развития блога, пишутся новые статьи и мы вправе рассчитывать на рост посещаемости сайта, ведь статей на блоге больше, значит и посетителей должно быть больше.
Но, увы, в реальности в блогосфере не всегда так получается. Так на моём блоге за последние четыре месяца медленно, но росла посещаемость сайта от Яндекса и это хорошо – сейчас с Яндекса приходит 80 – 130 посетителей в сутки. С Google же картина противоположная.
Так с Google полгода назад приходило 70-80 посетителей в сутки, что на фоне общей посещаемости сайта в то время было отлично. Пару месяцев назад посещаемость сайта с Google снизилась до 10 – 20 посетителей, возник вопрос, что произошло? Кроме того, много статей было в топе, а сейчас их там нет. Ответ быстро нашелся, спасибо Интернету и блогу Александра Борисова.
Оказывается всё дело в дублях страниц сайта. Поисковые системы относятся к ним крайне негативно потому, что у поискового робота время на обход сайта (блога) ограничен, а он вынужден тратить время на обход пустых не нужных страниц (страниц дублей). И если Яндекс на такие страницы пока закрывает глаза, то у Google стоит фильтр (если не ошибаюсь, называется Panda), который учитывает дубли страниц сайта и понижает этот сайт в поисковой выдаче.
Мой блог сделан на движке WordPress, который так устроен, что при установке режима комментирования статей «древовидное комментирование» образуются дубли страниц сайта. Существует ли такая проблема с другими движками, сказать не могу. Посмотреть какой режим комментирования у Вас установлен можно просто:
— заходим в админпанель сайта, нажимаем «Параметры», «Обсуждение», обычно в чек-боксе «Разрешить древовидные комментарии» стоит галочка (смотрите скрин).
Дублированная страница сайта ничем не отличается от основной, но она учитывается и индексируется поисковыми роботами. И чем больше в статье будет комментариев, тем больше будет страниц дублей. С одной стороны мы боремся за то, чтобы больше наш сайт комментировали, увеличивая вес блога, а с другой, чем больше комментариев, тем хуже для продвижения сайта (блога) из-за наличия страниц дублей.
Итак, если Вы не занимались этой проблемой, то, скорее всего у Вас тоже есть страницы дубли, которые надо победить, чем раньше, тем лучше.
Дубли страниц, как проверить их наличие? Проверяется просто, заходим на страницу, где опубликована статья с комментариями, скролим статью вниз, доходим до комментариев. Теперь надо навести мышкой на слово «Ответить». Внизу появляется ссылка, где будет написано replytocom (смотрите скрин),
значит, дубль страницы сайта у Вас присутствует.
Подробнее проверить количество дублей страниц можно через поисковую систему Google. Для этого вводим в поисковую строку Google адрес своего сайта (блога) в следующей форме site:bizisk.sviluppo.host и в конце адреса дописываем фразу replytocom без всяких знаков (смотрите скрин).
У Вас это будет выглядеть так site:адрес Вашего блога.ru replytocom Теперь нажимаем ссылку «Показать скрытые результаты».
Как видим со скрина, всего на сайте найдено 3620 страницей дублей (и это еще не все дубли).
Это много (хотя бывает и по 40 000), эти страницы сильно влияют на показатели блога и их надо убирать. Успокаивает только то, что вовремя начал интересоваться этим вопросом, иначе их могло быть в десяток раз больше. Как определить другие дубли (их много), показано в видео в конце моей статье здесь, кроме того есть еще причины влияющие на продвижение блогов, о них тоже там сказано.
Итак, что можно сделать? Существует несколько вариантов избавления от этого мусора – дублей страниц сайта. Можно отказаться от древовидных комментариев, но это не очень удобно для работы с комментариями, можно внести изменения в файл Robots.txt, можно расположить комментарии на стороннем сервисе, что тоже не есть хорошо. Многие специалисты рекомендуют работать с файлом Robots.txt, но новичкам сложно будет самостоятельно с этим разобраться. Позже на своем блоге я написал статью «Правильный robots txt для сайта, инструкция новичкам», где показано, как нужно защитить сайт от дублей с помощью этого файла. Если Вы совсем новичок, Вы можете скачать мой файл robots txt и поставить его к себе на блог.
А можно просто установить плагин Replytocom Controller, который будет перенаправлять поисковых роботов с дублей страниц replytocom на главную страницу, то есть плагин, по сути, вырезает эти ненужные ссылки. Постепенно страницы дубли должны исчезнуть с блога. Как показал опыт, часть дублей все же остается. Лучше убирать их с помощью файла robots txt.
Установка плагина Replytocom Controller стандартная, но пройдемся пошагово. Для установки плагина Replytocom Controller заходим в админпанель блога, сделанном на WordPress, далее нажимаем «Плагины», «Добавить новый». Задаем в поиск указанный выше плагин, система выдает нам найденный плаги Replytocom Controller версии 1.0.
Нажимаем кнопку «Установить», «Активировать плагин». Настроек у данного плагина практически нет.
После установки плагина, возвращаемся к любому комментарию, наводим мышкой на слово «Ответить», как видим, ссылки replytocom больше нет (смотрите скрин).
Теперь, со временем, посещаемость сайта с Google должна вырасти, а значит и общая посещаемость сайта должна стать выше. Тем более ходят разговоры, что Яндекс тоже скоро включит свою карательную функцию по отношению к страницам дублям.
Поскольку плагин Replytocom Controller установил недавно, о результатах его работы сказать пока ничего нельзя, надо подождать пару месяцев, результаты на странице блога обсудим позже. Поэтому у читателей есть два варианта:
- установить плагин и испытать его вместе со мной;
- подождать полученных результатов.
Для борьбы с дублями страниц сайта созрел только сейчас, если точнее, то просто не было свободного времени. Теперь буду ждать результата, надеюсь на рост посещаемости сайта в Google. Спасибо за внимание.
Друзья, не так давно на блоге опубликовал статью о замечательном плагине SEO by Yoast. Так вот этот плагин достаточно просто решает вопрос дублей страниц путем правильно сделанных настроек. Статью о настройках плагина SEO by Yoast можно посмотреть на блоге. Спасибо за подсказку комментатору Иосифу, что он обратил на это моё внимание. Используйте статью и видео-урок в ней для своей работы.
С уважением, Иван Кунпан.
P.S. Если Ваш блог плохо продвигается, на нем мало посетителей, советую скачать разработанную мной интеллект карту «Как правильно создать блог» и проверить блог на наличие грубых ошибок. На продвижение блога сильно влияет правильность написания статей и их оптимизация. Чтобы правильно писать статьи, правильно их оптимизировать, рекомендую мою книгу «Как написать статью для блога«.
Иван, спасибо за статью!
Хотелось бы уточнить некоторые моменты: когда щелкаю «ответить на комментарий», в адресной строке «replaytocom» присутствует, следовательно, как Вы пишете, дубль страницы присутствует.
Далее проверяю по site:адрес блога.ru replytocom
Результат: по запросу ничего не найдено.
Сожалею, что нельзя прикрепить скриншоты…
Так в каком случае ошибка — первом или втором? есть дубли или нет?
Если в адресной строке присутствует replytocom, то это означает, что дубли есть, в ссылках будут меняться только номера ссылок. Проверьте пожалуйста для интереса, номера у них будут разные.
Что касается выдачи информации в Google по запросу site:адрес блога replytocom, то я обращал внимание на подобные вещи, когда сервис не выдавал данных. Например, прописываешь адрес сайта с адресом www — данные не выдаются. Почему так происходит не разбирался, надо поискать ответ в Сети, думаю, должен быть.
И попутно вопрос — а при чем тут Александр Борисов? Он, что ли, придумал, как бороться с дублями? Не хочу Вас разочаровывать, но методы борьбы с этой бякой были известны задолго до шумихи, поднятой Борисовым. Да, с его подписной базой шум поднять куда проще, чем тем ребятам, которые опубликовали статьи с методами борьбы с дублями не на день — на год, если не больше, ранее!
Думаю, Вы правы! Я сам об этой проблеме не знал, хотя ранее проходил учебу по созданию и настройке блога, мой блог смотрели оптимизаторы. Тем не менее, узнал о проблеме месяца полтора назад, когда посмотрел материалы А. Борисова — их прислали мне друзья. И только после этого я понял, почему упала посещаемость с Гугла. Мне предлагали купить курс А. Борисова, но с деньгами была напряженка, покупать не стал.
Содержание его курса я точно не знаю, но могу судить о них из просмотренного рекламного видео. Так вот,он там решает несколько задач:
— решение проблемы дублей, а их много (кроме replytocom);
— вопрос внутренних и внешних ссылок;
— вопрос микроразметки блога для роботов.
Это Вы можете сами посмотреть в видео (ссылка есть в статье). Поэтому он решал вопрос в комплексе с целью живучести и продвижения блога. Возможно, он объединил имеющиеся знания и дал их в одном источнике? Почему нет?
P.S. Извините, не ответил сразу, комментарий попал в спам, сегодня только увидел.
Согласна с Ярославом. Например, в блоге Виталия Бургомистрова статья «Удаляем replytocom из индекса навсегда» была опубликована еще в январе 2013 года.
Если обратили внимание, этим инструментом опытные люди пользуются не один год. Обидно, что когда проходишь обучающие курсы по созданию сайта, об этом все молчат и только позже узнаешь (в моем случае через год) о проблеме и начинаешь ее решать. Наверняка были статьи на эту тему, но моя статья поможет читателям блога в решении данной проблемы, опыт есть опыт.
Особенно если сайт создан на WP, то тогда с этим бывают большие проблемы. Из за дубля страниц, они хуже индексируються)))
Да, Вы правильно поняли. Яндекс пока за это не наказывает, хотя тоже учитывает, а вот Google применяет санкции по полной программе. Этот вопрос даже сложнее, чем он освещен в данной статье, существуют еще другие дубли, которые тоже надо убирать, но там используются другие механизмы.
После установки плагина, количество дублей страниц у меня снизилось почти в 10 раз за два дня(до 394 -х. И еще, Google посещаемость будет восстанавливать медленно.
Да Иван сколько канители с этим саитом,всякая оптимизация дубли всякие.Вот только сиди и облизываи его со всех сторон.Так и на полезную информацию времени не останется.Я писал статьи как прочитал про эту СЕО оптимизацию и задумался Кому статьи писать роботам или людям?
Сергей, статьи обязательно писать надо людям, но для роботов надо выполнять определенные правила — это так. Да, много надо иметь знаний, но не надо браться за все сразу. По дублям страниц: для молодого блога это пока не так актуально,ведь комментариев пока мало, хотя для установки плагина надо минут 10, не больше.
Здравствуйте Иван! Прочитал статью, интересно. Просто вопрос, а почему Борисов в своей статье не упомянул о плагине. У него решение этой проблемы, что надо прописать в файл роботс разрешение на дубли и все будет в порядке. Как Вы к этому относитесь? Хотя если честно, то Ваша статья практически полная копия статьи Александра. За исключением методов борьбы с дублями. 🙂
Здравствуйте Андрей! Удивительно, что статья похожа, хотя писал её в соответствии со своими действиями с головы? Вы знаете, сначала я хотел купить курс А. Борисова, но не купил. Прочитал отзывы в Интернете о его методике, действительно люди пишут, что он применяет приемы борьбы через Robots,txt.
Поскольку я его курс не слушал, не могу сказать, есть речь в нем о плагине, или нет? Но если Вы говорите, что нет, то видимо Вы знаете о чем говорите?
Поскольку А. Борисов ведет борьбу со многими расширениями дублей, то возможно решение через Robots.txt является универсальным. Из гуру никто его за этот способ не осуждает, тем более А. Борисов сам дошел до своей методики.
Что касается использования Robots.txt для борьбы с дублями, то я отношусь к этому положительно, но в любом деле надо время, чтобы разобраться. Поэтому я устранил главную причину дублей простым способом, убрал львиную долю дублей. После раскрутки своего коммерческого проекта, появится время и к этому вопросу еще планирую вернуться.
Понятно, только я не Александр, а Андрей. 🙂
Извините Андрей меня за невнимательность, исправлю.
Здравствуйте Иван! Совсем недавно я написал похожую статью на вашу, только я не давал конкретных указаний на действия для избавления дублей страниц!Просто всех послал к Борисову и дал две ссылки на его гениальные статьи! Дело в том что я повторил все действия описанные Борисовым в этих двух статьях и в течении двух месяцев избавился от более чем 60% дублей!Как вы и сказали, проблема с replytocom это только маленькая часть всех напастей блоггинга, предстоит проделать не маленькую работу с блогом для полного избавления дублей!Но хорошая новость в том, что большая часть нужной и важной информации по этому поводу находится в бесплатном доступе у Александра Борисова! я обратил внимание на осин из комментариев ярослава! Он удивлён ажиотажем от статьи Борисова, когда как информация о дублях была ещё очень давно! Так вот я хотел сказать, что он отчасти прав! Борисов упомянул многие фишки и моменты, которые никто до сих пор не упомянул!
Иван, вы меня извините за столь длинный комментарий и за незапланированный пиар А.Б. Он не мой друг и не мой наставник!Случайно получилось 🙂
Все нормально Игорь,если комментарий такой получился! Я писал, что несмотря на различные обучения о создании сайта, никто даже не обмолвился о таком явлении, как дубли страниц, а тем более о способах борьбы. Поэтому благодарен моим коллегам, которые дали ссылку к А. Борисову. Но как я писал в предыдущих комментариях, я так и не купил его курс. Поставить плагин заставила жизнь, ведь начала падать посещаемость с Google, причем в разы.
Что касается ажиотажа, то здесь всё просто, есть продукт, значит есть реклама, есть пиар — это нормальное явление.
Думаю, его курс позволяет комплексно решить проблему дублей. То, что я сделал, это устранение только части проблемы — Вы правильно пишите. Зато бесплатно, а плагин решает львиную долю проблемы.
Дубли страниц у меня на блоге присутствуют тоже. Сначала включила древовидные комментарии, потом отключила. Потом удаляла дубли вручную. Но до сих пор у меня на блоге они периодически появляются.
Отключать древовидные комментарии можно, но потом работать с комментариями будет сложно. Кроме того, после установки плагина, дубли вручную убирать не надо, со временем они сами уйдут с блога.
Иван, здравствуйте! Вот решил провести экспертмент вместе с Вами, тоесть установил данный плагин, теперь посмотрим что будет дальше. Хотя у меня в Гугле не намного больше страниц, но при наведении на комментарий/ответит строка replytocom присутствовала. Активировал плагин и она пропала, теперь ждем падения позиций Гугла 🙂
Здравствуйте Андрей! Так и есть, запись replytocom пропадает сразу же после активации плагина, но по факту Google помнит эти страницы(имеется в виду запрос site:URL replytocom). Google будет убирать их постепенно. Трудно сказать столько ему на это надо времени. У меня была следующая картина : до установки плагина таких страниц было 3620, через день после установки — 396, на этом уровне держались показания неделю, а затем количество таких страниц поднялось до 3000. Какой-то результат можно будет наблюдать через месяц, два.
Иван, здравствуйте! У мен с экснпериментом произошла лажа. Плагин, скачал, активировал, но вот не задача. При нажатии ответить у меня ничего не происходило, то есть ответ на комментарий не открывался. Так что я плагин удалил. Прийдется наверное прописывать все через файл роботс. Вот такая не задача.
Не беда, сделаете через Robots. Позже расскажете о результате, интересно всё-таки.
Меня вообще всегда забавляла возня вокруг Борисова и его откровений, ведь вся эта информация есть давно в открытом доступе, просто зайдите на пару форумов по оптимизации, прочитайте пару книг и всё само встанет в голове на свои места.
Я делаю сайты с 2011 года ( в смысле на заказ ) но про replytocom либо не слышал, либо просто не обращал внимания, просто делал всё как положено, роботс, карта сайта, тайты-кейвордсы-дескрипшены, отключал древовидные комменты и не заморачивался с некоторыми вещами.
После того, как в рассылке на Сабскрайб каждый третий стал писать про replytocom я чего-то засомневался в своей уверенности, раз ВСЕ пишут что дело совсем труба то может я чего в жизни не понимаю. Проверил, проверил не свои сайты а клиентские, выборочно взял несколько сайтов. Не нашел. Нигде. Даже подумал что может брешут люди, что может дублей replytocom вообще не существует
А для тех кому интересна настоящая информация по оптимизации, продвижению и т.д. рекомендую скачать учебник по SEO на sbup.com пользы от него будет в разы больше чем от курса Борисова
Спасибо Сергей! Чем больше я получаю комментариев подобных Вашему, тем больше я убеждаюсь в том, что эта тема давно пройдена опытными блоггерами. Единственное, что удивляет, почему молодым блоггерам на различных курсах об этом не говорят ни слова? Словно не существует такой проблемы. Так, я обучался в 2013г. в ТЦ «Твой Старт», там опытные люди работали тогда, об этом не было разговора. Смотрел много других курсов авторитетных блоггеров, тоже тишина. Может быть не считали эту проблему важной?
Я помню как в 2011, 2012 ко мне, тогда ещё обычному блогеру, который занимался сайтостроением и SEO ещё не профессионально, а просто как приносящим доход хобби, обращались за помощью выпускники СтартАпа и ещё тогда меня удивляло отсутствие некоторых элементарных знаний, вот общаешься и думаешь: блииин, ну это же элементарно!!!! Фишка в том, что Твой СтартАп это был конвейер и особо там никто не учил ничему, давали необходимый минимум и потом или на продвинутый курс или на свободу с чистой совестью, мы же, вольные стрелки интернета, учили всё сами, знания получали из различных источников, учились думать, анализировать, выбирать из нескольких вариантов самые оптимальные, прошли путем проб и ошибок и в результате получили не только знания «как» , но и понимание «зачем» и «почему», пониманием самих основ, поэтому для одних такие «продвинутые» курсы типа Борисовского это супер откровение, а для других азы, знание которых подразумевается по умолчанию.
Кстати, я ВООБЩЕ не знал ( или знал и забыл ) о существовании этих дублей, просто делал всё ИЗНАЧАЛЬНО ПРАВИЛЬНо и до сих пор не понимаю как они оказываются на блогах в таких количествах
Насчет СтартАп Вы правы, ведь я сам проходил у них обучение и бесплатное и платное. Но о проблеме дублей разговора особо не было (так вскользь упоминание было и все), хотя они были в Сети одними из авторитетных. Вот и получается, что ошибки закладывались на самом старте. Плохо, что нет в Интернете комплексного курса по созданию блогов, их продвижению с учетом типичных ошибок, которые делают 99% людей. Может и есть, но мало, кто об этом знает.
Вы сами не задумывались о создании такого продукта? Ведь у Вас большой опыт!
Была мысль, домен есть ( даже два, один в .RU anti-bloger.ru второй в .РФ ), материалы сейчас готовлю, если заказов много не будет, то к ноябрю запущу, часть материалов, а именно «личный сайт», скорее всего будет бесплатна, остальное ( промо-сайт, портал и т.д. буду давать уже на платной основе )
Ваши материалы будут востребованы, главное, чтобы люди знали о них. Могу поучаствовать в Вашей партнерской программе, на мой блог приходит много новичков.
Спасибо, Иван за статью. Я избавлялся от дублей с помощью плагина WordPress Seo. Писал про этот классный плагин статью и нашёл там решение относительно дублей страниц. Чтобы Гугл полюбил блог надо ставить плагин WordPress Seo by Yoast.
Это действительно серьёзный вопрос, надо искать универсальное решение проблемы. Установка плагина Replytocom не решает всех проблем. Обязательно изучу Ваш опыт, возможно, пригодится.
Дубли реплитукомов закрывал мне фрилансер.
Сначала я пытался сделать это плагином, но результат был слабым, позже я тоже обратился к фрилансеру. Через пару месяцев 80% дублей ушло, 20% еще болтается.
Для сайтов с большим количеством страниц будет довольно трудозатратно искать и склеивать дубли.
Всё это можно увидеть через Google.
Здравствуйте, Иван! Статью прочла с интересом! Действительно, у меня под каждым комментарием внизу высвечивается ЧПУ моей статьи. Но без окончания replytocom
Мой блог молодой, он закрыт от индексации, поэтому Google не нашёл дублей, пишет «ничего не найдено». Самое главное, на мой взгляд, уже при работе над статьёй вычищать возможные дубли вручную, после её опубликования . А как это делать?
С уважением, автор блога ПУТИ К ЗДОРОВЬЮ Алина Таранец
Алина, избавляться от дублей можно несколькими путями, всё зависит от того, какие источники дублей и какие это дубли. Поэтому применяются и плагины и делаются правильные настройки плагина by Yoast и правильными записями в файле robots txt.
Platinum SEO Pack поставь и нет проблемы.
Одним из лучших плагинов является by Yoast, там можно все настроить. Ваш вариант с Platinum SEO Pack это вчерашний день.
А если отключить древовидные комментарии совсем? Тогда не будет дублей replytocom?
Отключить можно, часть проблемы Вы уберете, но победить все дубли Вы не сможете. Лучше исключить образование дублей через настройки плагина By Yoast (это SEO плагин) или прописать это в файле robots txt.
Здравствуйте, Иван! Советую написать добавление к основному тексту статьи с ссылкой на плагин By Yoast, который решает все эти проблемы. И последние версии его настроить может любой новичок. А вот лезть новичкам в robots не советую. Могут сотворить массу проблем.
Иосиф, спасибо за подсказку, найду время добавлю ссылку на статью. Да, настроить плагин может любой новичок, тем более, что мной был создан видео-урок, где все показано подробно. Что касается robots — не обязательно подобные работы делать самому. Достаточно поручить эту работу фрилансеру. В любом случае файл robots нужно правильно прописать.