Наличие дублей страниц, как я уже писал тут, может навредить сайту. Например у вас есть сайт и на нем, есть страница продвигаемая вами. На эту страницу вы закупили ссылок и на страницу идет трафик с поисковых систем. Со следующим апдейтом страница, на которую шел трафик меняется на дублирующую или склеивается. Вследствие трафик уменьшается, так как на дублирующую страницу нет тех купленных вами ссылок.
Дубли страниц
Неприятно, но многие оптимизаторы совершают ошибки и теряют заветный трафик, за счет только дублей страниц. Дубли страниц это заслуга CMS. На самом деле неверно. Дубли контента могут быть, как за счет CMS, так и за счет ошибок вебмастера.
Например на WordPress, дубли появляются в категориях, метках, поиске. Также и на других CMS системах, могут быть аналогичные страницы. Также могут быть укороченные дубли, как например “Категории” в WordPress. Собой они представляют небольшую часть текста взятой от уникальной страницы. Пример я взял с сайта “Блог шамана”.
Дубли страниц
Как видим на картинке в категории “Биржи ссылок” находятся урезанные дубли контента. Такие дубли = дело рук CMS.
Дубли появляются в результате смены CMS, изменении структуры, иногда дизайна(да-да видел такие шаблоны на которые выводиться большая часть контента).
ДЛЯ БЫСТРОГО ОТЛОЖЕНИЯ ИНФОРМАЦИИ В ПАМЯТИ ЧИТАТЕЛЯ:
1. Полные дубли страниц генерируются движком. Имеют одинаковое содержание и разный URL
2. Урезанные дубли страниц. Имеют часть текста уникальной страницы, расположены обычно в категориях, метках, поиске.
3. Ошибки вебмастера. Изменение структуры со сменой URL адресов.
Быстрый способ определения дублей страниц.
Под быстрым поиском дублей имеется ввиду нахождение в поисковой системе. Чтобы найти дубль страницы нужно зайти в продвинутый поиск яндекса, ввести часть страницы проверяемой на дубли (в яндексе до 40 слов, текст должен быть в кавычках), в “поле на сайте:” ввести адрес сайта проверяемого сайта. Так на том же блоге сео шамана проверяем текст на дубли. Вводим часть текста в кавычках, вводим адрес сайта и видим:
Дубли страниц поиск
На рисунке изображена только часть дублей старниц. На сайте в основном урезанны дубли, за счет категорий, страниц, даты. Как видим по данному запросу урезанный дубль стоит на первом месте, но это не значит, что в выдаче по данному запросу появится дубль. (Проверено, уникальная статья на первом месте по данному запросу в выдаче яндекса).
Как бороться с кроликами дублями страниц.
1. Настройка страницы robots.txt
Чтобы не терять заветный трафик приветствуется закрытием(disallow) страницы в файле robots.txt. Как это осуществить я конкретно описываю в теме:”Правильный robots.txt”.
2. Тег rel=”cononical”, каноническая страница.
Данный тег указывает поисковому роботу, что данная страница является уникальной, а все остальные страницы с таким же содержанием дубли. Тег указывает, какая страница является уникальной и должна присутствовать в выдаче. Для этого прописываем на дублях страниц такой тег:
< link rel=»canonical» href=»http://www.examplesite.ru/osnovnaya-stranica.html» >
В некоторых случаях в robots.txt не получается закрыть дубли, в таком случае используем данный тег.
Просьба: Когда будите воровать статью поставьте ссылочку, я очень часто общаюсь с Платоном по поводу копипаста, что меня начала мучить совесть, поставьте ссылочку не грешите 
Если же вы хотите узнать информацию о парсинге, то советую посмотреть на эти парсеры контента.
Друг, ты о чем «Данный тег указывает поисковому роботу, что данная страница является дублем».
Наоборот.
Кстати, canonical достаточно, чтобы другие дубли тупо не ранжировались. С этим легко справляется all in one seo pack одной галочкой.
Вот вам справка, Прорисываем на каждом дубле и указываем на 1. Что это дубль 2. Какая страница является уникальной. Все верно.
Уважаемый Андрей webbomj, Ваша справка как раз и доказывает правоту Вашего оппонента (Гол). Да и само слово «canonical» говорит само за себя (по аналогии с кононическими и не каноническими книгами Библии).
Итак,
ставим только в «истинную» страницу.
Все верно.
Спасибо! Я как-то насчет дублей статей и не задумывался!) Теперь буду знать!
Скажите пожалуйста, следует ли запрещать индексирование модуля аккордеон на Joomla 1.5.
1, У меня есть сайт сделал для удобства справа меню по странам, но получается что один и тот же текст дублируется слева и справа, влияет ли это на веса страниц и на выдачу в поисковиках?
2, И если я запрещу это меню к индексированию, как сделать, чтобы вес у них не сгорел, а перешел к их дублям? И вообще как сделать запрет этого меню?
Посмотрел. Да нормально все у вас.
подскажите, а как быть на Вордпрессе с одной статьёй в двух рубриках? статья по любому должна быть и там и там и получается, имеем два адреса с одной статьёй?!
используйте тег rel cannonical. Плагин all in seo pack поставьте, он вам все сделает.