Все было бы очень просто, если бы можно было с уверенностью сказать, что 42% одинакового контента включают фильтр дублированного контента для сайта, тогда каждый вебмастер выкладывал на каждую страницу не более 40% такого контента и был бы счастлив. Но дело НЕ в процентах. Переменные, касающиеся процентного соотношения могут применяться в фильтре, но первым шагом на пути к пониманию, что же такое дублированный контент - перестать думать о нем как о некоем процентном соотношении.

Этот документ - Finding near-replicas of documents on the web - дает некоторое представление о том как поисковики оперируют с дублированным контентом:

Кластеризация точных копий по контрольной сумме (checksum)

Сравнение размера документа с размером страницы. Это то, как обычно люди представляют себе определение дублированного контента в рамках "процентное соотношение". До тех пор пока 20% контента будет оставаться уникальным - все будет в порядке Пррррравильно. Это самый простой способ определения дублированного контента, который лежит в основе, но он не учитывает и другие методы, которые также могут применяться. Многие не учитывают эти другие методы, а полагаются на самый простой и таким образом попадают в ловушку процентного мышления.

Расчет по всем составляющим документа

"Разделение" документа на куски и поиск дублей среди этих кусков, которые потом маркируются для повторного просмотра.

Конечный документ разбивается, таким образом, на несколько маленьких частей...

Понимание методов определения дублированного контента - это первый шаг, для того чтобы избавиться от процентного мышления (далее в тексте - ПМ). Представьте себе 10 разных документов, которые состоят из 5 строчек текста, которые взяты из 3 документов, содержащих 20 строчек каждый. Все эти десять документов будут "уникальными" если сделать качественные перестановки. Но все они, тем не менее, будут до определенного процента подобны. А теперь, перед тем как подумать "сколько процентов подобия" будут критичными для вас, подумайте о других методах определения релевантности документа. Учтите также повторяющиеся операции для определения подобий между всеми этими документами. Теперь, как разработчик поисковых систем как бы вы справились со всей это кучей данных?

Сортировочный подход

Сортирование и нахождение наложений (подобий).

Подход, основанный на вероятностном подсчете

Сравнение вероятности дублированного контента основываясь на маркерах (в документах) различных типов.

Работа фильтра дублированного контента

Хорошо, вы больше не думаете в рамках процентного мышления. Вы уже не думаете о том, какой процент дублированного контента допустим на сайте и решили нанять копирайтера, чтобы разместить на вашем сайте что-то стоящее. Вот еще один документ о дублированном контенте, который мне очень нравится - Mirror, Mirror on the Web: A Study of Host Pairs with Replicated Content

Из него мы можем вывести несколько положений о различных степенях строгости соответствия по отношению к дублированному контенту:

Несовпадение - ничего из вышеперечисленного.

Наказания, фильтры и бан за дублированный контент

Хочу отметить, что все нижеследующее основано на моем собственном опыте и догадках, так что есть большая вероятность, что на самом деле все - по-другому. Поэтому здоровый скепсис приветствуется...

Исходя из ступеней перечисленных выше:

Несовпадение - лучший из возможных сценариев. Это именно то, что вам нужно. Дублирующий контент - не проиндексирован. Можно поставить запрет на индексацию дублированного контента.

Фильтр - какая-то часть контента на сайте (или на внешнем сайте) продублирована, или у вас недостаточно уникального контента. Скорей всего эти страницы будут выдаваться как дополнительные результаты. Фильтр понижает ваши позиции, из-за проблем с конкретными страницами.

Наказание - дублированный контент встречается слишком часто. Вы подсунули ботам дублированный контент столько раз, что они отказались посещать (индексировать) сайт так же часто, как и раньше (хороший пример - это календарь, или ID сессий). При наказании сайт обходится ботом не так часто или не очень глубоко (внутренние страницы не будут проиндексированы). Проблема находится на уровне страниц или сайта, с различной степенью соответствия; понижает в результатах выдачи.

Бан - скорей всего вы сразу же узнаете, когда попадете в бан. В противном случае - это всего лишь наказание или фильтр. Причин для бана, не так уж много - клоакинг чужого контента, нарушение DMCA, или другие страшные нарушения и вы точно знали о последствиях, когда делали это. Если это кто-то сделал вместо вас, то вам лучше придумать красивую историю о том, как вы стали жертвой нечестного черного оптимизатора.

(взято с www.saik.ru)