Внутренняя оптимизация и борьба с дублирующимся контентом

Хотя внешняя оптимизация и придает каждой странице сайта ее вес и приводит на сайт посетителей, без внутренней оптимизации она вообще рискует не появиться в индексе. К тому же, в отличие от дорогой и изменчивой внешней, она абсолютно бесплатна и в большинстве случаев полностью автоматизируется средствами движка сайта.

Главная цель внутренней оптимизации – помочь поисковикам правильно воспринять сайт и выложенную на нем информацию. Сами они, к сожалению, с этой задачей справляются весьма посредственно и легко могут присвоить странице неверную тематику или напутать с ее важностью, выведя весь поисковый трафик на версию для печати.

Именно чтобы избежать подобных недоразумений и помочь роботам четче воспринять структуру сайта, разработчики оставили возможность напрямую обратиться к ним и разъяснить все спорные моменты. Осуществляется это через специальные файлы, оставленные в корне сайта, и метатэги непосредственно на его страницах.

Последние, на данный момент, уже потеряли свое влияние на продвижение сайтов, но, тем не менее, все еще могут подсказать поисковику точную тематику и ключевые слова, под которые оптимизировалась страница. Также именно через них решается проблема дублирующегося контента - настоящий бич современных динамичных сайтов.

Все дело в том, что в абсолютном большинстве сайтов получить доступ к определенной статье можно по нескольким адресам. Для поисковика даже отличие в одну передаваемую через адресную строку переменную равносильно новой странице, которую надо проиндексировать и в итоге в индексе скапливается огромное количество абсолютно одинаковых по содержимому страниц.

Но главная проблема заключается не в этом, а в том, что в выдачу попадет только одна из них и это вполне может оказаться какая-нибудь форма комментария, совершенно непригодная в качестве точки входа трафика. Только благодаря этому любая раскрутка сайтов может быть безнадежно испорчена одной маленькой ошибкой.

Специально для решения данной проблемы Google, Yahoo и Microsoft ввели новый тег link с параметром rel="canonical", в котором можно указать адрес каноничной страницы. Для Яндекс, правда, потребуется несколько иной, хотя в чем-то и более удобный подход – вместо тега он использует директиву clean-param в robots.txt, указывающую необходимость игнорировать все динамические параметры адресной строки.