Еще в конце 2005 года на конференции в Чикаго по обсуждению стратегий поисковых систем был задан вопрос присутствующим представителям четырех крупнейших поисковых систем — Google, Yahoo!, MSN и Ask. «Возможно ли показывать роботам ПС ссылки, отличные от тех, которые видны пользователям, но которые удобнее для индексирования?». Представители всех поисковых систем ответили: «Без проблем», а Чарльз Мартин с Google поднялся с места и воскликнул: «Сделайте это, пожалуйста».
По первоначальным определением, клоакинг — это демонстрация роботам поисковых систем url-ссылок, отличных от тех, которые показываются посетителям. До тех пор, пока клоакинг касается лишь упрощения ссылок ради удобства роботов ПС, поисковые системы поощряют его. Речь идет об удалении из адресов идентификаторов пользователей и сессий, стоп-символов и других фрагментов, которые затрудняют переход робота.
В сети существуют сайты, которые показывают разным пользователям разные версии одного сайта. Это также является клоакинг, поскольку пользователь и поисковый робот видят разные варианты страницы (а часто и различные сайты вообще — об этом будет ниже
.
Робот не может корректно обработать AJAX, Javascript, DHTML, которые присутствуют на сайте, поэтому содержание страницы от него скрывается.
«Преступной» разновидностью клоакингу поисковые системы считают намеренную демонстрацию одного смыслового наполнения сайта поисковому боту и совсем другое — пользователям. Например, Googlebot-у и не только ему, можно подавать насыщенную определенными ключевыми словами страницу, а вот простые пользователи увидят совсем другой вариант или даже другой сайт.
Как увидеть замаскированую от юзера страницу, которую проиндексировал робот?
Если маскировка контента базируется на параметре «user-agent», то проблема решается за минуту: надо просто самому притвориться ботом ВС
Варианты просмотра сайта как робот ПС:
1. Можно воспользоваться сервисом SEO-browser.com — поддерживаются боты Гугл, Яху и MSN. (Если бы еще для Yandexbot кто придумал такую тулзу — цены б ему не было)
2. Также можно эмулировать робота Google Bot, используя плагин User Agent Switcher для Mozilla Firefox. Для этого нужно выбрать в меню браузера пункт Tools, затем User Agent Switcher> Options> Options> Googlebot/2.1. Теперь вы можете видеть страницы в том виде, в котором их индексирует робот Google. Жаль, что в Опере такого нет
Иногда сервер определяет, какой вариант сайта следует показать пользователю, не по параметру user-agent, а по IP-адресу.
Зная адреса, с которых обычно заходят индексаторы поисковых систем, веб-мастер может сделать показ определенного содержимого страницы роботу, и совсем другого контента — юзеру. Но и в этом случае можно увидеть то, что предназначено только для поискового робота.
Здесь поможет переводчик сайтов Google Translate, а по сути — тот самый бот Google, только не для индексации, а для перевода. Если администратор сайта, используя клоакинг, не уточнил, какой материал следует показывать поисковому боту, а какой — боту-переводчику — пользователь утилиты Google Translate увидит скрытое от него содержание.
Не все виды клоакинга направлены на обман пользователей и поисковых систем. Есть трюки с показом различных вариантов страницы индекс-боту и пользователю (клоакерство как отдельная SEO-квалификация), полезное для поисковых систем упрощения синтаксиса ссылок, которое совсем не повредит позиционированию сайта.