Случай №1: Выйти из под санкций Google за месяц. Индексирование файлов swf и запрет индексирования

Привет всем читателям vovka.su. Недавно ко мне обратился владелец одного вполне посещаемого портала, с жалобой на то, что его сайт несколько просел в поисковой выдаче Google. Здесь, думаю, вы понимаете, какой может быть реакция у владельца ресурса с десятками тысяч посещений в сутки, когда у его детища трафик проседает примерно на 10 процентов. Паника! Все, что жил, все зря! Но мы нашли и решили проблему в течение одного месяца, об этом сегодня и поговорим, ведь выйти из под санкций Google удается далеко не каждому.

Как вы понимаете, работа по возврату сайта в понимание поисковых систем «Никаких нарушений» процесс комплексный, поэтому моя работа состояла из нескольких этапов.

1. Всегда когда есть жалобы на потерю трафика в Google и проседание сайта в выдаче поисковой системы Google я первым делом анализирую информацию, предоставляемую сервисом «Google для вебмастеров» (http://www.google.com/webmasters/). Вполне обрадовало и упростило значительно задачу наличие подключения рассматриваемого сайта к данному сервису, исходя из предоставляемого объема информации я всегда и рекомендую подключать сайт к данному сервису, к Google Analytics, а также к Яндекс Вебмастеру и Яндекс Метрике.

Итак, я зашел в инструменты «Google для вебмастера», далее перешел во вкладку Поисковый трафик и там выбрал раздел «Меры, принятые вручную». Если по отношению к вашему сайту меры не приняты, то данная страница будет выглядеть вот так:

Но в нашем случае она выглядела вот так (изображение кликабельно):

Хм, СПАМ? Я уточнил у клиента, что последнего он делал в области продвижения. Ответ был вполне предсказуемым: «Мне показалось, что стоит поработать еще в области продвижения, и я купил чуть больше полутора тысяч временных ссылок»…

Я просмотрел данные ссылки, из-за отсутствия опыта и применения фильтров, клиент разместил ссылки на свой сайт на не совсем качественных площадках и в большинстве случаев вовсе не тематически. Мы сняли данные ссылки, после чего я отправил запрос на проверку. Отправка данного запроса необходима для пересмотра сайта на наличие нарушений и снятия мер принятых по отношению к сайту вручную.

Кнопка находится вот здесь (изображение кликабельно):

Данные мероприятия были выполнены оперативно, и запрос на пересмотр сайта был отправлен уже на второй день работ. Обратите внимание, при отправке запроса вы видите информацию о том, что Google проверят ваш сайт как смогут, то есть определенных сроков нет, и нет специальных сообщений, о том, что вас проверили и теперь все ОК. То есть здесь все смутно как в лесу.

2. Вторым делом задаем вопрос на форуме Google для вебмастеров (http://productforums.google.com/forum/#!forum/webmaster-ru), вдруг вы чего-то не знаете, да и на всякий случай пусть посмотрят и посоветуют.

В итоге я получил ответ такой:

На вашем сайте обнаружено большое число скрытых от обычных пользователей исходящих ссылок на другие ресурсы. Данное обилие ссылок наталкивает на разные мысли, либо ваш сайт линк-помойка, либо вы продаете ссылки из скрытых для пользователей каталогов.

Хм, такое вполне возможно, если у вас на сайте работали посторонние лица, администраторы часто грешат продажей ссылок с сайтов, на которых работают без ведома хозяев. Также такой случай может наступить, если кто-то получил доступ к вашему ресурсу, и использует его, как дойную корову не выдавая своего присутствия явно.

Первым делом после такого стоит определить, не стоит ли, действительно, у вас никакого кода из бирж временных ссылок. Для этого берем и просматриваем исходники всех типов страниц, если опыт отсутствует, то стоит обратиться к опытному и проверенному программисту, который сделает всю работу за вас. В нашем случае никаких кодов не обнаружено.

Вторым делом стоит проверить структуру сайта, карту его, наличие скрытых директорий, которые могли создаваться владельцем ресурса, так и другими лицами без его ведома, по принципу уже упомянутому мною выше. В нашем случае и такого не обнаружено.

Третье, на что стоит обратить внимание, наличие файлов или страниц, которые сгенерированы не самой CMS проекта, а были загружены или созданы вручную. Такое часто встречается при прогонах по каталогам или еще каким-то сборникам, с целью получения обратных ссылок, но где одним из условий успешного достижения цели является загрузка обратных ссылок. Такими принципами грешат многие прогонщики, самый популярный из них 1PS. Если такой файл обнаружен – удаляйте его смело, такой сборник исходящих ссылок вам никоем образом не нужен, даже если они тоже ссылаются на вас. В нашем конкретном случае и такого не обнаружено.

И в заключении я смотрю всегда еще и на наличие флеш-файлов. Да, именно в них часто «вшиты» ссылки, о которых вебмастер знает, а может, и нет. 😉

Большинство крупных сайтов размещают рекламу не по 1 баннеру, а пачками. Сайт посещаем, и когда он создавался (у всех проектов разные даты создания, как вы понимаете, в нашем конкретном случае это был 2002 год) явно не каждый создатель задумывался о рекламе или серьезном успехе. Так вот часть баннеров всегда предоставляется рекламодателями в знакомом всем формате .swf, то есть флеш баннеры. Оно и понятно, во флеше можно реализовать самые извращенные фантазии.

Просмотрев все папки, где размещал владелец сайта баннера, я пришел в шок, 382 флеш баннера и 4 мини-флеш сайта для примера, с общим числом ссылок 402. Индексирование файлов .swf уже давно осуществляется всеми поисковыми системами и на очень хорошем уровне, это практика начала 2000-х годов, но мы забываем о ней. За такие объемы вполне давно можно было получить не только санкции Google, но и Яндекс. Индексирование файлов подобного рода должно быть четко очерчено владельцем ресурса.

В итоге чистки данного сайта мы оставили 12 файлов, которые действительно нужны владельцу сайта. То есть все остальное было загружено на сайт в разные годы и не использовалось, хотя нормально виделось поисковыми системами. Индексирование файлов .swf работало не на пользу владельца сайта. Необходимо было организовать закрытие флеш.

Сделали следующим образом. В структуре сайта создали отдельную папку под баннеры, куда переместили все файлы флеш. После чего в файле robots.txt прописали pзапрет индексирования данной папки.

Вот как это может выглядеть:

Напомнив самому себе о запрете индексирования флеш я просмотрел и этот блог, нашел 11 старых баннеров, которые давно пора было удалить.

В итоге, через 34 дня после нашей не слишком хитрой работы нам удалось выйти из под санкций Google, с сайта были сняты меры принятые вручную и в интерфейсе «Google для вебмастера» исчезла запись о подозрениях в веб-спаме. Сайт вернул утерянный трафик и получил дополнительно рост 2.3-3%, что обрадовало еще больше клиента. Всем вам желаю успеха в продвижении и не забывайте об индексировании файлов .swf, не нужное удаляйте, на нужное ставьте запрет на индексацию. Надеюсь, что данный пост будет вам полезен, и вы обязательно оставите комментарий. Всем пока!

P.S. Не стоит забывать, что если в инструментах «Google для вебмастера» ничего нет в разделе «Меры, принятые вручную» это не значит, что вы не могли попасть под общие положения фильтрации. Это означает только то, что в ручном режиме к вам не применялось никаких мер, но есть еще автоматические. 😉