Главный регулятор Рунета

Некоторое время назад я опубликовал колонку, где в качестве одной из мер по борьбе воровством контента рекомедовал настучать на вора в поисковую систему. Из тех соображений, что воруют контент по большей части манимейкеры, для того, чтобы сделать из него псеводсайт, а Яндекс на такие псевдосайты делает стойку, как сеттер на дичь и расправляется с ними похлеще всякого охотника.

Вернее расправлялся раньше. Сейчас жалобщики все чаще получают отписку в духе, что мы, дескать, как поисковая система, являемся всего лишь зеркалом рунета и отображаем текущую ситуацию в нем, и не наша задача разбираться кто из вас прав, а кто виноват.

Звучит красиво, но – неправда.

Действительно были времена, когда Яндекс просто зеркально отображал содержание рунета никак в него не вмешиваясь и не влияя на него. Но те времена прошли. Нынешний Яндекс можно уподобить садовнику-селекционеру, который взяв ножницы придает сайтам правильный с его точки зрения вид, а те куст... ой, извините сайты, которые не могут или не хотят быть подстрижены должным образом выбрасывает из поиска нафиг. Все идет к тому, что только Яндекс и никто другой будет решать, каким должен быть Рунет, как он должен выглядеть, что он должен говорить, и каким образом вести бизнес.

Так получилось, что между жителями интернета и поисковыми машинами, помимо дружбы существует и соперничество, перманентно оборачивающееся подковерной войной. Каждый владелец сайта хочет, чтобы его сайт показывался поисковой машиной при поиске на первой странице, и желательно в первых строках. Поисковая машина, естественно не может показать на первых позициях все сайты, а потому при помощи хитроумных алгоритмов выбирает сайты, наиболее достойные с ее точки зрения.

Владельцы сайтов со своей стороны стараются разгадать алгоритмы, по которым поисковая машина отбирает «лучшие сайты» и подстроить свои сайты под эти алгоритмы. А поисковая машина в свою очередь при помощи других алгоритмов старается вычислить те сайты, которые специально подстраиваются под ее алгоритмы и отодвинуть их назад, чтобы не лезли вне очереди.

Вот вся эта перманентная возня называется красивой фразой «поисковая оптимизация».

Эта возня идет по всему интернету и со всеми поисковыми машинами, однако применительно к Яндексу она имеет одну особенность. Яндекс пожалуй единственная поисковая машина в мире, которая может не только отодвинуть назад сайт, лезущий вне очереди, но и «наказать» его, совсем выбросив из своего поиска. Такое выбрасывание называемое сухим официальным языком «запрет индексации», а в просторечии «баном», является по сути смертным приговором для сайта. Хотя он остается доступным через другие поисковые системы, через тот же гугль например, но слишком много народу пользуются для поиска только Яндексом.

Строго говоря, к «банам» прибегают все поисковые системы. Но если все поисковые системы «банят» только сайты наносящие очевидный и несомненный вред, то Яндекс отстреливает насмерть и те нормальные сайты, которые не будучи очевидно вредоносными, просто попытались понять свои позиции в поиске. Или ему показалось, что попытались поднять.

Так уж устроено, что решение об «отстреле» того или иного сайта принимается не человеком, а сложными алгоритмами по множеству критериев. Алгоритмам же, увы, свойственно ошибаться.

Одним из неприятных особенностей этих алгоритмов является то, что под раздачу могут попасть не только «виновные» сайты, но и сайты, которые только «выглядят подозрительно». Надеюсь со временем эта политика будет прекращена, но пока она действует, и с ней надо считаться.

Например, очень часто недобросовестные оптимизаторы используют для обмана поисковых машин псевдосайты, состоящие практически из одних картинок, поскольку такие сайты можно легко генерить в больших количествах автоматическом режиме. Соотвественно ваша «честная» фотогаллерея, может быть принята за такой псевдосайт и отправлена в бан.

Очень часто подобные псевдосайты делаются из материалов, сворованных с других сайтов. И если вдруг на вашем сайте будет избыток RSS-лент, вы также можете попасть под раздачу.

Писать, жаловаться в саппорт Яндекса, как правило бесполезно. Никто никогда не сообщит вам причины, по которым ваш сайт выпал из индекса. Это в общем-то понятно и разумно, если эти причины озвучивать, то настоящие злоумышенники возьмут информацию на вооружение и будут обходить фильтры. Поэтому остается только уповать на то, что сотрудник Яндекса проявит индивидуальный подход к вашей проблеме. Однако шансов на это с каждым годом все меньше. Вылет сайтов происходит сейчас в весьма широких масштабах и на индивидуальный подход к каждой жалобе, как показывает текущая практика, времени уже не остается.

В итоге, если при работе с любыми другими поисковыми машинами создатели сайтов принимают меры чтобы сайт оказывался на первых страницах выдачи, то в рунете наиболее продвинутые специалисты сейчас начинают принимать двоякие меры: отдельные меры, чтобы сайт хорошо был виден пользователям в поисковках, и отдельные меры, чтобы он не вылетел из индекса Яндекса.

Все это может привести к тому, что Яндекс из поисковой машины, отображающей состояние рунета, потихоньку превратится в инструмент прогибающий рунет под свои специфические требования.

Не факт конечно, но вполне возможно дело закончится тем, что из русского интернета уйдут самобытные, но непонятные для Яндекса сайты, и он окажется забит «правильными» с точки зрения алгоритмов Яндекса строго стандартными сайтами. А шаг вправо, шаг влево от стандартов будет караться высшей мерой – исключением сайта из поискового индекса.

Можно было бы отнестись ко всему выше сказанному, как к фантастике, но, похоже, этот процесс уже сейчас идет полным ходом. Как я уже писал в колонке про так называемый фильтр Яндекса АГС-17, в течение первых месяцев этой осени поисковая база Яндекса сократилась по некоторым направлениям на десятки процентов. Причем не только за счет выбрасывания сайтов сомнительного содержания, но и за счет ликвидации вполне нормальных сайтов, и более того, за счет весьма серьезных, а иногда и культовых проектов. Некоторые примеры я привел в той статье, в частности почти полностью вылетели из поиска сайты news2.ru и Министерства транспорта РФ.

Сейчас же расскажу несколько реальных и правдивых историй, участником или свидетелем которых я был.

Первая история произошла лично со мной довольно давно, когда я был еще далек ото всех этих поисково-оптимизаторских дел.

В свое время на почве любви к живописи я сошелся со множеством коллекционеров и искусствоведов. Одной из приятных сторон этих знакомств явилось то, что у меня появилась возможность периодически не только лицезреть живьем интересные шедевры, но и делать их точные, калиброванные по цветам, фотокопии. Первое время я делал их только для личного пользования – моя квартира увешана абсолютно точными копиями Пикассо и Гогена, которые иногда не отличишь от оригинала с расстояния одного-двух метров.

Потом мне в голову пришла мысль, что не стоит держать такое богатство втуне, надо им делиться. Мало кто знает, что репродукции продающиеся в магазинах и публикуемые в художественных альбомах практически всегда очень-очень сильно отличаются от оригиналов по цветам и по тональности. Я решил сделать сайт который рассказывал бы о том, как те или иные картины выглядят на самом деле.

Сказано-сделано. Сайт быстро проиндексировался поисковыми системами, на него пошел поток любителей живописи, появились первые отзывы, а потом вдруг количество посетителей резко упало. Я стал разбираться в чем дело и оказалось, что сайт не показывается в поиске Яндексом. Началась долгая переписка с саппортом, все ответы которого были весьма обтекаемы, дескать наши алгоритмы решили не включать ваш сайт в поисковый индекс, дескать работайте, развивайте сайт и все у вас получится.

Это сейчас я знаю, что владелец любого «наказанного» сайта получает именно такой ответ и иного ответа быть в принципе не может, что точную причину «вылета» сайта из индекса никто никогда не назовет, а тогда я потратил кучу времени, пытаясь понять почему именно это случилось.

Это сейчас я уже опытный волк, который с полпинка определит причину наказания любого сайта, а тогда мне пришлось обратиться к специалисту-оптимизатору, вердикт которого был следующий: на сайте раположены копии общеизвестных картин, которых и так много в сети, и при этом очень мало текста, а Яндекс такие сайты не любит, потому что всякие «вредные псевдосайты» часто строятся именно по такому принципу. Оптимизатор посоветовал добавить таких картинок, которых нет в сети, и еще добавить побольше текстов, которые на других сайтах так же не встречаются, тогда сайт попадет в индекс.

Получив эту информацию я, продолжая оставаться наивным, еще раз написал в саппорт Яндекса, расписал миссию сайта, и в чем именно заключена ценность копий, расположенных на нем. Получил все тот же обтекаемый ответ.

Терять мне было нечего. И я поставил эксперимент. Я добавил на сайт еще репродукций, очень скверного качества и очень бездарных авторов (в силу чего отсуствующих в сети), и опубликовал длиннющую личную переписку с одним художником, никому кроме нас с ним неинтересную.

Через какое-то время сайт появился в индексе Яндекса. Но в таком виде он был уже совершенно неинтересен не только любителям живописи, а вообще никому. Решив что цель возвращения в индекс достигнута, я убрал весь мусор с сайта. Через месяц сайт исчез из поиска. Я вновь добавил мусор, сайт вновь появился в индексе.

После этого я начисто утратил всякую наивность и приведя сайт к какому-то худо-бедно компромисному виду – забросил.

Сейчас этот сайт доступен через поиск Яндекса. Но это совсем не тот сайт который я хотел сделать, и гордится мне там совсем нечем. Поэтому адреса не даю.

Другая история произошла с моим знакомым, бизнес которого – ремонт квартир. Много лет назад ему пришла в голову идея что было бы неплохо использовать интернет для привлечения клиентуры. В результате появился сайтик (с разрешения знакомого привожу его адрес – remont-kvartiri.ru), совсем простенький, наивный, однако на нем было собрано очень много практических советов, рекомендаций и всякого рода ноу-хау от фирмы.

Поэтому сайт быстро стал пользоваться популярностью, и с него пошел поток клиентов. Однако популярность имеет и обратную сторону. Статьи с сайта стали активно воровать, невзирая на копирайт, и в течение нескольких лет они появились на десятках других сайтов. Причем не только копии статей, но полные копии самого сайта, включая установленные на нем счетчики рамблера, спайлога и пр.

Мой знакомый стал возмущаться, писать в саппорт поисковых систем и ничего кроме стандартного ответа «мы всего лишь зеркало интернета...» не добился.

Прошли годы, дубли исходного сайта размножились сверх всякой меры и «зеркало интернета» вдруг констатировало, что в рунете слишком много очень похожих друг на друга сайтов по ремонту квартир и мгновенно из «зеркала» превратилось в «палача». Из великого множества идентичных сайтов остались лишь те, которые наиболее понравились «алгоритмам».

Но проблема была в том, что мой знакомый делал «просто сайт», а многоопытные воры статей специально делали сайты, которые понравились бы Яндексу и не выпали бы из индекса. Поэтому сайты с ворованными текстами остались в поиске (как, например, этот remontnik.ru), а сайт моего знакомого из него исчез.

Разумеется, мой знакомый писал возмущенные письма в саппорт Яндекса, разумеется у него на руках были обоснования, что не он украл, а у него украли. Но господа, сейчас ежеденевно из индекса вылетают сотни, если не тысячи сайтов. И саппорт получает тысячи возмущенных писем. Вон даже сайт самого Минтранса не может дождаться своей очереди на справедливое рассмотрение дела. А тут мелкий строительный сайтик, каких десятки тысяч...

И третья история случилась в том момент когда я уже заканчивал эту колонку. Есть у меня еще один знакомый (да-да, не удивляйтесь, знакомых у меня много), который тащится от Поля Верлена (был такой французский поэт). В течение долгого времени он готовил антологию стихов поэта: отбирал стихотворения, к каждому подбирал соотвествующие цитаты от великих мира сего, делал комментарии и конце-концов гордо опубликовал свой труд в сети. Просуществовал этот сайт в индексе Яндекса ровно полтора месяца. Когда знакомый обратился ко мне за консультацией я сразу назвал наиболее вероятную причину – стихи Поля Верлена наверняка уже где-то есть в сети и алгоритмы Яндекса совершенно справеливо решили, что народу хватит того, что уже есть, и еще одна антология поэта – совешенно излишня.

Мой знакомый написал язвительное письмо в саппорт Яндекса в котором спросил, не считает ли Яндекс что любое стихотворение любого великого поэта должно быть представлено с интернете в одном-единственном экземпляре. Ответа пока не получил.

Интересно, что ему ответят?

Андрей Шипилов

Оргинальный текст статьи: http://shipilov.com/index.php?option=com_content&task=view&id=83&ac=0&Itemid=17<