Фатальная ошибка в яндекс вебмастер. Критическая ошибка в яндекс вебмастере. Мониторинг важных страниц

С сентября 2017 года резко выросло количество оповещений в панели Вебмастера Яндекс о фатальной ошибке, причём часто под санкции попадают сайты, которым под фильтром по теории поискового заговора делать нечего. Что это за… откуда деньги у атамана и как избавиться от фильтра? Начнём с погружения в глубину проблемы:

Обнаружены нарушения или проблемы с безопасностью

Первопричина санкций

За последние года Платон Щукин и К не раз устраивал веб-мастерам Варфоломеевскую ночь. Начиналось всё с борьбы со ссылками и со временем переросло в нечто больше, требующее погружения в основы бизнеса.

Яндекс компания коммерческая и акционеры желают в лучшем случае получать прибыль, в худшем видеть нововведения со стороны руководства. Лучший случай тесно переплёлся с худшим, и под флагом борьбы за качество поисковой выдачи Yandex начал забирать 80% прибыли от создателей сайтов. Так как коммерческие проекты более богаты, то начали с них, убедительно объяснив без применения насилия, что благо для бизнеса – это Директ.

Ссылки на 90% ушли в небытие, коммерция низко наклонив голову ушла в Директ и наступило время информационных сайтов. Увести их в контекстную рекламу массово не получится, но дырки в бюджете надо закрыть, если не прибылью, то активностью (читать выше). Массовое появление в панели фатальной ошибки говорит о чистке поисковой выдачи. Какая тут прибыль? Всё просто – режутся сайты с небольшой и средней посещаемостью, им на смену приходят ущербные порталы типа fb. ru, которые сами едят со стола Директа и его кормят .

Формальная причина фатальной ошибки

Алгоритмы ранжирования Яши учитывают тысячи различных факторов, поэтому всегда найдётся таракан за дверью, которого владелец сайта не успел пришибить шлёпанцем. Боты снуют по сайтам и, если у ресурса нет крыши в виде большой посещаемости и рекламы Директа, то ресурс получает фатальную ошибку.

Помните «был бы человек, а статья найдётся»? Яндекс использует присказку на 100%, добавив в неё только выверт «чужой человек».

Итак, появляется фатальная ошибка в 90% случае из-за:

1. Рекламы Google в первом окне,
2. Большого % страниц с малым объёмом информации,
3. Жизненной кармы веб-мастера,
4. Просто так.

Если увидели в панели:

Позиции сайта в результатах поиска понижены

То грустный клоун пришёл и на вашу улицу.

Признаки санкций – падение трафика на 40-80% и откат позиций на 20-30 мест в глубины выдачи.

Лечимся

Тяжело лечиться, если врач на лету придумал тебе диагноз, но жизнь требует биения сердца, поэтому надо пытаться избавиться от фатальности Яши. Вот перечень действий, которые могут прийти на помощь при санкциях:

1. Съём рекламы с первого экрана,
2. Удаление или disallow страниц небольшого объёма (малополезных),
3. Форматирование больших, но портяночных страниц,
4. Здоровый сон.

В 2 случаях из 5 ошибка пропадает при переотправке сайта на проверку без каких-либо телодвижений. Ещё в одном случае помогает съём рекламы. На конец октября 2017 не могу сказать, что поможет в 2 оставшихся случаях, возможно, Яндекс сам поймёт, что если так рубить лес, то жить скоро придётся среди пней и откатит санкции, вернув веб-мастеру надежду.

Также советую не печалиться при фатальной ошибке, ведь жизнь много шире, чем потеря трети трафика и клейма санкционщика на лбу.

Сегодня же мы детально разберём раздел фатальных ошибок, которые не просто мешают индексированию сайта в поисковых системах — из-за наличия этих ошибок сайт может просто не показываться в поисковой выдаче.

Итак, список фатальных ошибок в Яндекс Вебмастере состоит из следующих пунктов:

1. Сайт закрыт к индексации в файле robots.txt

Robots.txt это ключевой файл, который объясняет роботам поисковых систем куда на сайте им можно заходить, а куда нет. Если robots.txt полностью блокирует возможность посещения сайта роботами Яндекса, то о дальнейшей работе можно в принципе забыть. Никакие изменения в сайте поисковые системы просто не увидят. Поэтому очень важно, чтобы директивы robots.txt не только разрешали роботам поисковиков посещать сайт, но и вели их по сайту необходимым для правильной оптимизации образом.

2. Не удалось подключиться к серверу из-за ошибки DNS.

Ошибки DNS как правило происходят либо на стороне сервера, либо из-за неверной настройки пользователем согласованной работы домена и хостинга. Из-за ошибок DNS поисковик не понимает — какой домен прилинкован к вашему сайту и просто не показывает домен в выдаче.

3. Главная страница сайта возвращает ошибку

Когда поисковая система посылает на сайт запрос о его существовании она должна получить один из кодов ответов, который соответствует знаниям поисковика. Наиболее частые коды:
200 — страница существует и отображается
301 — страница перенаправляет всех на другую страницу
404 — страница не существует
500 — проблема страницы на стороне сервера

Важно чтобы сайт при запросе отдавал именно код 200. Только таким образом Яндекс поймет что с сайтом все в порядке и предложит его к поисковому ранжированию.

4. Обнаружены нарушения или проблемы с безопасностью

Яндекс тщательно следит за тем, чтобы посещение сайтов из поисковой выдачи было безопасно для компьютеров пользователей. Поэтому при наличии малейших угроз со стороны сайта поисковый робот сначала размещает рядом с сайтом в выдаче предупреждение о возможных проблемах, и если проблема не будет через какое-то время устранена, то просто уберёт ресурс из поисковой выдачи. Поэтому очень важно следить как за состоянием ресурса, так и за его безопасностью. Необходимо вовремя менять пароли и проводить сканирование сайта при помощи антивируса.

Добрый день уважаемые читатели блога сайт, открываю я сегодня веб кабинет Яндекса и обнаруживаю на против двух своих сайтов, восклицательный знак, зайдя в первый сайт я увидел фатальную ошибку с вот таким содержимым: "Сайт может угрожать безопасности пользователя, или на нём были обнаружены нарушения правил поисковой системы. Наличие этой проблемы негативно сказывается на положении сайта в результатах поиска ." Давайте смотреть в чем причина и каким образом вы сможете это исправить.

Более детальный вид ошибки "Сайт может угрожать безопасности пользователя"

И так есть пациент, мой один из блогов (http://москва-россия.рф/) на нем я делюсь своим опытом проживания в Москве, где и куда там пойти и что и где посмотреть, если вы его еще не видели, то милости прошу. Захожу я в webmaster кабинет и вижу как и писал выше, предупреждение.

Зайдя в настройки самого сайта, я увидел следующую картину: 1 фатальная ошибка, щелкаем по ней, чтобы посмотреть детали.

Примерно год назад(или больше) Яндекс сделал в Вебмастере Яндекса возможность узнавать применены ли санкции к вашему сайту или нет.

И вот прошёл год.

Сегодня я расскажу какие из этих «санкционных» сигналов работают, а какие не работают.

Выглядит это примерно так:

Сами санкции имеют 4 вида: Фатальные проблемы, Критические проблемы, Возможные проблемы, Рекомендации.

Фатальные проблемы это по сути бан сайта. Обычно это что то очень серьёзное. Например бан за покупку ссылок, накрутку ПФ, Спамный текст,..

Если у вас есть фатальная проблема в Вебмастере, то обычно сайт или полностью удаляется из индекса Яндека или же траф становится практически нулевым.

На самом деле фатальные проблемы встречаются очень редко. Я всего один раз видел такое. Был у одного человека бан за Минусинск.

Разумеется если вы видите фатальные проблемы на сайте, то нужно срочно их исправлять.

Критические проблемы это в основном какие то технические проблемы у сайта. Пример таких проблем: Вирус на сайте, Сайт выдаёт 404 ошибку, Долго грузится сайт,..

Вот пример самой распространенной проблемы: Долгий ответ сервера.

Cреднее время ответа роботу всех страниц вашего сайта превышает 3 секунды. Проблема могла возникнуть из-за долгого ответа, возвращаемого сервером при обращении поискового робота к некоторым страницам сайта. Если в настоящий момент сервер отвечает быстро, по мере переобхода сайта роботом Яндекса проблема перестанет быть актуальной, и сообщение об ошибке пропадет.

По факту могу сказать, что если у вас на сайте есть Критическая проблема , то трафик у вашего сайта снизится. Сайт будет в индексе Яндекса, но траф сильно просядет.

После того вы исправите проблему трафик восстановится, но НЕ ПОЛНОСТЬЮ.

Да, кстати это интересная вещь от Яндекса — если сайт наложены санкции, но потом сайт вышел из под санкций, то траф окончательно не восстанавливается Почему непонятно. Поговаривают, что такое вот наказание и чтобы больше не нарушал.

Возможные проблемы это самые распространенные проблемы. На самом деле половина(или больше) из этих проблем не являются проблемами.

Ну посудите сами, вот эти проблемы: Отсутствует robots,txt, Не прописан в роботсе Host, Отсутствует диспришн,..

Причём зачастую влияние многих этих проблем совершенно разное. Об этом мы и поговорим более подробно.

Отсутствует robots,txt, Не прописан в роботсе Host — как не странно, но Яндекс считает, что эта проблема существенная. Снижается трафик на сайте.

Лично для меня это понятно, так как много сайтов вообще не имеют на своём сайте robots.txt и прекрасно существуют.

Отсутствуют мета-теги — вообще не оказывает никакого влияния. Сколько я с этим проводил экспериментов, факт один — влияния никакого . Всмысле санкцй со стороны Яндекса нет.

Но что касается Вебмастера Яндекса, факт того что диспришны у вашего сайта отсутствуют не влечёт к каким то санкциям со стороны Яндекса.

Нет используемых роботом файлов Sitemap.

По сути нет карты сайта. Не обращайте на это внимание, никаких санкций на это не накладывается.

В целом обычно у владельцев сайтов далёких от Seo, вот такая ситуация в Вебмастере:

Но скажу, честно им на это похиру.

Начнём с моего блога(сайт):

Нетрудно понять, что моему блогу не нужен никакой физический адрес в Питере.

«Сайт не Оптимизирован для мобильных устройств».

Это на самом деле НЕ пожелание, а именно критическая или даже Фатальная проблема. Дело в том, что если сайт у вас криво отображается для «мобильных» пользователей, то Поведенческие факторы у сайта будут очень низкие.

Поэтому если у вас в Вебмастере высвечивается такая проблема, то срочно её исправляйте.

И в конце выскажу своё мнение о работе Вебмастера Яндекса:

Всё очень и очень «мутно». Нет главного сигнала — «Поведенческие факторы». Можно было сделать такой сигнал, и если у вашего сайта плохие ПФ, то можно отображать эту опцию и прописывать — Улучшайте ваш сайт.

А так практически все сигналы не являются проблемными.

Ну зачем публиковать, что у сайта нет роботса, хоста в роботсе и карты сайта, когда по сути это не играет никакой роли для сайта?! Или может пользователь сайта так и мечтает заглянуть в Роботс?!

Нужен сигнал: Переспам текста и Индикатор Поведенческих факторов.

Пишите свои пожелания какие санкционные сигналы вы хотели бы видеть в Яндекс.Вебмастере. Я этот список постараюсь передать Яндексу.

Панель Вебмастера Яндекс – что это такое?

Каждый человек, который занимается продвижением сайтов, должен знать, для чего нужен Яндекс Вебмастер.

Яндекс Вебмастер – бесплатный кабинет вебмастера для аналитики, сбора статистики, поиска ошибок и прочих полезных функций. В панели Вебмастера Яндекс можно следить за индексацией страниц в поисковике Яндекса.

История появления Вебмастера

Первая версия панели Вебмастера стала доступна 19 октября 2007 года. О запуске сервиса рассказал Александр Садовский (руководитель отдела веб-поиска, Яндекс) на заседании клуба seo-оптимизаторов. Доступ к сервису для закрытого бета-тестирования предоставлялся по приглашениям. Официальная дата открытия сервиса для широкой аудитории - 21 декабря 2007 года.

Если я ничего не путаю, то выглядел он в то время примерно так:

А в 2015 году вышла бета-версия нового Яндекс Вебмастер:

Сервис Яндекс Webmaster

Отсутствие данных в разделе «Мои сайты» не помешает нам осмотреть функционал сервиса.

Обзор функций

Фатальные ошибки

Фатальные ошибки включают в себя самые серьезные проблемы, которые напрямую влияют на продвижение сайта. Такие как:

1. Сайт закрыт к индексации в файле robots.txt;
   В вашем файле robots..txt) обнаружен запрет на индексацию всего сайта. Выглядеть эта строчка будет так: «Disallow: /» или «Disallow: *». Возможно, это сделано специально, пока сайт разрабатывается, главное не забыть потом убрать 🙂
2. Не удалось подключиться к серверу из-за ошибки DNS;
   Упал сервер или сбились настройки DNS. Может вы там где-то ковырялись? 🙂
3. Главная страница сайта возвращает ошибку;
   Возможна проблема с хостингом или с файлами на сервере.
4. Обнаружены нарушения или проблемы с безопасностью.
   Яндекс отыскал какую-то опасность на сайте, к примеру, поймали какой-то вирус, что является угрозой для посетителя сайта. Не круто, короче.

Критичные ошибки

1. Большое количество неработающих внутренних ссылок;
   Проверьте работоспособность ссылок на сайте, какие-то из них не работают. Можно их найти с помощью Sreaming Frog SEO Spider .
2. Долгий ответ сервера.
   Посмотрите, нет ли у вас плагинов, которые сильно нагружают ваш хостинг? Возможно, посещаемость вашего ресурса резко выросла и вам стоит задумать о смене тарифа на хостинге. Я, кстати, beget.ru использую 🙂

Возможные проблемы

1. Нет используемых роботом ;Создайте файл Sitemap.xml или закиньте в Файлы Sitemap в разделе «Индексирование».
2. Обнаружены ошибки в файлах Sitemap;Проверьте свои файлы на ошибки. Возможно, есть 404-страницы или другие проблемы.
3. Некорректно настроено отображение несуществующих файлов и страниц;Вероятно, на сайте некорректно настроен возврат HTTP-кода 404 Not Found.
4. Ошибки в файле robots.txt;Тут может быть гора ошибок, проверяйте файл с помощью анализа robots.txt в разделе «Инструменты».
5. Главная страница перенаправляет на другой сайт;Без комментариев… 🙂
6. Большое количество страниц-дублей;Яндекс нашел дубли . Нужно работать над качеством сайта. Найдите технические ошибки или закройте страницы в robots.txt.
7. Не найден файл robots.txt;Срочно найдите его и покажете Яндекс Вебмастеру 🙂
8. Отсутствуют теги