Контакты

Нет проиндексированных страниц. Как проверить индексацию страницы

Проверка индексации сайта является тем мероприятием, которое позволяет предупредить снижение уровня заработка вебмастера. Дело в том, что существует такое понятие, как «выпадение» страниц, по разным причинам приводящее к потере трафика.

Недостаточное количество контента на странице, организационные моменты при «переселении» на другой домен, спам – эти и другие причины сводят на «нет» все усилия вебмастеров. Опытный оптимизатор ни за что не допустит такой ситуации, впрочем, как и понижения рейтинга у площадки, продающей «вечные» ссылки. Проверять индексирование веб-сайта – не прихоть, а вынужденная необходимость!

Существует несколько типов поисковых запросов Google, позволяющих увидеть проиндексирована страница или нет

Проиндексированные страницы сайта

Страницы сайта, прошедшие индексацию Google, можно просмотреть, воспользовавшись оператором «site:». Следует учитывать, что индексация является геозависимой, поэтому может выпадать разное число страниц в индексе для и google.com.

Итак, к указанному оператору добавляем нужный url, причем, между оператором и самой ссылкой на сайт не должно быть пробелов:

site: google.ru

Кроме того, можно провести поиск по целому домену или по отдельно взятому подкаталогу:

site: google.com/ webmasters

Для избирательного поиска с целью исключения ненужных страниц нужно поставить перед оператором знак «-». Наглядно это будет выглядеть так:

site:google.ru -site: adwords. google.com

Подобный поиск выдаст результат, в котором будут содержаться все проиндексированные страницы в домене google.ru, за исключением страниц adwords. google.ru.

link:google.ru или link:www

Кроме того, целенаправленный поиск ссылок на определенные страницы выполняется по запросу:

link:google.ru/webmasters

Текущий кэш вашего сайта

Оператор «cache:» информирует об архивированной копии страницы, которая проиндексирована Google. К примеру, cache:google.ru воссоздает новейшую проиндексированную версию главной сайта, а также выдает информацию о дате создания КЭШа, что дает возможность просмотра версии страницы с обычным текстом. Это чрезвычайно удобно, т.к. становится понятно, как именно робот Googlebot может увидеть страницу.

Используя команду «метатег noarchive», можно ограничить доступ пользователей в результатах поиска к кэшированной версии любой страницы. Между тем, страница будет сканироваться и индексироваться поисковиком Google:

Похожие страницы

Оператор «related:» позволяет увидеть ресурсы, подобные искомому сайту. Такой поиск применяется, как правило, для пересекающихся ресурсов.

В Google может быть использовано целый ряд показателей для выявления схожести, но качество возвращаемых сайтов никоим образом не влияет на процесс индексации страниц поисковой системой Google. Рекомендую почитать пост про гугла, там могут быть страницы которых нет в основном поиске.

То очень важно, чтобы все страницы вашего сайта были проиндексированы в поисковых системах (Яндекс, Google и т.п.).

  • Во первых, если страницы нет в индексе, значит люди не смогут ее найти и вы зря потратили время (и возможно деньги) на ее создание, наполнение и оформление. Каждая страница в индексе — это источник посетителей.
  • Во вторых, если страницы нет в индексе, это может свидетельствовать о технических проблемах на сайте, например дублирование контента, глюки сайта или хостинга.
  • В третьих, эта страница может играть техническую роль, например, участвовать в схеме перелинковки (или содержать платные ссылки, за которые вы не получите деньги, если страницы нет в индексе).

Ниже я рассмотрю ручные и автоматизированные способы проверки индексации страниц в Яндекс и Google. Покажу, как проверить индексацию сайта в целом и каждой страницы в отдельности.

Как узнать количество страниц на сайте

Это можно сделать несколькими путями:

Теперь, когда мы знаем фактическое количество страниц, надо проверить сколько из них проиндексированы в Яндексе и Google

Смотрим индексацию сайта в целом

В данном случае мы узнаем сколько всего страниц сайта проиндексировано в поисковой системе . Что нам это дает? Зная фактическое количество страниц на сайте, мы можем сравнить соответствует ли оно количеству проиндексированных страниц. И если соответствует, значит всё в порядке, а если нет, то нужно разобраться с проблемой и выяснить каких именно страниц не хватает (или какие страницы имеют дубли).

Индексация сайта в Яндексе

Несколько способов.



Как видите данные немного отличаются. Это из-за того, что конструкция url:ваш-сайт показывает не только страницы, но другие типы файлов (doc, xls, jpg и т.п.). Вебмастер же показывает именно количество страниц.

Индексация сайта в Google

Здесь аналогично с Яндексом есть 2 способа:

  • Вручную с помощью конструкции site:ваш сайт. Эффект будет примерно такой же, как с Яндексом.
  • Используя инструменты Google для Вебмастеров https://www.google.com/webmasters/ (аналог Яндекс.Вебмастер)

автоматические способы



Что дальше

Теперь когда мы знаем, сколько страниц от фактического количества проиндексированы, может быть 3 ситуации:

  1. Количество страниц в поисковиках и на сайте совпадает. Это идеальный вариант, значит с сайтом всё впорядке.
  2. Количество проиндексированных страниц меньше. Значит с сайтом проблемы (наиболее популярная проблема — малоинформативный или неуникальный контент)
  3. Количество проиндексированных страниц больше. Скорей всего у вас проблема с дублированием страниц, т.е. одна страница может быть доступна по нескольким адресам. Это плохо для продвижения, т.к. статический вес страницы размывается и кроме-того получается много страниц с повторяющимся контентом.

Для дальнейшей диагностики сайта, нам понадобится узнать какие страницы точно проиндексированы, а какие не входят в индекс.

Как проверить индексацию одной страницы

Это нам может понадобится, когда мы хотим проверить конкретную страницу на своем сайте (например, недавно опубликованную) или страницу на чужом сайте (например, где мы купили ссылку и ждем, когда она проиндексируется)



Как проверить индексацию всех страниц по отдельности

В данном случае мы будем проверять на проиндексированность сразу все страницы сайта и в результате узнаем какие конкретно страницы не проиндексированы в поисковике .

Здесь нам понадобится не просто знать количество фактических страниц на сайте, но и список адресов этих страниц (их url). Это наверно самое сложное в этой статье. Список страниц мы вроде бы получили, когда генерировали карту сайта, но там адреса содержатся не в чистом виде и нужно уметь работать с какой-нибудь программой по обработке данных, чтобы извлечь их. Поэтому будем использовать еще одну программу.

Как получить список всех страниц сайта

Перед сбором ссылок нужно настроить параметр Exclude Patterns. Это делается, чтобы исключить при сборе ненужные ссылки, например, в моем случае при сборе собирается очень много адресов вида: http://сайт/prodvizhenie/kak-prodvigayut-sajjty.html?replytocom =324#respond, которые указывают на комментарий на странице. А мне нужен только адрес страницы. Поэтому, я настроил исключение адресов по маске *replytocom*:


Дальше, запускаем сбор url и когда программа закончит их собирать, переходим на вкладку Yahoo Map / Text и копируем адреса оттуда (Кнопка сохранить не работает, т.к. мы используем бесплатную версию программы)


Теперь у нас есть адреса всех страниц.

Как проверить индексацию страниц автоматически

Здесь всё просто. После запуска программы добавляем собранный на прошлом шаге список url вашего сайта и добавляем в список исходных url. Программа позволяет проверять индексацию в Яндекс, Гугл и Rambler, выбираем нужную нам поисковую систему и запускаем проверку:


После того, как получили список страниц, которые не попали в индекс, нужно понять почему это произошло. Если со страницей всё впорядке, то чтобы она зашла в индекс, можно закупить на нее ссылок или несколько ретвитов с прокаченных аккаунтов.

Заключение

Умение проверить индексацию страниц своего сайта позволит вам продуктивней работать с поисковыми системами, а так же вычислить существующие проблемы с сайтом.

Для тех, кто не знает, для чего нужна быстрая индексация новых страничек сайта поисковыми системами (ПС), отмечу две основных причины:

  • Чтобы быстрее пошел бесплатный трафик на вашу новую статью из ПС
  • Чтобы новый контент закрепился за вашим сайтом. Поясню. Представьте, что вы днями пишете статьи, а они очень медленно индексируются. При этом какой-нибудь ушлый копипастер приметил, что вы пишете уникальный и полезный материал и стал ваши тексты добавлять на свой сайт, который индексируется лучше вашего. И если ваши тексты на чужом сайте будут проиндексированы раньше, то вы не будете считаться первоисточником. И основной трафик по такой статье пойдет не на ваш сайт.

Быстрая индексация страниц в GOOGLE

C Google все очень просто. Вам нужно добавить свой сайт в инструменты вебмастера по адресу https://www.google.com/webmasters/tools/ , после чего выбрать добавленный сайт, таким образом попадая в Search Console своего сайта. Далее в левом меню выбираем раздел «Сканирование», а в нем пункт «Просмотреть как Googlebot».

На открывшейся странице в пустое поле вводим адрес новой страницы, которую хотим быстро проиндексировать (с учетом уже введенного доменного имени сайта) и жмем правее кнопку «Сканировать». Ждем, пока страничка просканируется и появится в верхней части таблицы ранее сканированных подобным образом адресов. Далее жмем на кнопку «Добавить в индекс».

Ура, ваша новая страница моментально проиндексирована Гуглом! Уже через пару минут вы сможете найти ее в гугловской выдаче.

Быстрая индексация страниц в Яндексе

В новой версии инструментов для вебмастера стал доступен аналогичный инструмент для добавления в индекс новых страниц. Соответственно, ваш сайт также предварительно должен быть добавлен в Яндекс Вебмастер. Туда же можно попасть выбрав в вебмастере нужный сайт, далее идем в раздел «Индексирование», выбираем пункт «Переобход страниц». В открывшемся окне вводим адреса новых страниц, которые хотим быстро проиндексировать (по ссылке на одной строке).

В отличие от Гугла, индексация в Яндексе пока не происходит мгновенно, но старается к этому стремиться. Выше произведенными действиями вы сообщите роботу Яндекса о новой странице. А проиндексирована она будет в течение получаса-часа - так показывает лично моя практика. Возможно, скорость индексации страницы в Яндексе зависит от ряда параметров (от репутации вашего домена, аккаунта и/или других). В большинстве случаев, на этом можно остановиться.

Если вы видите, что страницы вашего сайта плохо индексируются Яндексом , то есть несколько общих рекомендаций, как с этим бороться:

  • Самая лучшая, но и трудная рекомендация – это поселить быстробот Яндекса на своем сайте. Для этого желательно каждый день добавлять на сайт свежие материалы. Желательно 2-3 и более материалов. Причем добавлять их не сразу все одновременно, а через некоторое время, например, утром, днем и вечером. Еще лучше было бы соблюдать примерно одинаковый график публикаций (примерно выдерживать одно и то же время добавления новых материалов). Также многие рекомендуют создать RSS ленту сайта, чтобы поисковые роботы могли считывать обновления прямо с нее.
  • Естественно, далеко не все смогут в таких объемах добавлять новые материалы на сайт – хорошо, если получится добавлять 2-3 материала в неделю. В таком случае о быстроботе Яндекса можно особо не мечтать, а пытаться загонять в индекс новые странички другими способами. Самым эффективным из которых считается постинг ссылки на новые странички в прокаченные Твиттер аккаунты. С помощью специальных программ типа Twidium Accounter можно «прокачать» нужное вам количество твиттер аккунтов и уже с их помощью быстро загонять в индекс поисковых систем новые страницы сайта. Если у вас нет возможности постить ссылки в прокаченные аккаунты Твиттера самостоятельно, можно купить такие посты через специальные биржи. Один пост с вашей ссылкой в среднем будет стоить от 3-4 рублей и выше (в зависимости от крутости выбранного аккаунта). Но этот вариант будет довольно дорогим.
  • Третий вариант быстрой индексации – это использование сервиса http://getbot.guru/ , который всего за 3 рубля поможет достигнуть нужного эффекта с гарантией результата. Хорошо подойдет для сайтов с редким графиком добавления новых публикаций. Есть там и более дешевые тарифы. Подробности и отличия их лучше смотреть на сайте самого сервиса. Лично я услугами данного сервиса в качестве ускорителя индексации очень доволен.

Конечно, можно также добавлять новые публикации в социальные закладки, что теоретически также должно способствовать быстрому индексированию сайта. Но эффективность такого добавления также будет зависеть от прокаченности ваших аккаунтов. Если у вас маленькая активность на них и вы используете аккаунты только для подобного спама, то полезного выхлопа практически не будет.

): Подсветка и оформление фасадов зданий – неотъемлемая часть современного города.

Дорогие друзья, в эфире мой новый видеоурок о том, как проверить индексацию страниц в Яндексе и Google. Есть несколько способов проверки индексации в поисковиках, я опишу те, которыми пользуюсь сам.

Мне так понравилось делать видеоуроки, что вместо написания обычной статьи я записал видео. Для эксперимента я сделал этот видеоурок без предварительного написания текста. Раньше я всегда сначала писал статью, а потом ее зачитывал. Так что будет кашель, заикания и дрожащий от волнения голос старика Глобатора 🙂 .

Буквально сегодня утром я принял решение перейти с браузера Firefox на Google Chrome, так как в Огнелисе были глюки и он не так быстр, как Хром. Нашел отличные расширения Google Chrome для проверки индексации, и делюсь ими с вами. Кстати, можете почитать мою статью . RDS бара и кнопки SEO Button by Tarry в этой статье нет, так как на момент ее написания про эти расширения я не знал.

Кстати! Я планирую выпустить платный курс по продвижению англоязычных сайтов. Если интересует, можете подать заявку в ранний список через эту форму , чтобы первыми узнать о выходе курса и получить специальную скидку.

SEO Button by Tarry

Простое и удобное решение для проверки индексации в поисковиках и других данных. Качаем .

Букмарклет от Дениса Иванова

Удобная кнопка для проверки индексации той или иной страницы в Яндексе. Подходит как для Google Chrome, так и для Mozilla Firefox (возможно, подойдет и для других браузеров). Страница букмарклета .

Программа YCCY

Замечательная и бесплатная программа для определения индексации списка страниц в Яндексе и Google. Есть и другие полезные функции, которые вы легко сможете изучить самостоятельно. Страница программы YCCY .

Наконец, определить наличие страницы в индексе Яндекса можно таким запросом в этом поисковике:

Url:http://www.адрес страницы | url:http://адрес страницы

Конечно, есть и другие способы проверки индексации страниц, я описал те, которыми пользуюсь.

Желаю вам хорошего настроения!

Десерт на сегодня - американский умелец сделал механического паука:

Здравствуйте, уважаемые друзья. Тема сегодняшнего поста – проверка индексации сайта, как ее ускорить. Данная проблема для меня очень актуальна, ибо уже неделю поисковики не хотят индексировать мой новый сайт под рекламную сеть Яндекса. Обо всем по порядку.

Индексация сайта в поисковых системах – что это?

Индексация сайта – это появление страниц сайта в индексе (базе данных) поисковой системы. Чем быстрее страницы появляются в поиске, тем лучше.

При создании сайта под РСЯ столкнулся с проблемой : индексация сайта в поисковых системах отсутствует. Изначально я умышленно закрыл его от посещений поисковыми роботами, чтобы провести все настройки, обновить дизайн, наполнить контентом.

После того, как все вышеуказанные работы были произведены, в субботу 22 июня сайт был открыт для индексации, составлен robots.txt и предприняты попытки вогнать его в индекс. Пока безуспешно. На календаре сегодня 25 июня.

Вопрос к опытным вебмастерам: какое время нужно для индексации нового сайта?

Вот что пишет мне Яндекс в панеле Вебмастера:


Как ускорить индексацию – теория и практика

Давайте разберемся с основными способами ускорения индексации сайта, так сказать в теории и на практике.

Составил карты сайта

Карту сайта формата xml и карту сайта для людей (html) я составил в первую очередь. Карту xml добавил в панель Вебмастера.

Составил правильный robots.txt

Второе, что я сделал – составил файл robots.txt.

Вот он, по-моему, правильный:

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Sitemap: http://сайт/sitemap.xml.gz

Sitemap: http://сайт/sitemap.xml

Естественно в последних трех строках адрес сайта был заменен на новый.

При проверке в Яндекс.Вебмастере любой страницы нового сайта результат индексации – разрешен.




Минутку внимания:)

Наверняка, Вам интересен дополнительный заработок в Интернете.
Предлагаю инструменты, которые несколько лет использую сам:


Постоянное обновление контента

Статьи тематические, уникальные, объемные, в общем все как Яндекс любит…

Руками осуществляю перелинковку, организован вывод похожих записей в конце поста.

Анонсы в социальных сетях

Анонсы с сайта под РСЯ идут только в твиттер. В другие социальные сети не публикую. Создал для этих целей специальный аккаунт, зафоловил 20 тематических профилей. К сожалению, мой аккаунт пока мало кто добавил к прочтению.

Но надеюсь, что боты поисковых систем твиттер мониторят активно.

Прогон

Как проверить индексацию – способы

Проверка индексации сайта – вопрос очень важный. Есть несколько несложных способов проверки.

Первое, что нам нужно сделать, — установить плагин SE Bots Log (скачать его можете ). Он показывает, сколько раз поисковые роботы посещают сайт за день.




Как видим, роботы посещают мой новый сайт. Это радует.

Но это, как показывает практика, еще не гарантирует того, что сайт есть в индексе.

Чтобы «не палить url» следующие способы проверки индексации сайта я покажу на примере блога сайт.

Поиск по сайту

Самый простой способ – зайти в ПС и в расширенном поиске указать то, что искать необходимо только внутри нужного сайта.

Пример: проверим индексацию страницы о в Яндекс.




Если вам лень настраивать расширенный поиск, можете применить следующую команду:

Ключевая фраза site:www.сайт

Данной командой вы можете посмотреть, какие страницы релевантны этой фразе на моем блоге, есть ли они вообще в индексе ПС.


Как видим, страница в индексе имеется.

Инструменты для Вебмастера

Следующим способом проверки индексации является использование средств Вебмастера. Давайте зайдем в Яндекс.Вебмастер и проверим все ту же страницу.


Как видим, и этот инструмент говорит нам о том, что страница находится в индексе.

Примечание: аналогично можно проверить индексацию страницы в гугле.

Специальные сервисы

Есть масса бесплатных и платных сервисов для проверки индексации. Можете использовать этот – достаточно удобный и функциональный.

Кроме этого есть мультисервисы для автоматического SEO-продвижения, например SeoPult , где есть функция проверки индексации страниц. Те, кто зарегистрирован, может в один клик проверить данный параметр. Подскажу, что сделать это можно на втором шаге создания проекта (шаг 2. Страницы), нажав на значок с лупой “Анализ”. Все четко видно: наличие в индексе текущей страницы и дата индексации.

Особенности проверки индексации в Seopult

Проблема: сайта нет в индексе

Итак, вернемся к теме поста. Помимо вопроса как проверить индексацию сайта, меня еще более интересует вопрос: почему собственно сайта нет в индексе.

В панеле Вебмастера написано, что индексация должна осуществиться в течение двух недель. Но с учетом того, что роботы есть на сайте, может ли она быть произведена быстрее? Или это только одному Яндексу известно?

Жду ваших мнений, советов и комментариев.

Сталкивались ли вы с проблемами индексации, какие способы применяли, чтобы «вогнать» сайт в индекс. Как долго боролись с поисковыми системами?

Не забудьте подписаться на обновления блога , чтобы узнать, как будет развиваться эта ситуация. К тому же очень скоро я анонсирую на страницах блога нечто очень интересное, полезное для каждого из вас.

Понравилась статья? Поделитесь ей