Як перевірити індексацію сайту в Google?

Ви створили сайт — що далі? Щоб користувачі побачили його, сайт потрібно «показати» пошуковим системам — проіндексувати. І тільки після того, як пошукові системи додадуть контент вашого ресурсу в свою базу даних, можна застосовувати інструменти просування.

Індексація — це процес збору даних пошуковими роботами про все, що розміщується на сайті: про кількість сторінок, контенту, ключових слів й інше. Чим більше якісних сторінок буде проіндексовано, тим більше буде охоплення цільової аудиторії і відвідуваність. Якщо в індекс потрапляють не всі сторінки, це може говорити про проблеми у внутрішній структурі і / або наявності технічних помилок, які не дають можливості GoogleBot коректно просканувати і проіндексувати сайт. Як перевірити індексацію в пошукових системах, чому роботи можуть ігнорувати окремі сторінки і як це визначити, читайте в цьому огляді.

Зміст статті

Аналіз індексування в Google Search Console

У кожної пошукової системи є свій сервіс, який допомагає веб-майстрам в аналізі ефективності свого сайту в пошуковій видачі. У Google це Search Console. Вони дозволяють відслідковувати, які сторінки є в індексі, які ні, а також відправляти на індексацію нові пріоритетні сторінки.

Як перевірити індексування сайту в Google:

Зайдіть в Search Console . В панелі зліва натисніть «Додати ресурс» і вкажіть url сайту. Детальніше про те, як додати сайт в Google Search Console, читайте тут .

Що повинно бути у якісного сайту:

• Кількість індексованих сторінок має збігатися з кількістю сторінок сайту. Допускається незначна похибка.
• Кількість помилок має дорівнювати нулю.
• Стовпці, що показують кількість сторінок в базі пошукача, повинні мати горизонтальний або висхідний вигляд.
• У звіті «Вимкнено» немає важливих сторінок, які повинні бути в індексі пошукової системи.

В цьому випадку проблем з індексацією немає. Також тут можна подивитися історію індексації за 3, 6 і 12 місяців.

Якщо є помилки або сторінки потрапили в групу «Вимкнено», з індексацією проблеми — подивіться причини. Деякі сторінкові дані можуть тимчасово «зависнути» — робот їх уже переглянув (про що є повідомлення), але поки не проіндексував. Можливі причини: сторінка низької якості або має місце дублювання контенту.

Google Search Console дозволяє перевірити індексацію і окремої сторінки. У пошуковий рядок консолі вставте її url. Якщо з’явиться віконце із зеленою галочкою і відміткою «Сторінка відправлена ​​і проіндексована», проблем немає. Якщо вона ще не представлена ​​в індексі, галочка буде неактивна.

Хороший приклад індексації: кількість проіндексованих сторінок росте — лінія на графіку має рівний висхідний вигляд. Кількість помилок — нуль. Якщо на лінії графіка є просадки, зигзаги, лінія йде вниз — з індексацією є проблеми.

Перевірка індексації за допомогою документарних операторів

Сторінки, що потрапили в індекс, можна побачити, застосувавши документарний оператор «Site:». Вбийте його в пошуковий рядок і вкажіть повну адресу.

Приклад для Google:

Проіндексовано близько 294 000 сторінок. Зіставивши цю цифру з їх кількістю на сайті, можна приблизно оцінити повноту індексації. Невеликі розбіжності можуть бути через те, що частина нових сторінок ще не проіндексована і знаходиться на розгляді пошукових роботів. Великі розбіжності говорять про помилки. Якщо під час періодичної перевіраи розбіжність збільшується, можливі проблеми з індексацією.

У Google є додаткові інструменти для більш глибокого аналізу. Наприклад, можна подивитися скільки з’явилося в індексі нових сторінок за певний період часу.

Використання операторів дає лише приблизне уявлення про перевірку індексації. Добре, якщо кількість сторінок у Google збігається між собою. Якщо немає, як на скріні вище, потрібно шукати причини розбіжностей. Наприклад, є внутрішні помилки, які впливають на індексацію в пошукових системах.

Плагіни та букмарклети для перевірки індексування

Букмарклет — скрипт, який після налаштування зберігається в закладках браузера. Застосування плагінів і букмарклетів дозволяє прискорити процес перевірки сайту. Замість того щоб кожен раз забивати в пошуковий рядок браузера оператор і url, досить після налаштування плагіна запускати його із закладок на тому сайті, з якого потрібно отримати інформацію.

Приклади плагінів і скриптів: SEO-Tools, SEO-magic. З їх допомогою можна перевіряти:

• Кількість пройшовших індексацію сторінкових даних в Google. Частина скриптів працює і з іншими пошуковими системами.
• Індексування сайту або окремої сторінки.
• Аналіз семантики, коду, розподілу посилань.

Відмінність між плагінами в панелі управління, можливості кожного з них і в тому, який саме функціонал доступний у безкоштовній версії.

Програми, що дозволяють контролювати і перевіряти індексування сайту

Є платні і безкоштовні програми, які допомагають контролювати швидкість і етапи індексації. Відмінності між ними в функціоналі і постійному оновленні. Приклад безкоштовної програми — Site-Auditor. Допомагає оцінити рівень «популярності» сайту в пошукових системах, дає інформацію про зовнішні посилання та індексування.

Проблеми індексації сайту

У якісного сайту кількість проіндексованиз сторінок і їх загальне число повинне приблизно збігатися. І бажано в декількох пошукових системах одночасно. Допускається невелика розбіжність, що враховує сторінкові дані, що знаходяться на розгляді. Але якщо розбіжність висока, частина сторінок не індексується і не потрапляє в пошукову видачу — шукаємо помилки.

Основні помилки індексування і як їх виправити:

• Помилки в файлі robots.txt . Файл знаходиться в кореневому каталозі веб-сайту і містить основну інформацію про правила сканування сайту. У ньому можна вказувати сторінки, на які пошуковим роботам заходити не потрібно. Важливі сторінки, помилково, можуть бути закриті від сканування або неякісні документи відкриті для пошукових систем.
• Помилки або відсутність файлу sitemap.xml . Це документ, в якому знаходяться посилання на сторінки і який використовують роботи для отримання їх переліку. Про те, як правильно скласти карту, сформувати файл sitemap і вказати на нього посилання пошуковикам, можна знайти, наприклад, в документації Google .
• Проблеми з контентом. Сміттєві сторінки, що не несуть інформації, неунікальний контент, дублі, повільне завантаження контенту через «важких» зображень, помилки «404», однакові метатеги — це все потрібно виправляти або приховувати від індексації.
• Технічні помилки. Нестабільна робота хостингу, некоректні HTTP-заголовки, помилки кодування, помилки сканування. Знайти їх можна за допомогою спеціальних утиліт, іноді на помилки вказують і самі роботи.
• Сайт новий. Роботи в першу чергу перевіряють сайти, які вже закріпилися в ТОПі пошукової видачі і постійно оновлюються. До нових сайтів роботи доходять в останню чергу.
• Сайт дуже рідко оновлюється. Якщо на ньому нічого не змінюється роками (не додають і не змінюють контент) пошукові системи не будуть його часто сканувати.

Процес індексації нового сайту може займати більше місяця. Тому тут рекомендація одна — чекати, паралельно перевіряючи структуру на наявність технічних помилок, постійно оновлювати контент і розвивати кількість посилань бази. Якщо сайт існує давно — періодично перевіряйте графік індексації. З’явився спад, впала пошукова видача — шукайте помилки.

Способи щодо прискорення індексації сайту

Чим швидше буде проіндексовано контент пошуковими системами, тим швидше він потрапить в пошукову видачу і тим швидше його побачать користувачі. Про проблеми індексування ви можете прочитати тут .

Як прискорити індексування:

• Додавайте сайт і окремі сторінкові дані в пошукові системи через сервіси веб-майстрів — не чекайте, поки пошукові роботи самі знайдуть і проіндексирують їх. Додайте сайт в Google, потім дайте пошуковим системам посилання на карту сайту. Швидкість попадання у видачу залежить від різних факторів і може становити 1-3 тижні.
• Розміщуйте посилання на ваш сайт на інших ресурсах. Чим вище в пошуковій видачі знаходиться ресурс з посиланням, тим швидше на нього звернуть увагу пошукові роботи і тим швидше додадуть сайт в індекс. Наприклад, роботами з великою частотою на предмет оновлення контенту перевіряються новинні портали. Розміщення на їхніх сторінках вашого посилання дозволить пройти індексацію протягом 1-3 днів.
• Регулярно додавайте і оновлюйте контент. Один з методів SEO-просування полягає в складанні семантичного ядра, що охоплює ключові запити за тематикою сайту. Постійне додавання нових сторінок з унікальним текстовим і відео контентом, заточеним під ключові слова семантичного ядра, підвищують до сайту інтерес з боку пошукових роботів. Чим більше контенту, ніж краще він структурований і чим частіше він оновлюється, тим частіше заходять на сайт роботи та тим швидше проходить індексація.
• Перелінковуйте сторінки між собою. У внутрішнього перелінкування є два плюси. Роботи по внутрішнім посиланням швидше переходять на інші сторінки сайту, тим самим швидше їх індексуючи. Користувачі, переходячи по лінках, відвідують більшу кількість сторінок, піднімаючи сайт в пошуковій видачі.
• Задіюйте соціальні мережі для просування нового контенту. Додавайте посилання, залучайте на нові сторінки користувачів — так ви зможете швидше привернути увагу роботів і додати контент в пошук.

Завдання вебмастера — підвищити авторитетність сайту в очах пошукових роботів, оптимізувати контент і посилання.

Довідковий розділ Google

Тут ви знайдете базову інформацію про те, як працювати з сервісами веб-майстрів і оптимізувати індексацію.

Тут є загальні відомості про індексування, управління файлами sitemap й інше.

Шість способів перевірити індексацію сайту чи сторінки

Щоб вебсайт відображався в результатах пошуку, всі його сторінки, відкриті для індексації, повинні стати частиною індексу пошукової системи. Якщо системі не вдається додати сторінки сайту в базу даних — вони залишаються практично невидимими для потенційних клієнтів.

Пропоную розглянути 6 способів перевірки індексації. З’ясуємо, чому пошукові системи не індексують сайт, знайдемо шляхи вирішення проблем.

• Як працює індексація сайту?
• Перевірка в Google Search Console.
• Як перевірити індексацію конкретної сторінки у Search Console?
• Аналіз індексації сайту в Google пошуку.
• Перевірка індексації онлайн за допомогою сервісів.
• SEO-інструменти для перевірки сайтів.
• Букмарклети.
• Індексатор Google Indexing API.
• Чому Google не індексує сайт?
• Як прискорити індексацію сайту?
• Як керувати краулінговим бюджетом?

Як працює індексація сайту?

На перший погляд може здатися, що сканування та індексація — два дуже схожі процеси. Вони справді тісно взаємопов’язані, але є різними етапами обробки сайту пошуковими системами.

Сканування — процес пошуку сторінок для подальшої обробки та індексації.

Індексація — процес додавання просканованої сторінки в базу даних (індекс) пошукової системи. Таким чином, при релевантному запиті користувача сторінка з’явиться в результатах пошуку:

Важливо. Сканування сайту не означає його індексацію. А потрапляння сайту до індексу пошукової системи не гарантує перших позицій пошукової видачі, оскільки порядок відображення сторінок за ключовим запитом визначає ранжування.

Як перевірити сайт на індексацію

Проіндексовано — отже видно. Дуже важливо, щоб усі сторінки, які потрібно показати потенційним клієнтам, користувачам чи читачам, проіндексувалися. Інакше може статися так: товар чи послуга найкращі на ринку, стаття повністю розкриває суть питання, але якщо сторінки вашого сайту відсутні в індексі пошукової системи — про це ніхто не дізнається.

Саме тому важливо вміти перевіряти індексацію.

1. Перевірка в Google Search Console

Це один із базових способів перевірки індексації для власника сайту та вебмайстра.

Увійдіть до вашого облікового запису на Search Console і перейдіть по вкладці «Сторінки» в розділі «Індексування»:

У цьому звіті ви знайдете загальну інформацію — проіндексовані та непроіндексовані сторінки з відображенням на часовій шкалі:

Перейшовши в повний звіт, побачите докладні дані про всі сторінки, перевірені на індексацію:

Щоб переглянути звіт про неіндексовані сторінки та помилки індексації, поверніться до розділу «Індексування сторінок»:

Клікнувши на ліву колонку «Причина», можна побачити списки сторінок сайту, недоступних до індексації:

Як перевірити індексацію конкретної сторінки у Search Console?

Вставте посилання на сторінку, що вас цікавить, у рядок пошуку Search Console:

В результаті перевірки побачите одне з таких повідомлень:

Якщо ви внесли всі необхідні зміни, але сторінка все ще відсутня в індексі, надішліть запит на пересканування самостійно:

Цей спосіб можна використовувати для прискорення індексації нових сторінок сайту — але не більше 10 на день.

При скануванні одразу кількох сторінок рекомендується застосовувати файл Sitemap.

2. Аналіз індексації сайту в Google пошуку

Пошукові оператори (наприклад, «site:») допомагають уточнити результати пошуку.

Щоб дізнатися про наявність вашого сайту в індексі Google, наберіть у рядку пошуку «site:[url вашого сайту]»:

Для перевірки індексації конкретної сторінки використовуйте оператор у форматі «site:[url сторінки вашого сайту]»:

Якщо сайт або сторінка успішно проіндексовані, вони відобразяться у результатах пошуку. З’явиться інформація про приблизну кількість сторінок вашого сайту, що індексувалося пошуковою системою:

Крім того, інструменти пошуку можуть проаналізувати кількість сторінок, індексованих пошуковою системою за певний період часу:

3. Перевірка індексації онлайн за допомогою сервісів

Існує велика кількість безкоштовних онлайн-сервісів для контролю за індексацією сайту, таких як linkody.com або smallseotools.com. Їхній недолік — ліміти: від 5 до 50 сторінок.

Однак, якщо ваш сайт підключено до Google Search Console, за допомогою нового інструменту від Serpstat можна за один запит перевірити індексацію до 100 сторінок.

1. Натисніть кнопку «Підключити Google Search Console» і увійдіть до сервісу за допомогою облікового запису Google:

1. Після авторизації у верхній лівій частині сторінки побачите список усіх сайтів, до яких у вас є доступ за допомогою Google Search Console:

1. Введіть до 100 URL-адрес для перевірки індексації сайту та натисніть кнопку «Перевірити сторінки». У правій частині сервісу з’являться результати цієї операції.

4. SEO-інструменти для перевірки сайтів

Спеціальні програми, призначені для сканування та аналізу основних параметрів сайту для виявлення помилок, можуть також перевіряти індексацію.

При скануванні сайту в Netpeak Spider ви отримаєте список сторінок та значення параметрів, що впливають на індексацію сайту: robots.txt, canonical, mета robots, X-Robots-Tag, наявність редиректів та ін.:

Завантаживши отриманий список у Netpeak Checker, можна перевірити наявність сторінки або сайту у пошуковій видачі:

5. Букмарклети

Букмарклети (невеликі javascript-програми, які зберігаються як браузерні закладки) — автоматизований варіант перевірки.

Щоб скористатися букмарклетом, відкрийте файл Перевірка індексації та перетягніть посилання на панель закладок:

Потім знайдіть сторінку, яка вас цікавить, або сайт і просто натисніть на закладку. З’явиться нова вкладка Google із пошуковим запитом, використанням уточнюючого оператора «site:» та результатами індексації на запит.

6. Індексатор Google Indexing API

Google Indexing API — це безкоштовний індексатор від Google, за допомогою якого можна:

• дізнатися, коли останній раз Google отримував інформацію за визначеною URL-адресою;
• надіслати запит на переіндексацію сторінки;
• надіслати запит на видалення сторінки з індексу.

Важливою перевагою Google Indexing API є можливість пакетних запитів індексування, об’єднаних в один HTTP (до 100 штук). На день можна використовувати не більше 200 запитів, але якщо на ваших сторінках впроваджено розмітку JobPosting або BroadcastEvent — ви можете подати заявку на збільшення квоти.

Докладніше про квоти індексатора та його підключення читайте у довідці Google.

Чому Google не індексує сайт?

1. Новий сайт. Залежно від кількості сторінок, повна індексація нового сайту може зайняти в Googlebot від одного тижня до 2-4 місяців.
2. Примусове закриття сторінок від індексації.

Тег noindex забороняє індексування сторінок пошукової роботи. Для виключення проблем, викликаних неправильним застосуванням тега noindex, необхідно перевірити такі директорії:
Метатег robots
Розміщується в коді HTML і діє у межах сторінки. Приклад метатегу robots, що забороняє сканування —

X-Robot-Tag
Є HTTP заголовком, розміщується у файлі конфігурації сервера. Приклад X-Robot-Tag, що забороняє сканування —
X-Robots-Tag: noindex, nofollow
Файл robots.txt
За допомогою robots.txt неможливо керувати безпосередньо індексацією сайту, але неправильна конфігурація цього файлу може призвести до повного закриття для сканування пошуковими роботами.
Рядок в robots.txt, що повністю закриває сайт від сканування —
User-agent: * Disallow: /

1. Неправильне використання тега canonical. Тег canonical застосовується для боротьби з контентом, що дублюється, який також може бути однією з причин поганої індексації сайту. Він вказує пошуковому роботу на характерну версію сторінки. При скануванні URL-адреса, вказана в тезі canonical, буде сприйнята Googlebot як основна версія серед схожих за змістом сторінок.

Крім налаштувань, які безпосередньо обмежують або забороняють сканування сайту, варто відзначити такі фактори, що негативно впливають на швидкість індексації:

• Відсутність картки сайтуsitemap.xml. Вона допомагає пошуковим роботам зрозуміти його структуру та швидше просканувати сторінки.
• Відсутність чи недостатність внутрішніх посилань. Правильне та рівномірне перелінкування на сайті розподіляє вагу сторінок, а додавання посилань на нові сторінки сайту, а також сторінки, які вже знаходяться в індексі, допомагає пошуковим системам швидше знаходити їх.
• Швидкість роботи сайту. Googlebot не перебуває на сайті постійно. Він лише періодично сканує контент сторінок. Повільне завантаження сайту ускладнює його індексацію та роботу алгоритмів пошукового робота.
• Якість контенту. Останні оновлення пошукової системи Google передбачають покращення якості контенту та створення авторитетних матеріалів — насамперед для людей, а не для маніпуляції алгоритмами пошуку. При оцінці якості контенту вашого сайту Google враховує наявність орфографічних помилок, достовірність інформації, оригінальність та інші фактори. Докладніше про створення корисного контенту можна дізнатися у довідці Google.
• Відсутність оптимізації мобільної версії. Для нових сайтів, створених після 1 липня 2019 року, Google використовує метод індексації Mobile-First index, що віддає перевагу індексації мобільної версії сайту. Таке рішення компанії викликано тим, що вже в 2016 році більше половини запитів до Google надходили з мобільних пристроїв.
• Ігнорування помилок у Google Search Console. Перегляньте звіт про помилки в пошуковій консолі Google. Подивіться, які зі знайдених помилок впливають на індексацію сайту та усуньте їх. Також перевірте, чи не піддавався ваш сайт ручним санкціям. Можливо, його доменне ім’я раніше обмежувалось у зв’язку з порушенням правил Google.

Як прискорити індексацію сайту?

Можливості Googlebot щодо сканування сайту обмежуються краулінговим бюджетом — лімітом на перевірку сторінок за один візит. Дізнатися про приблизний краулінговий бюджет вашого сайту можна у Search Console (розділ «Індексація») — перегляньте звіт щодо кількості сторінок, оброблених за місяць пошуковою системою:

Краулінговий бюджет змінюється за визначенним пошуковою системою алгоритмом: залежно від розміру сайту, швидкості його роботи та потреб. Якщо виявлено багато помилок або сміттєвих сторінок, бюджет може витрачатися швидше.

Чинники, які негативно впливають на краулінговий бюджет:

• дублі сторінок;
• неунікальний контент;
• биті посилання;
• дуже велика кількість редиректів;
• повільна швидкість роботи сайту.

Як керувати краулінговим бюджетом?

Крім фактичного управління краулінговим бюджетом за допомогою індексатора Google Index API, зменшити його витрати можна за допомогою технічної оптимізації та покращення якості контенту.

Файл sitemap.xml.
Перевірте вміст XML-карти сайту, переконайтеся, що всі вказані в ній сторінки відкриті до індексації та дають код відповіді серверу 200, встановіть автоматичне додавання нових сторінок (відкритих до індексації) у файл sitemap.xml.

Дата зміни сторінки.
Налаштуйте HTTP заголовки Last-Modified та If-Modified-Since, щоб вказати Googlebot на сторінки, контент яких не змінився з його останнього відвідування (вони не потребують повторного сканування).

Оптимізація швидкості завантаження сайту.
Час відповіді сервера не повинен перевищувати 200 мс, а швидкість завантаження сторінки — 3-5 секунд. Перевірте швидкість роботи сайту за допомогою PageSpeed Insights, оптимізуйте сторінки, виходячи з рекомендацій.

Редиректи та биті сторінки.
Не допускайте велику кількість редиректів та битих сторінок на сайті. В іншому випадку, замість відвідування нового контенту, Googlebot витрачатиме свій краулінговий бюджет на переходи по непрацюючих позиціях.

Оптимізація перелінкування.
Додати посилання на новий контент на головну сторінку сайту, виведіть прев’ю анонсу недавніх статей, покажіть новинки товарів. Організуйте перелінкування між старими та свіжими матеріалами, розмістіть посилання на нові сторінки в соцмережах — це допоможе пошуковому роботу швидше їх знайти та просканувати.

Частота оновлення сайту.
Пошукові системи віддають перевагу актуальній та якісній інформації. Регулярно оновлюйте вміст свого сайту, додавайте новий контент не рідше одного разу на тиждень, актуалізуйте та доповнюйте інформацію на старих сторінках.

Запам’ятати

Шість способів самостійно перевірити індексацію сайту чи сторінки:

1. У Google Search Console.
2. За допомогою операторів пошуку.
3. Онлайн-сервіси.
4. SEO-інструментами, наприклад, Netpeak Spider або Netpeak Checker.
5. Використовуючи букмарклети.
6. Google Indexing API.

Для покращення індексації сайту:

1. Налаштуйте та оптимізуйте карту сайту sitemap.xml.
2. Перевірте налаштування файлу robots.txt та використання тега noindex.
3. Слідкуйте за кількістю редиректів та наявністю битих сторінок.
4. Працюйте над перелінкування сайту.
5. Поліпшіть швидкість завантаження сторінок.
6. Створюйте якісний контент і регулярно працюйте над його оновленням та покращенням.
7. Оптимізуйте витрачання краулінгового бюджету.
8. Не забувайте про мобільну версію сайту.
9. Регулярно вивчайте звіти про помилки в Google Search Console.

В команді SEO Netpeak із серпня 2022 року. Зараз Junior SEO Specialist у Netpeak Agency. Зацікавилася SEO після відвідування заходів і курсів від Netpeak і з того моменту мріяла стати частиною команди.