«Хотіли як краще…» або Чому частковий технічний аналіз шкодить сайту

Автор: Ганна Ярошенко, контент-стратег JetOctopus

Ваш сайт переживав SEO-апокаліпсис? Наш — так. Керуючись результатами часткового краулинга, SEO-шник видалив релевантний контент (30% сайту!). Наслідки були сумні: просадка трафіку і втрата позицій в результатах пошуку.

Частковий технічний аудит сайту марний та навіть небезпечний для сайтів. Чому? Читайте в нашій статті.

Частковий технічний аудит сайту небезпечніше, ніж здається

Наш перший бізнес — це сайт пошуку роботи Hotwork з п’ятьма мільйонами сторінок. Ми шукали можливість збільшення органічного трафіку і вирішили для прискорення процесу проаналізувати перші 200 тис. сторінок.

Краулинг показав нам наявність великої кількості сміттєвого автосгенерированного контенту. Ми зробили висновок про те, що на інших частинах сайту ситуація така ж, і тому видалили ці сторінки. А виявилося, що серед контенту було багато релевантних сторінок з високими позиціями в пошуку. Це наша критична помилка!

«Хотіли як краще...» або Чому частковий технічний аналіз шкодить сайту

Ми очікували, що краулинговый бюджет збільшиться, а отримали значне падіння SEO-трафіку. Тільки після того, як ми вручну перевірили кожен URL і повернули хороший контент, наш сайт повернув втрачені позиції в Google. Цей процес тривав 3 місяці. Ми втратили час і гроші, але отримали цінний досвід. Результати часткового технічного аналізу не можна відтворити на весь сайт.

Не повторюйте сумну долю “Титаніка”: величезний корабель затонув після зіткнення з айсбергом.

«Хотіли як краще...» або Чому частковий технічний аналіз шкодить сайту

З частковим аудитом ви бачите тільки вершину айсберга і недооцінюєте небезпека. Розглянемо на 2-х реальних прикладах як неповноцінний аналіз спотворює дані.

Ми просканували 1 тис. сторінок e-commerce сайту, хоча краулер знайшов більш 85 тис. URL-ів:

«Хотіли як краще...» або Чому частковий технічний аналіз шкодить сайту

Дивимося в розділ Доступність до індексації (Indexation). Частковий аналіз показав всього 4 проблеми з блокуванням сторінок і 15 з мовними версіями сайту (0,02 % від всіх сторінок):

«Хотіли як краще...» або Чому частковий технічний аналіз шкодить сайту

Тепер подивимося на результати краулинга всього сайту:

«Хотіли як краще...» або Чому частковий технічний аналіз шкодить сайту

Заблоковано від індексації понад 33 тисяч сторінок, майже 62 тисячі оптимізовані для мовних версій URL-ів. 52% сайту з технічних причин закриті для індексації і, відповідно, ранжирування. Зовсім інша картина, правда?

Подивимося на час завантаження сторінок. Частковий краулинг показує, що більше 60 % сайту грузиться довше 2 секунд, що є досить критичним.

«Хотіли як краще...» або Чому частковий технічний аналіз шкодить сайту

А якщо подивитися на дані краулинга всього сайту:

«Хотіли як краще...» або Чому частковий технічний аналіз шкодить сайту

Можна побачити практично протилежну картину: 67 % сайту вантажиться швидко. І по суті — жодної пожежі.

Проаналізувавши цю ситуацію, видно, що більшість сторінок з завантаженням більш 2 секунд знаходиться на верхніх рівнях сайту (DFI менше 3 рівня), куди встиг дістатися бот під час часткового краулинга.

«Хотіли як краще...» або Чому частковий технічний аналіз шкодить сайту

Якщо б ми проводили SEO на даних часткового краулинга, то в першу чергу побігли б оптимізувати швидкість завантаження, хоча пріоритетними є проблеми з індексацією. Погодьтеся, що якщо більше половини сайту заблоковано від пошукових ботів, 6% повільних сторінок — це дрібниці. Все ще вірите даними часткового аналізу?

Так не буває: частковий краулинг ефективний при рандомно вибірці URL-ів

Коли соціологи хочуть отримати правдиві результати дослідження, вони вибирають для опитування людей різного віку, статі та професій. Професор соціології Чуріков А. В. у статті про формування вибірки зазначає:

«Вибірка називається випадковою, якщо кожна людина (кожен представник сукупності) має відому недолугу ймовірність бути відібраними. Коріння цього визначення лежать в теорії ймовірностей, яка обґрунтувала вибіркові методи дослідження».

Випадкова вибірка — це самий надійний спосіб отримати неспотворені дані. Таким же чином працює і технічний аудит: ви можете відсканувати декілька сторінок і отримати релевантні результати, але як ви змусите запрограмований веб-краулер вибирати Url у випадковому порядку?

Веб-краулер працює на прописаних алгоритмах і не може рандомно вибирати сторінки для аналізу. Технопедия визначає «веб-краулер» так:

«Веб-краулер — це інтернет-бот, який допомагає індексувати сторінки. […] Краулер аналізує сторінки одну за одною, поки всі URL-и не будуть проіндексовані».

Давайте розберемося, як частковий аналіз може нашкодити сайту, на прикладі внутрішньої перелінковки. Веб-краулер починає сканувати сайт з головної сторінки по посиланнях переходить на наступні рівні.

Частковий аналіз перших 100 тисяч сторінок показує структуру. Але картина буде зовсім іншою на 5-10+ рівнях вкладеності сторінок.

«Хотіли як краще...» або Чому частковий технічний аналіз шкодить сайту

Ви можете зробити неправильні висновки про перелінковці на основі даних з перших рівнів (де, як правило, посилання проставлені коректно), але бот може знаходити більше і більше помилок на віддалених сторінках і знижувати із-за цього позиції сайту.

Зведення даних часткового аналізу — довгий і ризиковане заняття

Навіть якщо ваш сайт маленький, ви витрачаєте багато часу на зведення даних в єдину картину. Якщо ж ви краулите комерційний сайт з мільйонами сторінок, ви спочатку створюєте окремі сегменти сторінок, краулите ці частини, потім зводимо дані в Excel (намагаючись нічого не втратити) і після цього «радісного» процесу починаєте аналізувати звіт. Звучить не дуже заманливо, правда?

«Хотіли як краще...» або Чому частковий технічний аналіз шкодить сайту

Людський фактор також відіграє роль у спотворенні даних. Один SEO-шник буде ламати голову над зведенням даних кілька днів, так що це завдання доцільно доручити команді фахівців. Чим більше людей залучено в процес, тим більше фрагментів технічних даних втрачається.

Ви можете найняти SEO-шника генія, який впорається поодинці зі збором і обробкою даних часткового краулинга, але цей підхід неможливо масштабувати. Зведення даних вимагає максимальної концентрації, але з часом інтерес до монотонної роботи знижується.

В результаті ви витрачаєте час і ресурси, але все одно отримаєте спотворені результати аудиту.

Підводячи підсумки, можна сказати так: частковий технічний аналіз показує неповноцінні, спотворені дані. Будь ласка, не оцінюйте технічне SEO сайту, грунтуючись на результатах вибіркового аналізу — не повторюйте наших помилок.

Повноцінний технічний аудит — це навігатор до високих позиціях в пошуковій видачі. Якщо ви переїжджаєте на нову CMS, запускаєте новий дизайн або публікуєте блок свіжого контенту, проведіть SEO-аудит. Ви побачите всі технічні помилки на сайті і зможете поглянути на сайт «очима» пошукових роботів. Ви зрозумієте, як ваші оновлення сприймає пошукова система і порівняйте результати до і після змін. Ви будете точно розуміти ефективність кожного експерименту, і SEO-маркетинг в цілому, з гіпотези переросте в конкретну розуміємо науку.

По материалам: www.searchengines.ru