Skuteczność indeksowania: jak wyrównać optymalizację indeksowania

Nie ma gwarancji, że Googlebot zaindeksuje każdy adres URL, do którego ma dostęp w Twojej witrynie. Wręcz przeciwnie, w zdecydowanej większości witryn brakuje znacznej części stron.

W rzeczywistości Google nie ma zasobów, aby zaindeksować każdą znalezioną stronę. Wszystkie adresy URL wykryte przez Googlebota, ale jeszcze nie zindeksowane, a także adresy URL, które zamierza ponownie zindeksować, mają priorytet w kolejce indeksowania.

Oznacza to, że Googlebot indeksuje tylko te, które mają odpowiednio wysoki priorytet. A ponieważ kolejka indeksowania jest dynamiczna, stale się zmienia, gdy Google przetwarza nowe adresy URL. I nie wszystkie adresy URL dołączają z tyłu kolejki.

Jak więc upewnić się, że adresy URL Twojej witryny są adresami VIP i przeskoczyć linię?

Indeksowanie ma kluczowe znaczenie dla SEO

Aby treść była widoczna, Googlebot musi ją najpierw zindeksować.

Ale korzyści są bardziej zniuansowane, ponieważ im szybciej strona jest indeksowana, gdy jest:

• Utworzono , im szybciej nowa treść pojawi się w Google. Jest to szczególnie ważne w przypadku strategii dotyczących treści, które są ograniczone czasowo lub jako pierwsze na rynku.
• Aktualizacja , tym szybciej odświeżona zawartość może zacząć wpływać na rankingi. Jest to szczególnie ważne zarówno w przypadku strategii ponownego publikowania treści, jak i technicznych taktyk SEO.

W związku z tym indeksowanie jest niezbędne dla całego ruchu organicznego. Jednak zbyt często mówi się, że optymalizacja indeksowania jest korzystna tylko w przypadku dużych witryn.

Ale nie chodzi o rozmiar Twojej witryny, częstotliwość aktualizowania treści ani o to, czy masz wykluczenia „Odkryte – obecnie nieindeksowane” w Google Search Console.

Optymalizacja indeksowania jest korzystna dla każdej witryny. Błędne wyobrażenie o jego wartości wydaje się wynikać z bezsensownych pomiarów, zwłaszcza z indeksowania budżetu.

Budżet indeksowania nie ma znaczenia

Zbyt często indeksowanie jest oceniane na podstawie budżetu indeksowania. Jest to liczba adresów URL, które Googlebot będzie indeksować w określonym czasie w określonej witrynie.

Google twierdzi, że zależy to od dwóch czynników:

• Ograniczenie szybkości indeksowania (czyli tego, co może indeksować Googlebot): szybkość, z jaką Googlebot może pobierać zasoby witryny bez wpływu na wydajność witryny. Zasadniczo responsywny serwer prowadzi do wyższej szybkości indeksowania.
• Żądanie indeksowania (lub to, co Googlebot chce zaindeksować): liczba adresów URL odwiedzanych przez Googlebota podczas pojedynczego indeksowania na podstawie żądania (ponownego)indeksowania, na które wpływ ma popularność i nieaktualność treści witryny.

Gdy Googlebot „wyda” swój budżet na indeksowanie, przestaje indeksować witrynę.

Google nie podaje danych dotyczących budżetu indeksowania. Najbliżej jest pokazanie łącznej liczby żądań indeksowania w raporcie statystyk indeksowania Google Search Console.

Tak wielu SEO, w tym ja w przeszłości, zadało sobie wiele trudu, aby spróbować określić budżet indeksowania.

Często prezentowane kroki są czymś w rodzaju:

• Określ liczbę możliwych do zindeksowania stron w swojej witrynie, często zalecając sprawdzenie liczby adresów URL w mapie witryny XML lub uruchomienie nieograniczonego robota indeksującego.
• Oblicz średnią liczbę indeksowań dziennie, eksportując raport Statystyki indeksowania Google Search Console lub na podstawie żądań Googlebota w plikach dziennika.
• Podziel liczbę stron przez średnią liczbę indeksowań dziennie. Często mówi się, że jeśli wynik jest powyżej 10, skup się na optymalizacji budżetu indeksowania.

Proces ten jest jednak problematyczny.

Nie tylko dlatego, że zakłada, że ​​każdy adres URL jest indeksowany raz, podczas gdy w rzeczywistości niektóre są indeksowane wielokrotnie, a inne wcale.

Nie tylko dlatego, że zakłada, że ​​jeden indeks to jedna strona. Kiedy w rzeczywistości jedna strona może wymagać wielu indeksowań adresów URL, aby pobrać zasoby (JS, CSS itp.) Wymagane do jej załadowania.

Ale co najważniejsze, ponieważ kiedy jest sprowadzany do obliczonej metryki, takiej jak średnia indeksowania dziennie, budżet indeksowania jest niczym innym jak metryką próżności.

Każda taktyka mająca na celu „optymalizację budżetu indeksowania” (czyli dążenie do ciągłego zwiększania całkowitej liczby indeksowania) jest zadaniem głupca.

Dlaczego warto zwiększyć całkowitą liczbę indeksowań, jeśli jest on używany w przypadku bezwartościowych adresów URL lub stron, które nie zostały zmienione od czasu ostatniego indeksowania? Takie indeksowanie nie poprawi wydajności SEO.

Ponadto każdy, kto kiedykolwiek patrzył na statystyki indeksowania, wie, że zmieniają się one, często dość dziko, z dnia na dzień w zależności od dowolnej liczby czynników. Te wahania mogą, ale nie muszą korelować z szybkim (ponownym) indeksowaniem stron związanych z SEO.

Wzrost lub spadek liczby indeksowanych adresów URL nie jest z natury ani dobry, ani zły.

Skuteczność indeksowania to KPI SEO

W przypadku stron, które chcesz zindeksować, nie należy skupiać się na tym, czy zostały one zindeksowane, ale raczej na tym, jak szybko zostały zindeksowane po opublikowaniu lub znaczącej zmianie.

Zasadniczo celem jest skrócenie czasu między utworzeniem lub aktualizacją strony związanej z SEO a kolejnym indeksowaniem przez Googlebota. Nazywam to opóźnieniem skuteczności indeksowania.

Idealnym sposobem mierzenia skuteczności indeksowania jest obliczenie różnicy między datą i godziną utworzenia lub zaktualizowania bazy danych a kolejnym indeksowaniem adresu URL przez Googlebota z plików dziennika serwera.

Jeśli uzyskanie dostępu do tych punktów danych jest trudne, możesz również użyć jako serwera proxy daty ostatniej modyfikacji mapy witryny XML i adresów URL zapytań w interfejsie API inspekcji adresów URL w Google Search Console dla ostatniego stanu indeksowania (do 2000 zapytań dziennie).

Dodatkowo, korzystając z interfejsu API do sprawdzania adresów URL, możesz również śledzić zmiany stanu indeksowania, aby obliczyć skuteczność indeksowania dla nowo utworzonych adresów URL, co stanowi różnicę między publikacją a udanym indeksowaniem.

Ponieważ indeksowanie bez wpływu na stan indeksowania lub przetwarzanie odświeżania zawartości strony jest tylko marnotrawstwem.

Skuteczność indeksowania jest wskaźnikiem umożliwiającym podjęcie działań, ponieważ wraz z jego spadkiem, tym więcej treści o krytycznym znaczeniu dla SEO może być wyświetlanych odbiorcom w Google.

Możesz go również użyć do diagnozowania problemów z SEO. Przeanalizuj wzorce adresów URL, aby zrozumieć, jak szybko indeksowane są treści z różnych sekcji Twojej witryny i czy to właśnie ogranicza wydajność organiczną.

Jeśli zauważysz, że Googlebot potrzebuje godzin, dni lub tygodni na zaindeksowanie nowo utworzonej lub ostatnio zaktualizowanej treści, co możesz z tym zrobić?

7 kroków do optymalizacji indeksowania

Optymalizacja indeksowania polega na kierowaniu Googlebotem do indeksowania ważnych adresów URL szybko, gdy zostaną (ponownie) opublikowane. Wykonaj siedem poniższych kroków.

1. Zapewnij szybką, zdrową odpowiedź serwera

Bardzo wydajny serwer ma kluczowe znaczenie. Googlebot zwolni lub przestanie indeksować, gdy:

• Indeksowanie witryny ma wpływ na wydajność. Na przykład im więcej się indeksują, tym wolniejszy jest czas odpowiedzi serwera.
• Serwer odpowiada znaczną liczbą błędów lub przekroczenia limitu czasu połączenia.

Z drugiej strony poprawa szybkości ładowania strony, umożliwiająca wyświetlanie większej liczby stron, może prowadzić do indeksowania przez Googlebota większej liczby adresów URL w tym samym czasie. Jest to dodatkowa korzyść oprócz szybkości strony, ponieważ jest to wrażenia użytkownika i czynnik rankingowy.

Jeśli jeszcze tego nie zrobiłeś, rozważ obsługę protokołu HTTP/2, ponieważ umożliwia on żądanie większej liczby adresów URL o podobnym obciążeniu serwerów.

Jednak korelacja między wydajnością a objętością przeszukiwania jest tylko do pewnego punktu . Po przekroczeniu tego progu, który różni się w zależności od witryny, wszelkie dodatkowe wzrosty wydajności serwera prawdopodobnie nie będą korelować ze wzrostem indeksowania.

Jak sprawdzić stan serwera

Raport statystyk indeksowania Google Search Console:

• Status hosta: pokazuje zielone haczyki.
• Błędy 5xx: stanowią mniej niż 1%.
• Wykres czasu odpowiedzi serwera: trend poniżej 300 milisekund.

2. Oczyść zawartość o niskiej wartości

Jeśli znaczna ilość treści witryny jest nieaktualna, zduplikowana lub niskiej jakości, powoduje to konkurencję o indeksowanie, potencjalnie opóźniając indeksowanie nowej treści lub ponowne indeksowanie zaktualizowanej treści.

Dodaj do tego, że regularne czyszczenie treści o niskiej wartości zmniejsza również rozdęcie indeksu i kanibalizację słów kluczowych i jest korzystne dla wygody użytkownika, jest to oczywiste SEO.

Połącz treść z przekierowaniem 301, gdy masz inną stronę, która może być postrzegana jako wyraźny zamiennik; zrozumienie tego będzie kosztować podwojenie indeksowania w celu przetworzenia, ale jest to opłacalne poświęcenie dla kapitału łącza.

Jeśli nie ma równoważnej treści, użycie 301 spowoduje tylko miękkie 404. Usuń taką treść za pomocą kodu stanu 410 (najlepsza) lub 404 (bliska sekunda), aby dać silny sygnał, aby nie indeksować adresu URL ponownie.

Jak sprawdzić zawartość o niskiej wartości

Liczba adresów URL na stronach Google Search Console zgłasza wykluczenia „zindeksowane – aktualnie nieindeksowane”. Jeśli jest wysoki, przejrzyj dostarczone próbki pod kątem wzorców folderów lub innych wskaźników problemów.

3. Przejrzyj elementy sterujące indeksowaniem

Rel=linki kanoniczne są mocną wskazówką, aby uniknąć problemów z indeksowaniem, ale często są nadmiernie polegane i powodują problemy z indeksowaniem, ponieważ każdy kanonizowany adres URL kosztuje co najmniej dwa indeksowania, jedno dla siebie i jedno dla swojego partnera.

Podobnie dyrektywy robotów noindex są przydatne do ograniczania rozrostu indeksu, ale duża ich liczba może negatywnie wpłynąć na indeksowanie – więc używaj ich tylko wtedy, gdy jest to konieczne.

W obu przypadkach zadaj sobie pytanie:

• Czy te dyrektywy indeksowania są optymalnym sposobem radzenia sobie z wyzwaniem SEO?
• Czy niektóre trasy URL mogą być konsolidowane, usuwane lub blokowane w pliku robots.txt?

Jeśli go używasz, poważnie rozważ AMP jako długoterminowe rozwiązanie techniczne.

Dzięki aktualizacji jakości strony, która koncentruje się na kluczowych elementach witryny i włączeniu stron innych niż AMP do wszystkich środowisk Google, o ile spełniasz wymagania dotyczące szybkości witryny, dokładnie przyjrzyj się, czy AMP jest warta podwójnego indeksowania.

Jak sprawdzić nadmierne poleganie na elementach sterujących indeksowaniem

Liczba adresów URL w raporcie zasięgu Google Search Console podzielonych na kategorie w ramach wykluczeń bez wyraźnego powodu:

• Alternatywna strona z odpowiednim znacznikiem kanonicznym.
• Wykluczone przez tag noindex.
• Duplikat, Google wybrał inny kanoniczny niż użytkownik.
• Zduplikowany, przesłany adres URL nie został wybrany jako kanoniczny.

4. Powiedz robotom wyszukiwarek, co mają indeksować i kiedy

Niezbędnym narzędziem, które pomaga Googlebotowi ustalać priorytety ważnych adresów URL witryn i komunikować się, gdy takie strony są aktualizowane, jest mapa witryny XML.

Aby uzyskać skuteczne wskazówki dla robota, pamiętaj, aby:

• Uwzględniaj tylko adresy URL, które są zarówno indeksowalne, jak i wartościowe dla SEO – zazwyczaj 200 kodów statusu, kanoniczne strony z oryginalną treścią z tagiem robotów „indeksuj, śledź”, dla których zależy Ci na ich widoczności w SERP.
• Uwzględnij dokładne tagi sygnatury czasowej <lastmod> w poszczególnych adresach URL, a samą mapę witryny możliwie najbliżej czasu rzeczywistego.

Google nie sprawdza mapy witryny za każdym razem, gdy witryna jest indeksowana. Dlatego za każdym razem, gdy zostanie zaktualizowany, najlepiej zwrócić na niego uwagę Google. Aby to zrobić, wyślij żądanie GET w przeglądarce lub wierszu poleceń na adres:

Dodatkowo określ ścieżki do mapy witryny w pliku robots.txt i prześlij ją do Google Search Console za pomocą raportu map witryn.

Z reguły Google będzie indeksować adresy URL w mapach witryn częściej niż inne. Jednak nawet jeśli niewielki odsetek adresów URL w mapie witryny jest niskiej jakości, może to zniechęcić Googlebota do używania go do sugestii indeksowania.

Mapy witryn i linki XML dodają adresy URL do zwykłej kolejki indeksowania. Istnieje również kolejka indeksowania priorytetowego, dla której istnieją dwie metody wejścia.

Po pierwsze, w przypadku osób, które mają oferty pracy lub filmy na żywo, możesz przesłać adresy URL do interfejsu Google Indexing API.

Lub jeśli chcesz przyciągnąć wzrok Microsoft Bing lub Yandex, możesz użyć interfejsu IndexNow API dla dowolnego adresu URL. Jednak w moich własnych testach miało to ograniczony wpływ na indeksowanie adresów URL. Więc jeśli używasz IndexNow, pamiętaj, aby monitorować skuteczność indeksowania dla Bingbot.

Po drugie, możesz ręcznie zażądać indeksowania po sprawdzeniu adresu URL w Search Console. Pamiętaj, że dzienny limit wynosi 10 adresów URL, a indeksowanie może potrwać kilka godzin. Najlepiej jest postrzegać to jako tymczasową poprawkę podczas kopania, aby odkryć źródło problemu z indeksowaniem.

Jak sprawdzić niezbędne wskazówki dotyczące indeksowania Googlebota

W Google Search Console Twoja mapa witryny XML pokazuje stan „Sukces” i została niedawno przeczytana.

5. Powiedz robotom wyszukiwarek, czego nie mają indeksować

Niektóre strony mogą być ważne dla użytkowników lub funkcjonalności witryny, ale nie chcesz, aby pojawiały się w wynikach wyszukiwania. Zapobiegaj rozpraszaniu robotów przez takie trasy adresów URL za pomocą pliku robots.txt disallow. Może to obejmować:

• API i CDN . Na przykład, jeśli jesteś klientem Cloudflare, upewnij się, że nie zezwalasz na folder /cdn-cgi/, który jest dodawany do Twojej witryny.
• Nieistotne obrazy, skrypty lub pliki stylów , jeśli strony ładowane bez tych zasobów nie są znacząco dotknięte utratą.
• Strona funkcjonalna , np. koszyk na zakupy.
• Nieskończone przestrzenie , takie jak te tworzone przez strony kalendarza.
• Strony parametrów . Zwłaszcza te z nawigacji aspektowej, które filtrują (np. ?price-range=20-50), zmieniają kolejność (np. ?sort=) lub wyszukują (np. ?q=), ponieważ każda kombinacja jest liczona przez roboty jako oddzielna strona.

Pamiętaj, aby nie blokować całkowicie parametru paginacji. Podział na strony, który można przeszukiwać do pewnego momentu, jest często niezbędny, aby Googlebot mógł wykryć treść i przetworzyć wewnętrzną wartość linków. (Zapoznaj się z tym seminarium internetowym Semrush dotyczącym paginacji, aby dowiedzieć się więcej o tym, dlaczego.)

A jeśli chodzi o śledzenie, zamiast używać tagów UTM zasilanych parametrami (aka, „?”) używaj kotwic (aka, „#”). Oferuje te same korzyści raportowania w Google Analytics bez możliwości indeksowania.

Jak sprawdzić, czy Googlebot nie indeksuje wskazówek

Sprawdź w Google Search Console przykładowe adresy URL „Zindeksowane, nieprzesłane w mapie witryny”. Ignorując kilka pierwszych stron paginacji, jakie inne ścieżki znajdujesz? Czy należy je uwzględnić w mapie witryny XML, zablokować ich indeksowanie, czy pozostawić?

Przejrzyj również listę „Odkryte – obecnie nieindeksowane” – blokowanie w pliku robots.txt wszelkich ścieżek URL, które oferują Google niską lub zerową wartość.

Aby przejść na wyższy poziom, przejrzyj wszystkie indeksowania smartfonów Googlebot w plikach dziennika serwera pod kątem bezwartościowych ścieżek.

6. Wybierz odpowiednie linki

Linki zwrotne do strony są cenne dla wielu aspektów SEO, a indeksowanie nie jest wyjątkiem. Ale linki zewnętrzne mogą być trudne do zdobycia dla niektórych typów stron. Na przykład głębokie strony, takie jak produkty, kategorie na niższych poziomach w architekturze witryny, a nawet artykuły.

Z drugiej strony odpowiednie linki wewnętrzne to:

• Skalowalny technicznie.
• Potężne sygnały dla Googlebota, aby ustalić priorytety indeksowania strony.
• Szczególnie ma to wpływ na głębokie indeksowanie stron.

Okruszki chleba, powiązane bloki treści, szybkie filtry i użycie dobrze dobranych tagów to wszystkie istotne korzyści dla skuteczności indeksowania. Ponieważ są to treści krytyczne dla SEO, upewnij się, że takie wewnętrzne linki nie są zależne od JavaScript, ale raczej użyj standardowego, indeksowanego linku <a>.

Mając na uwadze takie linki wewnętrzne, należy również dodać rzeczywistą wartość dla użytkownika.

Jak sprawdzić odpowiednie linki

Uruchom ręczne indeksowanie całej witryny za pomocą narzędzia takiego jak pająk SEO firmy ScreamingFrog, szukając:

• Osierocone adresy URL.
• Linki wewnętrzne zablokowane przez plik robots.txt.
• Linki wewnętrzne do dowolnego kodu stanu innego niż 200.
• Odsetek wewnętrznie połączonych nieindeksowanych adresów URL.

7. Sprawdź pozostałe problemy z indeksowaniem

Jeśli wszystkie powyższe optymalizacje są zakończone, a skuteczność indeksowania pozostaje nieoptymalna, przeprowadź głęboki audyt nurkowania.

Zacznij od przejrzenia próbek wszystkich pozostałych wykluczeń z Google Search Console, aby zidentyfikować problemy z indeksowaniem.

Gdy te problemy zostaną rozwiązane, przejdź głębiej, korzystając z narzędzia ręcznego indeksowania, aby zaindeksować wszystkie strony w strukturze witryny, tak jak zrobiłby to Googlebot. Porównaj to z plikami dziennika zawężonymi do adresów IP Googlebota, aby dowiedzieć się, które z tych stron są indeksowane, a które nie.

Na koniec przejdź do analizy plików dziennika zawężonej do adresu IP Googlebota przez co najmniej cztery tygodnie danych, najlepiej więcej.

Jeśli nie znasz formatu plików dziennika, skorzystaj z narzędzia do analizy dzienników. Ostatecznie jest to najlepsze źródło informacji, w jaki sposób Google indeksuje Twoją witrynę.

Po zakończeniu audytu i uzyskaniu listy zidentyfikowanych problemów z indeksowaniem, uszereguj każdy problem według oczekiwanego poziomu nakładu pracy i wpływu na wydajność.

Uwaga : inni eksperci SEO wspomnieli, że kliknięcia z SERP zwiększają indeksowanie adresu URL strony docelowej. Jednak nie udało mi się tego jeszcze potwierdzić testami.

Nadaj priorytet skuteczności indeksowania przed budżetem indeksowania

Celem indeksowania nie jest uzyskanie największej liczby indeksowania ani wielokrotne indeksowanie każdej strony witryny, ale zachęcenie do indeksowania treści związanych z SEO jak najbliżej momentu utworzenia lub aktualizacji strony.

Ogólnie rzecz biorąc, budżety nie mają znaczenia. Liczy się to, w co zainwestujesz.

Opinie wyrażone w tym artykule są opiniami gościa i niekoniecznie Search Engine Land. Lista autorów personelu znajduje się tutaj.