Aby sa vaše stránky zobrazili vo výsledkoch vyhľadávania, musí ich Google najskôr zaindexovať. Teória je jasná, no v praxi to nie je vždy také jednoduché. V článku vám odpovieme na tri základné „čo“: čo je indexácia, čo môže spôsobovať problémy s indexáciou obsahu a hlavne, čo s tým ďalej?

Existujú rôzne scenáre, s ktorými sa v praxi môžete stretnúť:

  1. Google neindexuje celú webovú stránku,
  2. Google indexuje len časť z dôležitých stránok, ktoré sa na webe nachádzajú,
  3. Google neindexuje konkrétnu obsahovú sekciu,
  4. Google neindexuje nový obsah webu dostatočne rýchlo.

Nech už je scenár akýkoľvek, výsledok je vždy rovnaký. Neindexované stránky nie sú návštevníkmi dohľadateľné cez vyhľadávače a ich organická návštevnosť je tak zvyčajne nulová. A to môže byť problém.

Ak chcete tento problém vyriešiť, je dobré najskôr pochopiť, čo indexácia je, a ako funguje.

Čo je indexácia?

Indexácia je proces, pri ktorom Google ukladá stránky do svojej obrovskej virtuálnej databázy – indexu. Tieto stránky tak môže používateľom zobrazovať vo výsledkoch vyhľadávania. 

Ako indexácia funguje?

Celý proces začína tzv. crawlovaním. Googleboti prechádzajú internet a jednotlivé webové stránky, na ktoré pri prehliadaní narazia. Keď Googlebot narazí na akúkoľvek stránku, zhromaždí o nej potrebné informácie a snaží sa čo najlepšie porozumieť jej obsahu. Všetky tieto informácie potom ukladá do už spomínaného indexu. Vďaka tomuto procesu si Google neustále aktualizuje svoju databázu o nové a nové stránky, a drží si prehľad o zmenách či úpravách, ktoré sa na jednotlivých stránkach vykonali. Teda snaží sa o to. 

Google však neodhalí na internete všetko. Dôvody, prečo neodhalil napríklad vaše stránky, môžu byť rôzne, a ešte si o nich bližšie povieme.

Po indexácii nasleduje už len posledný krok. Keď zadáme do vyhľadávania kľúčové slová, vyhľadávače z indexu vyberú stránky, ktoré sa zobrazia v SERP-e. Samozrejme, nie náhodne. Google sa ich snaží zoradiť tak, aby sme ako prvé videli tie najrelevantnejšie a najlepšie výsledky. 

Ako zistíte, či sú vaše stránky zaindexované?

Existuje viacero jednoduchých spôsobov a ukážeme si hneď niekoľko z nich. Tu je prvý:

1. Otvorte si vyhľadávač Google.

2. Do vyhľadávača zadajte výraz „site:“, URL vášho webu a stlačte enter.

3. Vďaka číslu naľavo zistíte, približne koľko vašich stránok je indexovaných (je to číslo dostatočne vysoké?).

Koľko stránok Google indexuje

4. Rovnaký postup môžete aplikovať, ak chcete zistiť, či je v indexe konkrétna URL adresa.

Koľko stránok Google indexuje

5. Ak sa žiadne výsledky nezobrazia, znamená to, že daná stránka nie je indexovaná.

Dobrým pomocníkom môže byť bezplatný nástroj Google Search Console (ak ho používate). Postup je opäť veľmi jednoduchý, po prihlásení sa kliknite na „Coverage“ alebo po slovensky „Pokrytie“ na ľavom paneli:

Coverage v Google Search Console

Hneď navrchu uvidíte štyri kategórie a v nich čísla, ktoré zobrazujú konkrétny počet URL. Čo jednotlivé kategórie znamenajú?

  • Valid alebo platné: dané URL adresy sú indexované. 
  • Valid with warnings alebo platné s upozorneniami: tieto stránky sú tiež v indexe, no vyskytol sa pri nich problém.
  • Error alebo chyba: dané URL adresy nie sú indexované kvôli chybe.
  • Excluded alebo vyňaté: tieto stránky sa Google zámerne rozhodol neindexovať.

Kategórie problematických URL adries ďalej analyzujte. Kliknutím sa vám zobrazia detailnejšie informácie aj s odporúčaniami od Googlu. 

Zaujíma vás opäť len konkrétna URL adresa? V tom prípade:

1. Do vyhľadávacieho poľa úplne navrchu vložte URL a stlačte enter. 

2. Chvíľu počkajte, kým Google danú URL skontroluje.

URL inspection

3. Ak je stránka indexovaná, zobrazí sa: „URL is on Google”.

URL inspection

4. A čo znamená „URL is not on Google“, je už asi jasné. Ak daná URL adresa nie je indexovaná, zobrazí sa práve táto informácia. 

V pravom rohu Google Search Console ponúka možnosť „Request indexing“. Takýmto spôsobom môžete Google požiadať, aby danú URL zaindexoval, napríklad, keď vypublikujete nový článok na blogu alebo iný obsah na webe. V boji proti veľkému množstvu neindexovaných URL adries vám ale toto tlačidlo nepomôže. 

Musia byť všetky stránky v indexe?

Nie, nemusia. Ak ste pri kontrole narazili na neindexované stránky webu, nemusí to byť vždy chyba. V indexe totiž nemusia byť všetky do jednej. Napokon, nie všetky sú toho hodné a nie pri všetkých je záujem, aby boli návštevníkmi dohľadateľné cez vyhľadávače (napríklad administrácia alebo stránka s prihlásením). Niekedy dokonca sami usmerňujeme vyhľadávače v tom, čo majú prehliadať a indexovať, teda zobrazovať vo výsledkoch vyhľadávania. Šetríme tým okrem iného aj crawl budget, teda kapacity, ktoré si na nás boti vyhradia.

Problémom je, ak sa v indexe nenachádzajú dôležité stránky. Tie, ktoré majú potenciál sa zobrazovať vo vyhľadávačoch na vyhľadávané dopyty. Vtedy je dobré problém čo najskôr riešiť.

Čo môže spôsobovať problémy s indexáciou?

Existuje viacero dôvodov, prečo Google vaše stránky neindexuje. Pozrieme sa na niekoľko z nich:

Zakázané prehliadanie stránky v súbore robots.txt

Dajte si pozor, aby súbor robots.txt nezakazoval googlebotom prehliadanie celého webu alebo stránok, ktoré chcete, aby boli prístupné.

Súbor robots.txt skontrolujete jednoducho, zadajte do vyhľadávania: názovdomény.sk/robots.txt.

User-agent: *

Disallow: /

Ak sa za príkazom disallow nachádza lomka, znamená to, že súbor blokuje prehliadanie všetkých stránok na vašej doméne. Googlebot sa na ne nedostane, a tým pádom stránku nezaindexuje.

User-agent: *

Disallow: 

V tomto prípade majú vyhľadávače povolené prehliadanie všetkých stránok na webe bez akéhokoľvek obmedzenia. 

Pomocou príkazu disallow môžeme ďalej nastaviť prístupové práva pre botov a zakázať im tak prechádzanie niektorých častí webu. V konečnom výsledku to môže vyzerať napríklad takto:

User-Agent: *

Disallow: /cgi-bin/

Disallow: /v3/

Disallow: /dev/

Disallow: /images/20/

Disallow: /*/feed

Disallow: /*/feed/rss

Disallow: /tag/

Disallow: /thank-you-for-subscribing

Disallow: /confirmed$

Disallow: /confirmed?

 

Sitemap: https://www.domena.sk/sitemap.xml

Ak sa už nejaké disallow príkazy vo vašom robots.txt súbore nachádzajú, dôkladne ich skontrolujte, a tie nežiadúce odstráňte. Na konci súboru robots.txt odporúčame umiestniť súbor sitemap.xml pre lepšie indexové prehľadávanie.

Nesprávne nasadené meta značky noindex a nofollow

Pomocou meta značiek index a follow, resp. noindex a nofollow, usmerňujeme vyhľadávače v tom, čo majú prehliadať a indexovať, teda zobrazovať vo vyhľadávačoch. Pri tých stránkach, s ktorými nechceme, aby sa Googlebot zdržoval, uvádzame v head sekcii HTML kódu nasledovné:

<meta name=“robots“ content=“noindex, nofollow“>

Ak niektorú z vašich stránok Google neindexuje, môže sa stať, že má práve označenie noindex a nofollow.

V nástroji Google Search Console, v časti Coverage > Excluded môžete nájsť zoznam stránok, ktoré majú označenie noindex. Nájdete ich pod kategóriou „Excluded by ‘noindex’ tag”. Odporúčame daný zoznam skontrolovať a uistiť sa, či je značka noindex všade nasadená správne.

Coverage excluded

Pre identifikáciu stránok označených ako noindex je ešte lepším nástrojom Screaming Frog SEO Spider.

Dajte si tiež pozor na protichodné noindex a index tagy v HTML head sekcii a X-Robots-Tag HTTP hlavičke. Problém nastane, ak je stránka v head sekcii označená ako index, no HTTP header odosiela noindex.

Chybná kanonizácia URL

Ak má určitá skupina stránok totožný alebo veľmi podobný obsah, je možné pomocou kanonizácie označiť jednu preferovanú, ktorú by mali vyhľadávače považovať za hlavnú. Kanonizácia je zvyčajne potrebná tam, kde je/sú:

  1. Filter alebo zoradenie produktov, pričom sa mení URL adresa. 
  2. Rôzne variácie toho istého produktu (pričom nie je po nich špecifický dopyt).
  3. Parametre v URL špecifické pre sledovanie správania sa používateľa na stránke (URL adresy s rôznymi UTM parametrami).

Kanonizácia sa nastavuje v head sekcii duplicitnej podstránky pomocou nasledovného tagu:

<link rel=“canonical“ href=“https://www.domena.sk/kanonicka-podstranka“ />

Ďalším dôvodom, prečo niektorá z vašich stránok nie je indexovaná, tak môže byť práve nesprávne nasadenie canonical tagu. Toto označenie na konkrétnej stránke skontrolujte a v prípade potreby ho zmeňte. 

Absentuje súbor sitemap.xml

Sitemap je súbor vo formáte XML, ktorý obsahuje dáta o špecifických typoch obsahu na webe. Informuje vyhľadávače o všetkých URL, ktoré sú určené k prechádzaniu a indexácii. Bez sitemapy sa vyhľadávače síce zaobídu, no prehliadanie im zaberie oveľa viac času a námahy.

Tento súbor preto odporúčame na stránke vytvoriť, nie je to vôbec náročné. Mnohé CMS majú túto funkcionalitu zabudovanú, prípadne si mapu stránok môžete jednoducho vygenerovať prostredníctvom množstva online nástrojov a pluginov.

Ak sa chcete dozvedieť viac o mape stránok a o tom, ako ju vytvoriť, prečítajte si detailný článok o sitemape od kolegu Jána Andrejka.

V prípade, že už máte sitemapu vytvorenú, skontrolujte, či je aktuálna, a či sa v nej nachádzajú všetky dôležité adresy. Odporúčame ju tiež nahrať do Google Search Console, v časti „Sitemaps“.

Slabé interné prelinkovanie

Vnútorné prelinkovanie tvoria odkazy smerujúce z jednej stránky na druhú v rámci rovnakej domény. Užitočné sú nielen pre návštevníkov, ale aj pre botov vyhľadávača, ktorým uľahčujú orientáciu na webe. Základom je, aby na každú stránku na webe smeroval odkaz. Inak sa boty medzi stránkami zorientujú len ťažko.

Existuje niekoľko typov interných odkazov, tým najzákladnejším je menu. Dajte si pozor, aby funkčnosť menu nebola závislá od JavaScriptu, keďže nie všetky vyhľadávacie boty vedia JavaScript správne čítať.

Tiež skontrolujte, či vaše interné odkazy nie sú označené ako rel=“nofollow“, Google by sa s nimi totiž nemusel nezaoberať.

V prípade neindexovaných stránok môže tiež pomôcť, ak ich prelinkujete z tých stránok, ktoré už v indexe sú. Ideálne je, ak na to použijete obzvlásť dobre optimalizované a výkonné stránky, tie má Google tendenciu prehľadávať častejšie.

Slabé externé prelinkovanie

Linkbuilding, čiže budovanie spätných odkazov, je ďalšia ťažisková SEO aktivita. Primárnym cieľom je zlepšiť umiestňovanie stránky vo výsledkoch vyhľadávania na preferované kľúčové frázy a zvýšiť tak organickú návštevnosť. 

Navyše, vďaka silným externým odkazom sa Googlebot môže rýchlejšie dostať na naše stránky a zaindexovať ich. Totiž, ak na nás niekto autoritatívny odkazuje, prakticky hovorí, že sa na našej stránke nachádza obsah dôležitý pre používateľov. A presne také stránky Google vyhľadáva a chce používateľom zobrazovať.

Spätné odkazy vznikajú aj prirodzene, linkbuilding by mal celý tento proces viac podporiť. Ak sa o získavaní spätných odkazov chcete dozvedieť viac, prečítajte si podrobný článok od Jančiho Andrejku: SEO v roku 2021: Ako na linkbuilding. 

Nedostatok kvalitného a unikátneho obsahu

Stránky s nedostatkom kvalitného a unikátneho obsahu sa Google neunúva zaindexovať. Samotným cieľom vyhľadávačov je totiž prinášať také výsledky vyhľadávania, ktoré čo najlepšie uspokoja potreby používateľov. Aj preto je dôležité mať na webe kvalitný a jedinečný obsah, ktorý ukáže vyhľadávačom aj návštevníkom, že je váš web pre nich relevantný. 

Odporúčame preto poskytovať používateľom určitú pridanú hodnotu. Čo to vlastne znamená? Ponúknete mu napríklad užitočné tipy, kvalitné informácie, odpovede na otázky alebo riešenie jeho problému. 

Dajte si tiež pozor na duplicitný obsah – teda obsah, ktorý sa zobrazuje na viac ako jednej URL bez žiadnej alebo výraznejšej zmeny. Riešením môže byť nastavenie kanonizácie alebo napísanie unikátneho obsahu.

Nazrite aj do Google Search Console > Coverage > Excluded. Ak narazíte na „crawled – currently not indexed“ alebo „discovered – currently not indexed“. V týchto sekciách nájdete adeptov na URL so slabým obsahom.

Crawled – currently not indexed Discovered – currently not indexed

Stránka sa príliš pomaly načítava

Opäť sa pozrime na to očami Googlu. Vieme, že Google chce v prvých výsledkoch vyhľadávania zobrazovať tie najlepšie stránky z najlepších. Plno kvalitného obsahu nemusí stačiť v prípade, že bude trvať celú večnosť, kým sa používateľovi načíta. Aj Googleboti čakajú na celé vykreslenie stránky, preto je pre nich rýchlosť načítania pomerne dôležitá. 

Rýchlosť načítania stránky je teda jedným z ďalších faktorov, ktorý rozhoduje o indexácii a umiestnení vašej stránky vo výsledkoch vyhľadávača.

Rýchlosť načítania môžete otestovať v mnohých online nástrojoch, odporúčame napríklad Page Speed Insights. Nájdete tam aj konkrétne tipy, ako rýchlosť načítania zlepšiť. 

Záver

Toto je osem najčastejších príčin, prečo vzniká na webových stránkach problém s indexáciou. Prejdite si jednotlivé body, skontrolujte, či sú na vašom webe v poriadku a pokúste sa čo najlepšie vyladiť všetky nedostatky. Ak váv táto téma zaujímala o čosi viac, prečítajte si obsiahlejší článok od Jozefa Juríka Ignoruje Google nové stránky kvôli rýchlosti načítania a slabému hostingu?.