Svetainės indeksavimo valdymas

Paieškos sistemų robotai ir skaitytuvai neretai indeksuodami Jūsų svetainę gali sukelti jos neveikimą, serverio apkrovą, kadangi dauguma paieškos sistemų robotų, tokie kaip „Googlebot“, „Bingbot“, „Yandex Bot“ ir kt., siekia kuo greičiau suindeksuoti svetaines. Svetainių indeksavimas taip pats svarbus svetainės SEO, jos aptinkamumui paieškos sistemose, tačiau svarbu atkreipti dėmesį, kad toks indeksavimas neturėtų sukelti pačios svetainės neveikimo.

Todėl svarbu valdyti Jums reikalingus ir aktualius paieškos sistemų sistemų robotus ir jų indeksavimo intensyvumą, kad nenukentėtų nei svetainės SEO, nei jos pasiekiamumas indeksavimo metu, kai generuojamas didelis kiekis užklausų iš paieškos sistemų robotų.

Ahrefs indeksavimo nustatymai

Ahrefs yra vienas iš SEO įrankių, kuris skirtas padėti svetainių savininkams, skaitmeninės rinkodaros specialistams ir SEO ekspertams analizuoti ir tobulinti savo svetainių našumą paieškos sistemose. Šio įrankio indeksavimo nustatymus galite valdyti prisijungę prie įrankio valdymo: https://ahrefs.com/

1. Ties pridėtu projektu paspauskite trijų taškelių simbolį:

2. Pasirinkite "Settings":

3. Pirmoje skiltyje "Schedule" galite nustatyti laiko intervalą ir dažnumą - kuriomis valandomis ir kaip dažnai bus atliekamas svetainės indeksavimas. Pasirinkite norimus nustatymus paspauskite "Crawl settings":

4. Nustatymų skiltyje galite nustatyti kiek paralelių užklausų bus galima generuoti į svetainę ir koks turėtų būti laiko tarpas tarp užklausų, pavyzdžiui, nustačius Delay between request, sec: 20, o Number of paraller requests:1, į svetainę ateis po 1 užklausą kas 20 sec:

5. Žemiau galite valdyti papildomus nustatymus, pavyzdžiui, vidinių puslapių skaičių, maksimalią indeksavimo trukmę, URL ilgį:

6. Pasirinkę norimus nustatymus paspauskite "Save" ir juos išsaugokite:

Semrush indeksavimo nustatymai

Semrush yra vienas iš įrankių, skirtų stebėti svetainės SEO. Nustatymus galite valdyti prisijungę prie jų įrankio:

1. Prisijungę pasirinkite skiltį "Site Audit":

2. Paspauskite nustatymų simbolį:

3. Paspauskite ant vieno iš pasirinkimų "Site Audit settings" skiltyje:

4. Peržiūrėkite "Crawler settings", kur galite pažymėti, kad būtų atsižvelgiama į svetainės robots.txt failą, arba sulėtinti užklausas iki 1 URL per 2 sekundes:

5. Skiltyje "Allow/disallow URLs" galite įrašyti URL nuorodų pradžią, kurių norite, kad įrankis netikrintų arba tikrintų:

6. Pasirinkite, kokiu intensyvumu svetainė turi būti indeksuojama ir išsaugokite:

BingBot indeksavimo nustatymai

Bingbot yra „Microsoft Bing“ paieškos sistemos naršymo robotas. Jo pagrindinė funkcija yra nuskaityti ir indeksuoti interneto svetaines, kad jų turinys būtų įtrauktas į „Bing“ paieškos rezultatus.

Nustatymus galite valdyti Bing webmasters tools įrankio pagalba:

1. Prisijungę pasirinkite "Crawl Control":

2. Kur galėsite pasirinkti kokiu laiku ir kuriomis valandomis svetainę galima indeksuoti greičiau, o kokiu laiku, pavyzdžiui, kai svetainės lankomumas yra didelis, indeksuoti lėčiau:

3. Konkretaus indeksavimo nustatymus taip pat galima kontroliuoti inicijavus indeksavimą. Pasirinkite "Site scan" ir "Start new scan":

4. Pasirinkite "Advanced settings":

5. Pasirinkite, koks turėtų būti indeksavimo greitis (crawling speed (urls per second) ir patikrinkite, kad nebūtų ignoruojamas turimas robots.txt failas:

robots.txt failo valdymas turinio valdymo sistemos administravimo dalyje

Paieškos sistemų robotų ir skaitytuvų šiuo metu yra labai daug. Nėra galimybės užsiregistruoti kiekvieno iš jų įrankyje, skirtame indeksavimo valdymui. Taip pat ne kiekvienas robotas turi įrankį, kurio pagalba galite valdyti, kaip jis indeksuos svetainę, kadangi svetainę gali indeksuoti ne tik paieškos sistemų robotai ( Yandex, Google, BingBot), bet ir tokie botai kaip Alexa ( Amazon virtualus asistentas), Siri (Apple sukurta virtuali asistentė), socialinių tinklų botai, turinio valdymo sistemų, duomenų rinkimo, dirbtinio intelekto ir kt. Tad visų jų indeksavimo valdyti tam tikru įrankiu nebus galimybės. Šioje situacijoje svarbu tinkamai apsirašyti robots.txt failą, kuriame reikalinga nurodyti, kurias svetaines dalis galima indeksuoti, o kurių indeksuoti paieškos sistemų robotams negalima, pvz., prisijungimo prie administravimo dalies puslapio ir pan.

Sukurti crawl-delay taisykles, kurios sulėtins roboto užklausų skaičių iki 1 užklausos per Jūsų nurodytą laiko periodą. Tačiau svarnu atkreipti dėmesį, kad ne visi robotai paiso crawl-delay nustatymų, todėl įsivertinus neaktualius robotus, jiems prieigą reikėtų uždrausti.

Kaip robots.txt failą galima valdyti serverio lygmenyje galite matyti čia

Tačiau kartais tai patogu atlikti ir iš turinio valdymo sistemos administravimo dalies, tuo labiau, kad kai kurios sistemos sugeneruoja standartinį failą su iškart įtrauktomis nuorodomis, kurių indeksuoti negalima, o kurias galima.

Wordpress

1. Turinio valdymo sistemoje robots.txt failą galima valdyti įskiepio pagalba, vienas tokių Yoast SEO. Instaliuokite šį įskiepį paspaudę "Install":

2. Paspauskite "Activate":

3. Pasirinkite "Tools" skiltį šio įrankio meniu:

4. Pasirinkite "File Editor":

5. Jums bus pateiktas toks failas, koks yra serveryje, jį koreguoti galėsite per administravimo aplinką ir visi pakeitimai bus išsaugoti:

Prestashop

1. Prisijunkite prie turinio valdymo sistemos Prestashop administravimo dalies ir pasirinkite "Duomenų srautas ir SEO" (Traffic & SEO) skiltyje "Konfigūruoti" (Shop Parameters):

2. Pačioje nustatymų apačioje matysite skiltį "Robots bylos generavimas" (Robots file generation) ir mygtuką "Generuoti robots.txt bylą" (Generate robots.txt file):

Pavyzdinis Prestashop sistemos sugeneruoto failo turinys:

# robots.txt automatically generated by PrestaShop e-commerce open-source solution # https://www.prestashop.com - https://www.prestashop.com/forums # This file is to prevent the crawling and indexing of certain parts # of your site by web crawlers and spiders run by sites like Yahoo! # and Google. By telling these "robots" where not to go on your site, # you save bandwidth and server resources. # For more information about the robots.txt standard, see: # https://www.robotstxt.org/robotstxt.html User-agent: * # Allow Directives Allow: */modules/*.css Allow: */modules/*.js Allow: */modules/*.png Allow: */modules/*.jpg Allow: */modules/*.gif Allow: */modules/*.svg Allow: */modules/*.webp Allow: /js/jquery/* # Private pages Disallow: /*?order= Disallow: /*?tag= Disallow: /*?id_currency= Disallow: /*?search_query= Disallow: /*?back= Disallow: /*?n= Disallow: /*&order= Disallow: /*&tag= Disallow: /*&id_currency= Disallow: /*&search_query= Disallow: /*&back= Disallow: /*&n= Disallow: /*controller=addresses Disallow: /*controller=address Disallow: /*controller=authentication Disallow: /*controller=cart Disallow: /*controller=discount Disallow: /*controller=footer Disallow: /*controller=get-file Disallow: /*controller=header Disallow: /*controller=history Disallow: /*controller=identity Disallow: /*controller=images.inc Disallow: /*controller=init Disallow: /*controller=my-account Disallow: /*controller=order Disallow: /*controller=order-slip Disallow: /*controller=order-detail Disallow: /*controller=order-follow Disallow: /*controller=order-return Disallow: /*controller=order-confirmation Disallow: /*controller=pagination Disallow: /*controller=password Disallow: /*controller=pdf-invoice Disallow: /*controller=pdf-order-return Disallow: /*controller=pdf-order-slip Disallow: /*controller=product-sort Disallow: /*controller=registration Disallow: /*controller=search Disallow: /*controller=statistics Disallow: /*controller=attachment Disallow: /*controller=guest-tracking # Directories for prestashop.mano-svetaine.online Disallow: /app/ Disallow: /cache/ Disallow: /classes/ Disallow: /config/ Disallow: /controllers/ Disallow: /download/ Disallow: /js/ Disallow: /localization/ Disallow: /log/ Disallow: /mails/ Disallow: /modules/ Disallow: /override/ Disallow: /pdf/ Disallow: /src/ Disallow: /tools/ Disallow: /translations/ Disallow: /upload/ Disallow: /var/ Disallow: /vendor/ Disallow: /webservice/ Disallow: /en/app/ Disallow: /en/cache/ Disallow: /en/classes/ Disallow: /en/config/ Disallow: /en/controllers/ Disallow: /en/download/ Disallow: /en/js/ Disallow: /en/localization/ Disallow: /en/log/ Disallow: /en/mails/ Disallow: /en/modules/ Disallow: /en/override/ Disallow: /en/pdf/ Disallow: /en/src/ Disallow: /en/tools/ Disallow: /en/translations/ Disallow: /en/upload/ Disallow: /en/var/ Disallow: /en/vendor/ Disallow: /en/webservice/ Disallow: /lt/app/ Disallow: /lt/cache/ Disallow: /lt/classes/ Disallow: /lt/config/ Disallow: /lt/controllers/ Disallow: /lt/download/ Disallow: /lt/js/ Disallow: /lt/localization/ Disallow: /lt/log/ Disallow: /lt/mails/ Disallow: /lt/modules/ Disallow: /lt/override/ Disallow: /lt/pdf/ Disallow: /lt/src/ Disallow: /lt/tools/ Disallow: /lt/translations/ Disallow: /lt/upload/ Disallow: /lt/var/ Disallow: /lt/vendor/ Disallow: /lt/webservice/ # Files Disallow: /*en/password-recovery Disallow: /*en/address Disallow: /*en/addresses Disallow: /*en/login Disallow: /*en/registration Disallow: /*en/cart Disallow: /*en/discount Disallow: /*en/order-history Disallow: /*en/identity Disallow: /*en/my-account Disallow: /*en/order-follow Disallow: /*en/credit-slip Disallow: /*en/order Disallow: /*en/search Disallow: /*en/guest-tracking Disallow: /*en/order-confirmation Disallow: /*lt/slaptazodzio-atkurimas Disallow: /*lt/adresas Disallow: /*lt/adresai Disallow: /*lt/prisijungimas Disallow: /*lt/registracija Disallow: /*lt/krepselis Disallow: /*lt/nuolaida Disallow: /*lt/uzsakymo-istorija Disallow: /*lt/asmenine-informacija Disallow: /*lt/mano-paskyra Disallow: /*lt/uzsakymo-sekimas Disallow: /*lt/kredito-kvitas Disallow: /*lt/užsakymas Disallow: /*lt/paieska Disallow: /*lt/svecio-paskyra Disallow: /*lt/uzsakymo-patvirtinimas

SVARBU: šis sugeneruotas failas perrašys robots.txt failą, jei serveryje toks yra sukurtas.