Oldaltérkép, robots.txt és llms.txt

Oldaltérkép

Az oldaltérkép a weboldal összes közzétett oldalát, hírét és eseményét felsorolja, minden nyelven, amelyen az adott tartalom látható. A piszkozatok, az adott nyelven kikapcsolt tartalmak és azok a tartalmak, amelyeknél kikapcsoltad a keresőknek az indexelést (noindex), nem kerülnek bele.

Nincs vele teendőd: minden tartalmi változás után magától újraépül, és éjszakánként is frissül. A SEO-beállításokban látod, mikor készült utoljára, és a Frissítés gombbal azonnal újragenerálhatod. Ha 24 óránál régebben frissült, a felület figyelmeztet.

Tipp: add meg az oldaltérkép címét (https://a-te-domained/sitemap.xml) a Google Search Console-ban, hogy a Google gyorsabban felfedezze az új oldalaidat.

Ha a Google és a Bing keresőben is szeretnéd ellenőrizni, hogy mely oldalaid jelennek meg és milyen keresésekből érkeznek látogatók, olvasd el a Google Search Console és Bing Webmaster Tools útmutatónkat.

robots.txt

A robots.txt mondja meg a keresőknek, mely címeket ne járják be. A Demona automatikusan kitiltja a beállítások, a belépés és a belső felületek címeit, valamint a keresési találatoldalt, amely különben végtelen számú üres oldalt gyártana a keresőknek. A fájl végére az oldaltérkép címe is bekerül.

Saját tiltott útvonalak: ha további részeket is el szeretnél rejteni a keresők elől, az Egyéni tiltott elérési utak mezőbe írd őket, soronként egyet, perjellel kezdve, például /privat. Egyetlen oldal elrejtésére inkább az oldal saját indexelési kapcsolóját használd.

AI-robotok

Az AI-robotok engedélyezése kapcsoló alapértelmezetten be van kapcsolva. Ha kikapcsolod, a robots.txt kitiltja a nagy AI-szolgáltatók robotjait, többek között az OpenAI (GPTBot, ChatGPT-User), az Anthropic (ClaudeBot), a Perplexity, a Google (Google-Extended), az Apple, a Meta, az Amazon és a Mistral robotjait. Ez egyszerre vonatkozik a modellek tanítására, az AI-alapú keresésre és arra is, amikor egy felhasználó kérésére olvasnák be az oldaladat.

Vagyis ha kikapcsolod, a weboldalad az AI-asszisztensek válaszaiban is ritkábban jelenik meg. Egy-egy oldalt az oldal saját beállításaiban is kizárhatsz az AI-robotok elől.

llms.txt

Az llms.txt egy rövid, rendezett tartalomjegyzék a weboldalad nyilvános oldalairól, híreiről és eseményeiről, kifejezetten AI-asszisztensek és AI-ágensek számára. Segít nekik gyorsan megérteni, miről szól a weboldal, és hol mit találnak.

• Többnyelvű weboldalon minden nyelvnek saját tartalomjegyzéke van, például /en/llms.txt, és ezek hivatkoznak egymásra.
• Minden felsorolt oldal elérhető ugyanazon a címen .md végződéssel is, egyszerű Markdown formában, amelyet az AI-eszközök könnyebben feldolgoznak.
• Azok az oldalak, amelyeknél kikapcsoltad az AI-robotokat, nem kerülnek bele.
• Tartalmi változás után és éjszakánként magától újraépül, a Frissítés gombbal azonnal is.

Az llms.txt-hez a weboldalnak élesítve kell lennie, és az indexelésnek és az AI-robotoknak is engedélyezve kell lennie. Ha valamelyik kapcsoló nincs bekapcsolva, a SEO-beállítások megírják, melyik hiányzik.