Sitemap.xml, robots.txt și llms.txt: ce fac pentru site

Sitemap.xml: inventarul adreselor publice

Sitemap-ul enumeră paginile, articolele și evenimentele publicate, în limbile în care fiecare conținut este vizibil. Nu include ciorne, variante de limbă dezactivate ori pagini pentru care ai oprit indexarea.

Demona îl actualizează după modificări de conținut și printr-un proces periodic pe timpul nopții. În setările SEO poți verifica data ultimei generări și poți folosi Actualizează pentru regenerare manuală. Dacă au trecut mai mult de 24 de ore de la actualizare, interfața poate afișa o atenționare.

Îl găsești de regulă la https://domeniul-tau.ro/sitemap.xml. Poți trimite adresa în Google Search Console și Bing Webmaster Tools pentru a ajuta motoarele de căutare să descopere paginile. Trimiterea nu garantează indexarea.

Robots.txt: reguli pentru accesul roboților

Fișierul /robots.txt indică roboților de căutare ce căi nu ar trebui parcurse. Demona include automat restricții pentru zonele interne, autentificare, administrare și pagina cu rezultate de căutare internă. În fișier poate fi inclusă și adresa sitemap-ului.

Dacă vrei să restricționezi alte căi, le poți introduce în câmpul pentru căi interzise personalizate, câte una pe rând și începând cu /, de exemplu /intern.

Important: robots.txt nu este un mecanism de securitate și nici o metodă sigură de eliminare a paginilor din rezultatele căutării. Pentru o pagină publică pe care nu o dorești indexată, folosește setarea ei noindex; pentru date private, folosește controlul accesului.

Accesul crawlerelor AI

Poți activa sau dezactiva accesul unor roboți utilizați de servicii AI. Când opțiunea este dezactivată, Demona poate adăuga în robots.txt reguli pentru roboți ai furnizorilor precum OpenAI, Anthropic, Perplexity, Google-Extended, Apple, Meta, Amazon și Mistral.

Aceste reguli se adresează crawlerelor care respectă fișierul robots.txt. Nu pot garanta blocarea tuturor instrumentelor AI și pot influența diferit antrenarea, căutarea AI sau accesarea unei pagini la cererea utilizatorului. Poți configura separat și reguli pentru anumite pagini.

Llms.txt: un index suplimentar pentru instrumentele AI

Fișierul /llms.txt este un inventar ordonat al paginilor, articolelor și evenimentelor publice, cu legături și explicații. A fost gândit pentru asistenți și agenți AI care pot folosi o prezentare mai directă a structurii site-ului.

• Versiuni lingvistice: pe un site multilingv poate exista un index separat pentru fiecare limbă, de exemplu /en/llms.txt sau /ro/llms.txt.
• Versiuni Markdown: conținutul eligibil poate fi disponibil și la o adresă cu extensia .md, într-un format mai simplu de procesat automat.
• Excluderi: paginile cu accesul crawlerelor AI dezactivat nu sunt incluse.
• Actualizare: Demona poate regenera fișierul după modificările de conținut, noaptea sau la cerere.

Pentru ca llms.txt să fie disponibil, site-ul trebuie să fie lansat și să permită atât indexarea, cât și accesul crawlerelor AI, conform configurației curente.

Llms.txt nu înlocuiește SEO. Nu toate instrumentele AI îl citesc și nu există o garanție că o pagină inclusă va fi citată sau prezentată în răspunsuri.