Sitemap, robots.txt u llms.txt

Sitemap

Is-sitemap tinkludi paġni, aħbarijiet u avvenimenti ppubblikati fil-lingwi li fihom huma attivi u jistgħu jiġu indiċjati. Drafts, verżjonijiet lingwistiċi mitfija u kontenut b'noindex ma jidhrux.

M'għandekx għalfejn iżżomm il-fajl manwalment: jerġa' jinbena wara bidliet fil-kontenut u jiġi aġġornat matul il-lejl. Is-settings SEO juru meta nħoloq l-aħħar. Refresh jġiegħlu jinbena mill-ġdid minnufih; jekk ma jiġix aġġornat għal aktar minn 24 siegħa tidher twissija.

Parir: tista' tissottometti https://id-dominju-tieghek.example/sitemap.xml f'Google Search Console. Dan jista' jgħin lil Google issib l-indirizzi, iżda ma jiggarantixxix indiċjar jew klassifikazzjoni. B'Google Search Console u Bing Webmaster Tools tista' tiċċekkja liema paġni nstabu u liema tfittxijiet iġibu viżitaturi.

robots.txt

robots.txt jgħid lill-crawlers li jirrispettaw ir-regoli liema paths m'għandhomx iżuru. Demona timblokka awtomatikament is-settings, il-login, żoni interni u paġni tar-riżultati tat-tfittxija, li inkella jistgħu joħolqu ħafna URLs bla valur. L-indirizz tas-sitemap jidher ukoll fil-fajl.

Taħt Custom disallowed paths tista' żżid paths oħra, wieħed kull linja, li jibdew b'lash, pereżempju /privat. Jekk trid teskludi paġna pubblika partikolari mit-tiftix, uża s-setting tal-indiċjar ta' dik il-paġna.

AI crawlers

Allow AI crawlers normalment ikun attiv. Jekk titfih, robots.txt jipprojbixxi l-aġenti tal-AI magħrufa appoġġjati minn Demona, inklużi dawk marbuta ma' OpenAI, Anthropic, Perplexity, Google, Apple, Meta, Amazon u Mistral. L-effett jiddependi fuq jekk is-servizz jirrispettax robots.txt u liema crawler juża.

Tista' wkoll teskludi paġni individwali mill-AI crawlers fis-Settings tal-paġna. Dawn il-kontrolli jibagħtu sinjali ta' aċċess, iżda ma jiggarantixxux jekk kontenut jidhirx jew le f'xi servizz tal-AI.

llms.txt

llms.txt huwa indiċi qasir u strutturat tal-paġni, l-aħbarijiet u l-avvenimenti pubbliċi, maħsub biex assistenti u aġenti tal-AI jsibu u jaqraw il-kontenut aktar faċilment.

• F'sit b'diversi lingwi, kull lingwa għandha l-indiċi tagħha, bħal /mt/llms.txt, b'referenzi għal verżjonijiet lingwistiċi oħra.
• Kull paġna elenkata tista' tiġi aċċessata wkoll bl-istess URL u suffiss .md, f'verżjoni Markdown aktar sempliċi għal għodod li jippreferu t-test.
• Paġni esklużi mill-AI crawlers ma jidhrux.
• Il-fajl jiġi aġġornat wara bidliet u matul il-lejl, jew manwalment b'Refresh.

llms.txt ikun disponibbli biss meta s-sit ikun live u kemm l-indiċjar ġenerali kif ukoll l-aċċess tal-AI crawlers ikunu attivi. Is-settings SEO juru liema għażla hi mitfija meta l-fajl ma jkunx disponibbli. Jista' jgħin lil għodod kompatibbli jsibu l-kontenut, iżda ma jiggarantixxix li s-sit jissemma fit-tweġibiet iġġenerati bl-AI.