Wat is llms.txt?
Wat is llms.txt precies?
llms.txt is een voorgesteld tekstbestand dat je in de hoofdmap van je website kunt zetten, als /llms.txt. Het bevat een korte samenvatting van je site in Markdown, met links naar de belangrijkste pagina's. Het doel is dat een taalmodel in één keer begrijpt waar je site over gaat en waar de kern van de informatie staat.
Het voorstel komt van Jeremy Howard. Het is geen officiële standaard van een internationale organisatie, en er is geen algemene afspraak tussen zoekmachines en AI-aanbieders over hoe het gebruikt moet worden.
Het idee sluit aan bij een breder probleem. Een taalmodel moet een website snel kunnen doorzoeken, en een volledige site met menu's, advertenties en scripts is daarvoor lastig. Een beknopte versie van de kerninhoud kan helpen, maar alleen als de inhoud klopt en actueel is.
Hoe verschilt llms.txt van robots.txt en sitemap.xml?
- robots.txt geeft regels over toegang: welke bots welke delen van je site mogen bezoeken.
- sitemap.xml is een lijst van de pagina's die je wilt laten indexeren, bedoeld voor zoekmachines.
- llms.txt is een korte, leesbare gids met je belangrijkste pagina's, bedoeld om een taalmodel de inhoud te laten begrijpen.
llms.txt regelt dus niets over toegang. Het is een wegwijzer, geen slot, en het vervangt noch robots.txt noch een sitemap. Over het weren van bots lees je meer bij AI-crawlers blokkeren met robots.txt.
Heeft je website llms.txt nodig?
Dat hangt af van je doel. Bestaat je site vooral uit losse artikelen of productpagina's, dan kan een llms.txt een handige samenvatting zijn. Er is echter weinig bewijs dat grote AI-diensten het structureel gebruiken om hun antwoorden te verbeteren. Het is daarom nu vooral een kleine investering met een onzeker effect.
Wil je het toch proberen, houd het dan kort: een titel, een paar zinnen over je site en links naar je belangrijkste pagina's. Zorg dat de pagina's die je noemt bereikbaar zijn en dat de tekst actueel blijft. Lees ook gevonden worden in ChatGPT en andere AI-zoekmachines.
Veelgestelde vragen
Is llms.txt een officiële standaard?
Nee. Het is een voorstel dat sommige ontwikkelaars gebruiken, maar het is niet vastgelegd door een standaardisatieorganisatie. Er is ook geen bewezen effect op vindbaarheid. Behandel het daarom als een optie, niet als een verplichting.
Hoe maak ik een llms.txt-bestand?
Een llms.txt is gewoon een tekstbestand in Markdown. Begin met de naam van je site, geef een korte beschrijving en zet daarna lijsten met links naar je belangrijkste pagina's, per onderwerp gegroepeerd. Houd het overzichtelijk en actueel, en plaats het in de hoofdmap van je domein, zodat het bereikbaar is op /llms.txt.