AI-robotar och robots.txt: vilka ska släppas in?
Släpp in robotarna som bygger sökmotorernas och AI-tjänsternas sökresultat, som Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot och PerplexityBot. Robotarna som samlar text för att träna AI-modeller, som GPTBot och ClaudeBot, kan du spärra om du vill, eftersom tjänsterna styr sök och träning med olika robotar.
Senast uppdaterad
Vad är en robot och vad gör robots.txt?
En robot, eller crawler, är ett program som besöker webbsidor automatiskt och läser dem. Sökmotorer och AI-tjänster använder robotar för att hitta sidor som de sedan kan visa eller använda i sina svar. Varje robot presenterar sig med ett namn, till exempel Googlebot eller OAI-SearchBot.
Filen robots.txt ligger i roten på sajten, till exempel dittforetag.se/robots.txt, och talar om vilka delar av sajten som olika robotar får besöka. Google påpekar att filen främst är till för att styra trafiken från robotar, inte för att gömma sidor, och att seriösa robotar följer reglerna medan andra kanske inte gör det (Google Search Central). Vill du hålla en sida borta från sökresultaten är noindex rätt verktyg, inte robots.txt.
Vilka grupper av AI-robotar finns det?
Det är lättast att förstå robotarna om man delar in dem i tre grupper. Den första gruppen är sökrobotar, som läser sajter för att bygga en tjänsts sökresultat. Den andra är robotar som hämtar en sida när en användare ber AI-tjänsten om det, till exempel när någon klistrar in en länk i ChatGPT. Den tredje är robotar, eller inställningar, som styr om texten får användas för att träna AI-modeller. Kollen och guiden använder samma tre grupper.
| Robot | Används till | Grupp | Källa |
|---|---|---|---|
Googlebot | Google Sök, även AI-översikter och AI Mode | Sök | Dokumentation |
Bingbot | Bing och Microsoft Copilot | Sök | Dokumentation |
OAI-SearchBot | ChatGPT:s sökfunktion | Sök | Dokumentation |
Claude-SearchBot | Sök i Claude | Sök | Dokumentation |
PerplexityBot | Perplexitys sök | Sök | Dokumentation |
Applebot | Siri, Spotlight och Safari | Sök | Dokumentation |
ChatGPT-User | ChatGPT, när en användare ber den läsa en sida | Hämtar åt en användare | Dokumentation |
Claude-User | Claude, när en användare ber den läsa en sida | Hämtar åt en användare | Dokumentation |
Perplexity-User | Perplexity, när en användare ber den läsa en sida | Hämtar åt en användare | Dokumentation |
GPTBot | Träning av OpenAI:s modeller | Träning | Dokumentation |
ClaudeBot | Träning av Anthropics modeller | Träning | Dokumentation |
Google-Extended | Träning av Gemini och underlag i Gemini-appen. Påverkar inte Google Sök. | Träning | Dokumentation |
Applebot-Extended | Styr om Apple får träna modeller på det Applebot har hämtat. Ingen egen robot. | Träning | Dokumentation |
CCBot | Common Crawl, ett öppet arkiv av webben | Träning | Dokumentation |
Vilka robotar avgör om ni kan synas i AI-svaren?
Det är sökrobotarna. OpenAI skriver att sajter som spärrar OAI-SearchBot inte visas i ChatGPT:s sökresultat, även om de fortfarande kan dyka upp som enkla navigeringslänkar (OpenAI). Anthropic skriver att en spärr mot Claude-SearchBot kan minska hur synlig sajten är i sökresultaten i Claude (Anthropic), och Perplexity använder PerplexityBot för att visa och länka sajter i sin sökning (Perplexity).
Glöm inte de vanliga sökmotorerna. Regler för Googlebot påverkar hela Google Sök, inklusive alla sökfunktioner (Google), och därmed också AI-översikterna. Bingbot är Bings vanliga robot (Bing), och i Bing Webmaster Tools kan du se hur ofta era sidor citeras i Copilot (Bing Webmaster Blog). Applebot läser sajter för sökfunktionerna i Siri, Spotlight och Safari, och om robots.txt inte nämner Applebot men nämner Googlebot följer Applebot reglerna för Googlebot (Apple).
Vad gör robotarna som hämtar åt en användare?
ChatGPT-User, Claude-User och Perplexity-User besöker en sida när en användare har bett tjänsten om det, inte för att bygga ett sökindex. OpenAI skriver att robots.txt kanske inte gäller för ChatGPT-User eftersom besöken startas av en användare (OpenAI), och Perplexity skriver att Perplexity-User i regel inte följer robots.txt (Perplexity). Anthropic skriver däremot att en spärr mot Claude-User hindrar Claude från att hämta sidan (Anthropic).
För ett företag finns det sällan skäl att spärra de här robotarna. Om en kund ber en AI-tjänst läsa er prislista eller jämföra era tjänster vill ni att tjänsten kan göra det. Kollen visar dem därför bara som information och drar inga poäng för dem.
Ska jag spärra robotarna som tränar AI-modeller?
Det är ett eget beslut, och det påverkar inte om ni syns i tjänsternas sökresultat. OpenAI skriver att inställningarna för OAI-SearchBot och GPTBot är oberoende av varandra, så att man kan släppa in sökningen och samtidigt säga nej till träning (OpenAI). Google-Extended är ingen egen robot utan ett namn som styr om innehållet får användas för att träna Gemini och som underlag i Gemini-appen, och Google skriver att det inte påverkar Google Sök (Google). Applebot-Extended fungerar på samma sätt för Apples modeller (Apple).
ClaudeBot samlar text som kan användas för att träna Anthropics modeller (Anthropic), och CCBot bygger Common Crawls öppna arkiv av webben (Common Crawl), som vem som helst kan använda. En spärr ser ut så här, med robotens namn på första raden:
User-agent: GPTBot
Disallow: /Fundera på vad som passar er. Vill ni att era texter ska kunna bidra till hur AI-modellerna beskriver er bransch kan ni låta dem vara öppna. Vill ni inte att texten används till träning kan ni spärra träningsrobotarna och ändå släppa in sökrobotarna. Kollen drar inga poäng för någotdera.
Hur ser jag om min sajt spärrar AI-robotar?
Öppna dittforetag.se/robots.txt i webbläsaren. En spärr är en rad som börjar med User-agent och robotens namn, följd av Disallow: /. Titta också efter en spärr under User-agent: *, som gäller alla robotar som inte nämns med namn. Många publiceringsverktyg skriver filen åt dig, så ibland har en inställning lagt till spärrar som ingen på företaget känner till.
Robots.txt är dock inte det enda som kan stoppa robotarna. Webbhotell och tjänster som Cloudflare kan ha botskydd som blockerar automatiska besök även när robots.txt släpper in dem, och OpenAI rekommenderar att man släpper in trafik från deras publicerade adresser (OpenAI). Det enklaste sättet att kontrollera båda delarna är att göra gratiskollen, som går igenom robots.txt för alla robotar i tabellen och varnar om ett botskydd verkar stoppa besök.
Räcker det att släppa in robotarna?
Nej, men det är förutsättningen för allt annat. En sajt som robotarna inte får läsa kan inte bli en källa, hur bra texterna än är. När robotarna väl släpps in avgör innehållet, uppgifterna och vad andra säger om er om ni nämns. Läs mer i Varför rekommenderar ChatGPT mina konkurrenter?
Läs vidare
Kan AI-tjänsterna läsa din sajt?
Gratiskollen visar på några sekunder vad som fungerar och vad som bromsar. Vill du gå vidare finns Hittbart-guiden, som förklarar hur du åtgärdar det rapporten visar.
Källor
- Google Search Central: Robots.txt introduction
- Google: List of Google's common crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Blog: Introducing AI Performance in Bing Webmaster Tools
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Does Anthropic crawl data from the web?
- Perplexity: Perplexity Crawlers
- Apple: About Applebot
- Common Crawl: CCBot
Källorna kontrollerades 18 oktober 2026. AI-tjänsterna ändrar sina system ofta, så kontrollera gärna källan om något verkar ha ändrats.