Ordlista för sökmotoroptimering / X-Robots-Tag

X-Robots-Tag

Vad är X-Robots-Tag?

X-Robots-Tag är en valfri komponent i HTTP-svarshuvudet som informerar sökmotorer om hur de ska genomsöka och indexera en webbsida. Till skillnad från meta robots-taggen, som är reserverad för HTML-sidor, kan X-Robots-Tag användas för icke-HTML-filer som bilder, textfiler och PDF-filer.

Här är ett exempel på ett HTTP-svar med en X-Robots-Tag:

HTTP/1.1 200 OK Datum: Tue, 15 Nov 2022 11:38:17 GMT Content-encoding: gzip (...) X-Robots-Tag: noindex (...)

Varför är X-Robots-Tag viktig?

X-Robots-Tag är viktig eftersom den gör det möjligt att styra hur sökmotorer indexerar och genomsöker inte bara HTML-sidor utan även andra filtyper. Denna funktion är särskilt användbar för att hantera stora webbplatser med olika typer av innehåll. Viktiga fördelar inkluderar:

  • Flexibilitet: Tillämpa direktiv på icke-HTML-filer, t.ex. PDF-filer, bilder och videor.
  • Global tillämpning: Använd taggen för att tillämpa regler på hela webbplatsen eller på specifika kataloger och filtyper.
  • Reguljära uttryck: Använd avancerade mönster för att rikta in dig på flera webbadresser på ett effektivt sätt.

Gemensamma direktiv för X-Robots-Tag

Du kan använda vilket direktiv som helst som är giltigt för metarobotstaggen med X-Robots-Tag. Här är några vanligt förekommande direktiv:

  • noindex: Förhindrar att sidan eller filen indexeras av sökmotorer.
  • inte följa: Förhindrar sökmotorer från att följa länkar på sidan.
  • ingen: Motsvarar "noindex, nofollow".
  • inte arkiverad: Förhindrar sökmotorer från att visa en cachad version av sidan.
  • nosnippet: Förhindrar sökmotorer från att visa ett utdrag av sidan i sökresultaten.

Om du t.ex. vill instruera Googlebot att inte indexera eller följa några länkar i PDF-filer kan du använda:

<Filer ~ "\.pdf$"> Rubrikuppsättning X-Robots-Tag "noindex, nofollow" </Filer>

Så här ställer du in X-Robots-Tag

På Apache-servern

Du kan ställa in X-Robots-Tag i .htaccess-filen eller httpd.conf-filen. Så här tillämpar du ett noindex-direktiv på alla PDF-filer:

<Filer ~ "\.pdf$"> Rubriksättning X-Robots-Tag "noindex" </Filer>

På NGINX-servern

För NGINX kan du lägga till direktivet i webbplatsens .conf-fil:

plats ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }

Ange direktiv för specifika sökrobotar

Du kan ange direktiv för särskilda sökrobotar genom att namnge dem:

Header set X-Robots-Tag "googlebot: noindex, nofollow"

Visning av X-Robots-Tag

Till skillnad från metataggen robots är X-Robots-Tag en del av HTTP-svarshuvudet och syns inte i HTML-koden. Så här visar du den i Google Chrome:

  1. Ladda URL:en i Google Chrome.
  2. Högerklicka på sidan och välj "Inspektera" för att öppna utvecklarverktygen.
  3. Välj fliken "Nätverk".
  4. Ladda om sidan.
  5. Välj den relevanta filen på den vänstra panelen; HTTP-rubrikerna, inklusive X-Robots-Tag, visas på den högra panelen.

Vanliga frågor

Kan jag använda X-Robots-Tag med HTML-sidor?

Ja, men det är vanligare att den används för icke-HTML-filer. För HTML-sidor är det enklare att använda meta robots-taggen i HTML-koden.

Hur testar jag om min X-Robots-Tag fungerar?

Använd Inspect-verktyget i webbläsarens utvecklingsverktyg för att kontrollera HTTP-svarshuvudena. Du kan också använda onlineverktyg som Googles URL Inspection Tool.

Kan X-Robots-Tag åsidosätta robots.txt?

Nej, X-Robots-Tag kan inte åsidosätta robots.txt-direktiven. Om en URL inte är tillåten i robots.txt kommer sökmotorer inte att genomsöka den och kommer följaktligen inte att se X-Robots-Tag-direktiven.

Genom att förstå och korrekt implementera X-Robots-Tag kan du få bättre kontroll över hur sökmotorer interagerar med webbplatsens olika filtyper, vilket förbättrar webbplatsens SEO och användarupplevelse.