Vad är X-Robots-Tag?
X-Robots-Tag är en valfri komponent i HTTP-svarshuvudet som informerar sökmotorer om hur de ska genomsöka och indexera en webbsida. Till skillnad från meta robots-taggen, som är reserverad för HTML-sidor, kan X-Robots-Tag användas för icke-HTML-filer som bilder, textfiler och PDF-filer.
Här är ett exempel på ett HTTP-svar med en X-Robots-Tag:
HTTP/1.1 200 OK Datum: Tue, 15 Nov 2022 11:38:17 GMT Content-encoding: gzip (...) X-Robots-Tag: noindex (...)Varför är X-Robots-Tag viktig?
X-Robots-Tag är viktig eftersom den gör det möjligt att styra hur sökmotorer indexerar och genomsöker inte bara HTML-sidor utan även andra filtyper. Denna funktion är särskilt användbar för att hantera stora webbplatser med olika typer av innehåll. Viktiga fördelar inkluderar:
- Flexibilitet: Tillämpa direktiv på icke-HTML-filer, t.ex. PDF-filer, bilder och videor.
- Global tillämpning: Använd taggen för att tillämpa regler på hela webbplatsen eller på specifika kataloger och filtyper.
- Reguljära uttryck: Använd avancerade mönster för att rikta in dig på flera webbadresser på ett effektivt sätt.
Gemensamma direktiv för X-Robots-Tag
Du kan använda vilket direktiv som helst som är giltigt för metarobotstaggen med X-Robots-Tag. Här är några vanligt förekommande direktiv:
- noindex: Förhindrar att sidan eller filen indexeras av sökmotorer.
- inte följa: Förhindrar sökmotorer från att följa länkar på sidan.
- ingen: Motsvarar "noindex, nofollow".
- inte arkiverad: Förhindrar sökmotorer från att visa en cachad version av sidan.
- nosnippet: Förhindrar sökmotorer från att visa ett utdrag av sidan i sökresultaten.
Om du t.ex. vill instruera Googlebot att inte indexera eller följa några länkar i PDF-filer kan du använda:
<Filer ~ "\.pdf$"> Rubrikuppsättning X-Robots-Tag "noindex, nofollow" </Filer>Så här ställer du in X-Robots-Tag
På Apache-servern
Du kan ställa in X-Robots-Tag i .htaccess-filen eller httpd.conf-filen. Så här tillämpar du ett noindex-direktiv på alla PDF-filer:
<Filer ~ "\.pdf$"> Rubriksättning X-Robots-Tag "noindex" </Filer>På NGINX-servern
För NGINX kan du lägga till direktivet i webbplatsens .conf-fil:
plats ~* \.pdf$ { add_header X-Robots-Tag "noindex"; }Ange direktiv för specifika sökrobotar
Du kan ange direktiv för särskilda sökrobotar genom att namnge dem:
Header set X-Robots-Tag "googlebot: noindex, nofollow"Visning av X-Robots-Tag
Till skillnad från metataggen robots är X-Robots-Tag en del av HTTP-svarshuvudet och syns inte i HTML-koden. Så här visar du den i Google Chrome:
- Ladda URL:en i Google Chrome.
- Högerklicka på sidan och välj "Inspektera" för att öppna utvecklarverktygen.
- Välj fliken "Nätverk".
- Ladda om sidan.
- Välj den relevanta filen på den vänstra panelen; HTTP-rubrikerna, inklusive X-Robots-Tag, visas på den högra panelen.
Vanliga frågor
Kan jag använda X-Robots-Tag med HTML-sidor?
Ja, men det är vanligare att den används för icke-HTML-filer. För HTML-sidor är det enklare att använda meta robots-taggen i HTML-koden.
Hur testar jag om min X-Robots-Tag fungerar?
Använd Inspect-verktyget i webbläsarens utvecklingsverktyg för att kontrollera HTTP-svarshuvudena. Du kan också använda onlineverktyg som Googles URL Inspection Tool.
Kan X-Robots-Tag åsidosätta robots.txt?
Nej, X-Robots-Tag kan inte åsidosätta robots.txt-direktiven. Om en URL inte är tillåten i robots.txt kommer sökmotorer inte att genomsöka den och kommer följaktligen inte att se X-Robots-Tag-direktiven.
Genom att förstå och korrekt implementera X-Robots-Tag kan du få bättre kontroll över hur sökmotorer interagerar med webbplatsens olika filtyper, vilket förbättrar webbplatsens SEO och användarupplevelse.
