Om Seoverks crawler

Seoverk är en hostad teknisk SEO-crawler för byråer. Den besöker en webbplats när en användare startar eller schemalägger en granskning av den, och läser sidorna för att hitta tekniska SEO-fel som trasiga länkar och felaktiga omdirigeringar.

Vad Seoverk sparar från sidorna, och hur du invänder mot det, står i integritetspolicyn.

Så känner du igen den

Crawlern skickar som standard User-Agent Seoverk/1.0 (+https://seoverk.com/bot). I robots.txt heter den Seoverk.

Så styr du den

Som standard följer den robots.txt och väntar enligt Crawl-delay före varje sida den hämtar. En granskning hämtar dock flera sidor samtidigt (fem som standard via MCP, högst tjugo), så det kan komma fler än ett anrop per Crawl-delay. Svarar robots.txt med ett serverfel, eller går filen inte att hämta, crawlar den som om filen saknades.

Vill du stoppa crawlningen av din webbplats lägger du till detta i robots.txt:

User-agent: Seoverk
Disallow: /

En granskning av din egen webbplats hämtar ändå några adresser som regeln inte stoppar: robots.txt; sitemaps på de vanliga adresserna och på de adresser som robots.txt eller användaren anger, med de sitemaps som de pekar vidare till; startsidan över http, https och med www, för att kontrollera omdirigeringarna; /llms.txt och /llms-full.txt; och en granskad sida med dess skript och stilmallar. De anropen väntar inte enligt Crawl-delay. Hastighetsmätningen går via Google PageSpeed Insights, som hämtar sidorna med Googles egen User-Agent. Några av de här anropen skickar ännu inte Seoverks User-Agent.

När en annan webbplats länkar till din

Granskar någon en webbplats som länkar till din, kontrollerar Seoverk också de adresser på din webbplats som sidorna länkar eller pekar till: vanliga länkar, bilder, kanoniska adresser och produktadresser. Varje adress får enstaka HEAD- eller GET-anrop. De anropen läser inte din robots.txt och väntar inte enligt Crawl-delay, så regeln ovan stoppar dem inte. Länk- och bildkontrollerna har tillägget link-check sist i User-Agent.

Kontakt

Har du frågor om crawlern, eller beter den sig fel på din webbplats? Mejla hello@seoverk.com.