{"id":16521,"date":"2026-06-05T16:58:23","date_gmt":"2026-06-05T14:58:23","guid":{"rendered":"https:\/\/refinery89.com\/?p=16521"},"modified":"2026-06-17T16:17:34","modified_gmt":"2026-06-17T14:17:34","slug":"was-ist-robots-txt","status":"publish","type":"post","link":"https:\/\/refinery89.com\/de\/what-is-robots-txt\/","title":{"rendered":"What is robots.txt and how to use it in your website strategy"},"content":{"rendered":"<p>Das Ausspielen der richtigen Karten in Ihrer Website-Strategie kann den entscheidenden Unterschied ausmachen, wenn es darum geht, Traffic und Umsatz zu generieren. Eines der Werkzeuge, das in den heutigen Gespr\u00e4chen immer h\u00e4ufiger vorkommt, insbesondere mit dem <a href=\"https:\/\/www.mckinsey.com\/capabilities\/growth-marketing-and-sales\/our-insights\/new-front-door-to-the-internet-winning-in-the-age-of-ai-search\">Aufstieg der KI<\/a>, ist robots.txt. Dies ist eine einfache Textdatei, die Suchmaschinen hilft, sich auf Ihre wertvollsten Seiten zu konzentrieren. Richtig angewendet kann sie die Crawleffizienz verbessern, die Inhaltsfindung unterst\u00fctzen und die Leistung Ihrer Website maximieren. Werfen wir einen genaueren Blick darauf, wie sie funktioniert.<\/p>\n<p><strong>\u00a0<\/strong><\/p>\n<h2><strong>Was ist robots.txt?<\/strong><\/h2>\n<p>&nbsp;<\/p>\n<p>Robots.txt ist eine Textdatei, die im Stammverzeichnis Ihrer Website-Dom\u00e4ne platziert werden kann, um Suchmaschinen-Bots mitzuteilen, welche Seiten sie crawlen und welche sie vermeiden sollen. Betrachten Sie es als Reisef\u00fchrer, aber f\u00fcr Web-Crawler. Indem Crawler von Bereichen mit geringem Wert weggeleitet werden, k\u00f6nnen Suchmaschinen ihre Crawl-Ressourcen auf Ihre wichtigsten Inhalte konzentrieren. Dies erm\u00f6glicht es Ihnen als Publisher, den Traffic auf Ihre relevantesten Inhalte zu priorisieren.<\/p>\n<p>Beachten Sie, dass eine robots.txt-Datei Ihre Seite nicht vollst\u00e4ndig vor Suchmaschinen verbirgt und nicht alle Suchmaschinen Ihre Anweisungen befolgen werden. Wenn Sie eine Webseite aus den Suchergebnissen entfernen lassen m\u00f6chten, verwenden Sie eine noindex-Direktive und erlauben Sie Suchmaschinen den Zugriff auf die Seite, damit sie diese Anweisung sehen k\u00f6nnen, oder sch\u00fctzen Sie die Seite, die Sie privat halten m\u00f6chten, mit einem Passwort.<\/p>\n<p>&nbsp;<\/p>\n<h2><strong>Wie funktioniert die robots.txt-Datei?<\/strong><\/h2>\n<p>&nbsp;<\/p>\n<p>Wenn ein Crawler eine Website besucht, pr\u00fcft er typischerweise die robots.txt-Datei (oder eine zwischengespeicherte Version davon), bevor er URLs crawlt. Dies liefert ihm Anweisungen von Ihnen dar\u00fcber, welche Bereiche er aufrufen kann und welche nicht. Die robots.txt-Datei befindet sich auf <a href=\"http:\/\/yourdomain.com\/robots.txt\">deinedomain.com\/robots.txt<\/a> und sieht so aus:<\/p>\n<p>&nbsp;<\/p>\n<p><img fetchpriority=\"high\" decoding=\"async\" class=\"aligncenter wp-image-16522 size-full\" src=\"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/ChatGPT-Image-5-jun-2026-16_02_09.jpg\" alt=\"robots.txt Beispiel\" width=\"1536\" height=\"1024\" srcset=\"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/ChatGPT-Image-5-jun-2026-16_02_09.jpg 1536w, https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/ChatGPT-Image-5-jun-2026-16_02_09-300x200.jpg 300w, https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/ChatGPT-Image-5-jun-2026-16_02_09-1024x683.jpg 1024w, https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/ChatGPT-Image-5-jun-2026-16_02_09-768x512.jpg 768w, https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/ChatGPT-Image-5-jun-2026-16_02_09-18x12.jpg 18w\" sizes=\"(max-width: 1536px) 100vw, 1536px\" \/><\/p>\n<p>&nbsp;<\/p>\n<p>Eine robots.txt-Datei verwendet eine Syntax aus grundlegenden Direktiven, die die Grundregeln daf\u00fcr festlegen, wie Bots auf Ihrer Website agieren sollen. Diese sind:<\/p>\n<ul>\n<li style=\"list-style-type: none;\">\n<ul>\n<li><strong>User-Agent<\/strong> Dies gibt den Namen des Bots an, f\u00fcr den Sie die Regeln anwenden m\u00f6chten (Googlebot, Applebot, Bingbot usw.). Wenn Ihre Regeln f\u00fcr alle Bots gelten sollen, m\u00fcssen Sie stattdessen ein * in dieses Feld eintragen und nicht den Namen des Bots.<\/li>\n<li><strong>Verhindern: <\/strong>Wie der Name schon sagt, teilt er dem Bot mit, auf welche Seiten oder Dateien er nicht zugreifen darf. So \u00e4hnlich wie ein T\u00fcrsteher in einem Nachtclub, nur eben f\u00fcr eine Website.<\/li>\n<li><strong>Erlauben: <\/strong>Diese Anweisung weist Bots an, welche Seiten oder Unterverzeichnisse sie crawlen d\u00fcrfen, auch wenn das gesamte Verzeichnis eine Disallow-Regel hat.<\/li>\n<li><strong>Sitemap:<\/strong> Viele Publisher f\u00fcgen eine Sitemap-Referenz in ihre robots.txt-Datei ein, was es Suchmaschinen erleichtert, wichtige Seiten auf ihren Websites zu finden und zu crawlen.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p>&nbsp;<\/p>\n<p>Beispielweise, wenn Sie nicht m\u00f6chten, dass Bots Ihre Seite \u201cNeueste Nachrichten\u201d crawlen, aber m\u00f6chten, dass ein bestimmter Artikel indiziert wird, w\u00fcrde Ihre robots.txt-Zeile etwa so aussehen:<\/p>\n<p><em>User-Agent: Googlebot<\/em><\/p>\n<p><em>Verweigern: \/latest-news\/<\/em><\/p>\n<p><em>Erlauben: \/latest-news\/article-name\/<\/em><\/p>\n<p>&nbsp;<\/p>\n<h2><strong>Wie erstelle ich eine robots.txt-Datei<\/strong><\/h2>\n<p>&nbsp;<\/p>\n<p>Um es Ihnen einfacher zu machen. Sobald Sie die Seiten bestimmt haben, die Sie f\u00fcr Crawler sperren m\u00f6chten, k\u00f6nnen Sie Plugins wie <a href=\"https:\/\/yoast.com\/help\/how-to-edit-robots-txt-through-yoast-seo\/\">YoastSEO<\/a> in WordPress, um Ihre robots.txt-Datei zu erstellen und zu bearbeiten.<\/p>\n<p>Um es manuell zu tun, m\u00fcssen Sie eine einfache Textdatei, wie z. B. Notepad, \u00f6ffnen und sie unter dem Namen \u201crobots.txt\u201d speichern. F\u00fcgen Sie dann die Anweisungen hinzu und laden Sie die Datei in Ihr Stammverzeichnis hoch.<\/p>\n<p>Abschlie\u00dfend, nach dem Hochladen der Datei, \u00fcberpr\u00fcfen Sie diese \u00fcber <a href=\"https:\/\/support.google.com\/webmasters\/answer\/6062598?hl=en\">Google Search Console<\/a> indem Sie Crawl- und Indexierungsberichte pr\u00fcfen und wichtige URLs mit dem URL-Inspektionstool testen. GSC ist sehr n\u00fctzlich, um den \u00dcberblick \u00fcber den Zustand Ihrer Website, den Crawl- und Indexierungsstatus sowie den Suchverkehr zu behalten. K\u00fcrzlich hat Google Search Central angek\u00fcndigt, dass sie implementieren eine <a href=\"https:\/\/developers.google.com\/search\/blog\/2026\/06\/gen-ai-performance-reports\">Leistungsbericht neue Suchmaschine generative KI<\/a> um Ihre GEO-Bem\u00fchungen im Auge zu behalten. Bleiben Sie dran f\u00fcr unseren n\u00e4chsten Artikel dar\u00fcber, wie Sie diesen Bericht f\u00fcr Ihre Strategie nutzen k\u00f6nnen!<\/p>\n<p>&nbsp;<\/p>\n<h2 id=\"Why-robots.txt-matters-for-publishers?\" tabindex=\"-1\" data-local-id=\"55a5448dc3ff\" data-renderer-start-pos=\"3850\"><strong data-renderer-mark=\"true\">Warum robots.txt f\u00fcr Publisher wichtig ist<\/strong><\/h2>\n<p data-renderer-start-pos=\"3890\" data-local-id=\"a065ca412e67\">F\u00fcr Publisher kann die robots.txt ein n\u00fctzliches SEO-Tool sein, das Suchmaschinen hilft, Ihre Website effizienter zu durchsuchen, relevante Inhalte zu entdecken und die Gesamtleistung der Website zu verbessern. Dies kann wiederum dazu beitragen, Ihre Werbeeinnahmen zu maximieren.<\/p>\n<p>&nbsp;<\/p>\n<h3><strong>Hilft bei der Steuerung des Crawl-Budgets<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>Suchmaschinen weisen jeder Website ein begrenztes \u201cCrawl-Budget\u201d zu. Indem Sie minderwertige Seiten (wie interne Suchergebnisse, doppelte Seiten oder private Dateien) nicht zulassen, leiten Sie Crawler zu Ihren relevanten Inhalten, was die Indexierungseffizienz und die Website-Leistung verbessert.<\/p>\n<p>&nbsp;<\/p>\n<h3><strong>Verbessert die SEO-Leistung<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>Robots.txt-Dateien helfen, die Indexierungseffizienz zu verbessern und den Traffic zu priorisieren. Sie helfen dabei, den Fokus auf Ihre wertvollsten Seiten zu legen und f\u00f6rdern die schnellere Entdeckung Ihrer Inhalte. Au\u00dferdem halten sie Crawler von URLs mit geringem Wert fern, wie z. B. Testseiten, Duplikaten, Login-Bereichen usw.<\/p>\n<p><strong>\u00a0<\/strong><\/p>\n<h3><strong>Steuert das Scraping von Inhalten durch KI-Modelle<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>Sie k\u00f6nnen KI-Crawlern signalisieren, dass sie auf bestimmte Inhalte Ihrer Website nicht zugreifen sollen. Diese Option gibt Ihnen mehr Kontrolle \u00fcber Ihre Inhalte und hilft, diese zu sch\u00fctzen, wenn Sie sich nicht wohl dabei f\u00fchlen <a href=\"https:\/\/refinery89.com\/de\/stehlen-llms-den-traffic-von-verlagen\/\">LLMs<\/a> Es zu verwenden. Wenn es Ihnen jedoch nichts ausmacht, zus\u00e4tzliche Aufmerksamkeit zu erregen und generative KI-Tools als Branding-M\u00f6glichkeit betrachten, k\u00f6nnen Sie deren Crawler nach Belieben auf Ihrer Website zulassen.<\/p>\n<p>Beachten Sie, dass die Einhaltung je nach Crawler variiert und davon abh\u00e4ngt, ob er robots.txt ber\u00fccksichtigt.<\/p>\n<p><strong>\u00a0<\/strong><\/p>\n<h3><strong>Seitenleistung optimieren<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>Die Verwendung von robots.txt kann dazu beitragen, unn\u00f6tigen Bot-Traffic und Serverauslastung zu reduzieren. Indem Sie begrenzen, wie viele Seiten Bots crawlen, hat Ihr Server mehr Ressourcen f\u00fcr echte Besucher, sodass Seiten schneller geladen werden. Dies hilft Ihrem <a href=\"https:\/\/refinery89.com\/de\/core-web-vitals-der-guide\/\">Core Web Vitals,<\/a> Verbesserung des Benutzererlebnisses.<\/p>\n<p>&nbsp;<\/p>\n<h2><strong>Best Practices f\u00fcr die Verwendung von robots.txt<\/strong><\/h2>\n<p>&nbsp;<\/p>\n<p>Eine robots.txt-Datei ist f\u00fcr die meisten Websites nicht unbedingt erforderlich. Sie kann jedoch als gutes <a href=\"https:\/\/refinery89.com\/de\/wie-kannst-du-deinen-organischen-traffic-mit-seo\/\">SEO-Bereich<\/a> Strategien zur Maximierung Ihres Crawl-Budgets, zur Vermeidung von Server\u00fcberlastung und zum Schutz bestimmter Inhalte. Wenn Sie sich f\u00fcr die Nutzung entscheiden, sollten Sie sich an diese Best Practices halten:<\/p>\n<p>&nbsp;<\/p>\n<h3><strong>Verwenden Sie robots.txt nicht, um Ihre Inhalte vor den Suchergebnisseiten zu verstecken<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>Wenn Ihr Ziel darin besteht, Inhalte privat zu halten oder sie vollst\u00e4ndig aus den Suchergebnissen zu entfernen, verwenden Sie ein noindex-Tag, anstatt sich auf robots.txt zu verlassen. Der Grund daf\u00fcr ist, dass Google eine Seite m\u00f6glicherweise trotzdem indexieren kann, wenn ein externer Link dazu existiert, selbst wenn Googlebot \u00fcber robots.txt daran gehindert wird, sie zu crawlen.<\/p>\n<p>&nbsp;<\/p>\n<h3><strong>Wichtige Ressourcen nicht blockieren<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>Seien Sie vorsichtig, keine Ressourcen wie CSS, JavaScript oder Bilder zu blockieren, die Ihre Website f\u00fcr die Darstellung ben\u00f6tigt, da Suchmaschinen diese ben\u00f6tigen, um das Layout und die Funktionalit\u00e4t Ihrer Seiten zu verstehen.<\/p>\n<p>&nbsp;<\/p>\n<h3><strong>F\u00fchren Sie regelm\u00e4\u00dfige Tests und Aktualisierungen Ihrer robots.txt-Datei durch.<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>Probleme mit Ihrer robots.txt-Datei k\u00f6nnen Ihre SEO beeintr\u00e4chtigen. Deshalb ist es wichtig, Ihre Datei zu aktualisieren, w\u00e4hrend Sie weiterhin gro\u00dfartige Inhalte erstellen und Ihre Website sich weiterentwickelt. Das Testen kann dazu beitragen, dass alle Ihre Anweisungen korrekt angewendet werden und es keine St\u00f6rungen beim Rendering gibt.<\/p>\n<p>&nbsp;<\/p>\n<h2><strong>Robots.txt als Strategie f\u00fcr Publisher: Annahme oder Ablehnung?<\/strong><\/h2>\n<p>&nbsp;<\/p>\n<p>Robots.txt ist mehr als eine technische SEO-Datei. Es ist eine Anleitung, die bestimmt, wie Bots, Crawler und IA-Systeme mit Inhalten auf Ihrer Website interagieren k\u00f6nnen. So k\u00f6nnen Sie den Traffic zu den wertvollen Seiten priorisieren, die im Rampenlicht stehen sollten. F\u00fcr Publisher ist es ein strategisches Werkzeug, um Sichtbarkeit, Leistung und Content-Zugriff wie ein Profi zu steuern, insbesondere in einer Zeit, in der sich die Suche, wie wir sie kennen, ver\u00e4ndert.<\/p>\n<p>Erfahren Sie mehr dar\u00fcber, wie Sie Ihren Traffic in diesem neuen Zeitalter der Auffindbarkeit mit unserem Webinar steigern k\u00f6nnen <a href=\"https:\/\/refinery89.com\/de\/how-publishers-can-compete-in-an-ai-first-world-webinar\/\">\u201cSuche neu erfunden: Wie Verlage in einer KI-dominierten Welt bestehen k\u00f6nnen\u201d<\/a>. Sie k\u00f6nnen noch einen Schritt weiter gehen und eine Anforderung stellen <a href=\"https:\/\/refinery89.com\/de\/kostenloser-website-audit-zur-maximierung-ihrer-werbeeinnahmen\/\">Kostenlose Website-Analyse<\/a>. Auf diese Weise erhalten Sie personalisierte Empfehlungen, wie Sie Ihren Umsatz und Ihre Leistung f\u00fcr langfristiges Wachstum maximieren k\u00f6nnen.<\/p>","protected":false},"excerpt":{"rendered":"<p>Playing the right cards in your website strategy can make all the difference in driving traffic and revenue. One of the tools that\u2019s coming up in conversations these days, especially with the rise of the IA, is robots.txt. This is a simple text file that helps search engines focus on your most valuable pages. Used [&hellip;]<\/p>\n","protected":false},"author":19,"featured_media":16525,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[131,22,12,20],"tags":[72,65],"class_list":["post-16521","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-company-news","category-news","category-publishers","category-refinery-academy","tag-publishers","tag-seo"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.6 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>What is robots.txt and how to use it in your website strategy | Refinery89<\/title>\n<meta name=\"description\" content=\"Robots.txt helps search engines crawl your site more efficiently. Learn best practices to improve indexing, site performance, and visibility.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/refinery89.com\/de\/was-ist-robots-txt\/\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"What is robots.txt and how to use it in your website strategy | Refinery89\" \/>\n<meta property=\"og:description\" content=\"Robots.txt helps search engines crawl your site more efficiently. Learn best practices to improve indexing, site performance, and visibility.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/refinery89.com\/de\/was-ist-robots-txt\/\" \/>\n<meta property=\"og:site_name\" content=\"Refinery89\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/Refinery89\/\" \/>\n<meta property=\"article:published_time\" content=\"2026-06-05T14:58:23+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2026-06-17T14:17:34+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/Blog-Post_Robot.txt.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"800\" \/>\n\t<meta property=\"og:image:height\" content=\"550\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Patricia Sim\u00f3n\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@refinery89\" \/>\n<meta name=\"twitter:site\" content=\"@refinery89\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Patricia Sim\u00f3n\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"6\u00a0Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/\"},\"author\":{\"name\":\"Patricia Sim\u00f3n\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/#\\\/schema\\\/person\\\/73d11fd427b79cf70aa553e3b9d33f7d\"},\"headline\":\"What is robots.txt and how to use it in your website strategy\",\"datePublished\":\"2026-06-05T14:58:23+00:00\",\"dateModified\":\"2026-06-17T14:17:34+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/\"},\"wordCount\":1294,\"publisher\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/#organization\"},\"image\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2026\\\/06\\\/Blog-Post_Robot.txt.jpg\",\"keywords\":[\"Publishers\",\"SEO\"],\"articleSection\":[\"Company News\",\"News\",\"Publishers\",\"Refinery Academy\"],\"inLanguage\":\"de\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/\",\"url\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/\",\"name\":\"What is robots.txt and how to use it in your website strategy | Refinery89\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2026\\\/06\\\/Blog-Post_Robot.txt.jpg\",\"datePublished\":\"2026-06-05T14:58:23+00:00\",\"dateModified\":\"2026-06-17T14:17:34+00:00\",\"description\":\"Robots.txt helps search engines crawl your site more efficiently. Learn best practices to improve indexing, site performance, and visibility.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#breadcrumb\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#primaryimage\",\"url\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2026\\\/06\\\/Blog-Post_Robot.txt.jpg\",\"contentUrl\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2026\\\/06\\\/Blog-Post_Robot.txt.jpg\",\"width\":800,\"height\":550,\"caption\":\"what is robots.txt blog\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/refinery89.com\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"What is robots.txt and how to use it in your website strategy\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/#website\",\"url\":\"https:\\\/\\\/refinery89.com\\\/\",\"name\":\"Refinery89\",\"description\":\"\",\"publisher\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/refinery89.com\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/#organization\",\"name\":\"Refinery89\",\"alternateName\":\"R89\",\"url\":\"https:\\\/\\\/refinery89.com\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2025\\\/08\\\/r89-thumbnail.png\",\"contentUrl\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2025\\\/08\\\/r89-thumbnail.png\",\"width\":200,\"height\":200,\"caption\":\"Refinery89\"},\"image\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/www.facebook.com\\\/Refinery89\\\/\",\"https:\\\/\\\/x.com\\\/refinery89\",\"https:\\\/\\\/www.linkedin.com\\\/company\\\/refinery89\\\/\",\"https:\\\/\\\/www.youtube.com\\\/@refinery89\",\"https:\\\/\\\/www.instagram.com\\\/refinery_89\\\/\",\"https:\\\/\\\/www.reddit.com\\\/user\\\/Refinery89\\\/\",\"https:\\\/\\\/share.google\\\/K8hFf3ktmUrTi1XCa\"]},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/#\\\/schema\\\/person\\\/73d11fd427b79cf70aa553e3b9d33f7d\",\"name\":\"Patricia Sim\u00f3n\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2025\\\/02\\\/patricia-simon_avatar-96x96.png\",\"url\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2025\\\/02\\\/patricia-simon_avatar-96x96.png\",\"contentUrl\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2025\\\/02\\\/patricia-simon_avatar-96x96.png\",\"caption\":\"Patricia Sim\u00f3n\"},\"description\":\"Patricia Sim\u00f3n is Refinery89\u2019s Inbound and Content Specialist. With expertise in digital marketing, SEO, and ad tech trends, Patricia creates content that translates complex programmatic advertising topics into actionable insights, empowering publishers and advertisers to thrive.\",\"sameAs\":[\"https:\\\/\\\/www.linkedin.com\\\/in\\\/patriciasimonmarketing\\\/\"],\"url\":\"https:\\\/\\\/refinery89.com\\\/de\\\/author\\\/patri\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"What is robots.txt and how to use it in your website strategy | Refinery89","description":"Robots.txt hilft Suchmaschinen, Ihre Website effizienter zu durchsuchen. Erfahren Sie Best Practices, um die Indexierung, die Website-Leistung und die Sichtbarkeit zu verbessern.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/refinery89.com\/de\/was-ist-robots-txt\/","og_locale":"de_DE","og_type":"article","og_title":"What is robots.txt and how to use it in your website strategy | Refinery89","og_description":"Robots.txt helps search engines crawl your site more efficiently. Learn best practices to improve indexing, site performance, and visibility.","og_url":"https:\/\/refinery89.com\/de\/was-ist-robots-txt\/","og_site_name":"Refinery89","article_publisher":"https:\/\/www.facebook.com\/Refinery89\/","article_published_time":"2026-06-05T14:58:23+00:00","article_modified_time":"2026-06-17T14:17:34+00:00","og_image":[{"width":800,"height":550,"url":"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/Blog-Post_Robot.txt.jpg","type":"image\/jpeg"}],"author":"Patricia Sim\u00f3n","twitter_card":"summary_large_image","twitter_creator":"@refinery89","twitter_site":"@refinery89","twitter_misc":{"Verfasst von":"Patricia Sim\u00f3n","Gesch\u00e4tzte Lesezeit":"6\u00a0Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#article","isPartOf":{"@id":"https:\/\/refinery89.com\/what-is-robots-txt\/"},"author":{"name":"Patricia Sim\u00f3n","@id":"https:\/\/refinery89.com\/#\/schema\/person\/73d11fd427b79cf70aa553e3b9d33f7d"},"headline":"What is robots.txt and how to use it in your website strategy","datePublished":"2026-06-05T14:58:23+00:00","dateModified":"2026-06-17T14:17:34+00:00","mainEntityOfPage":{"@id":"https:\/\/refinery89.com\/what-is-robots-txt\/"},"wordCount":1294,"publisher":{"@id":"https:\/\/refinery89.com\/#organization"},"image":{"@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/Blog-Post_Robot.txt.jpg","keywords":["Publishers","SEO"],"articleSection":["Company News","News","Publishers","Refinery Academy"],"inLanguage":"de"},{"@type":"WebPage","@id":"https:\/\/refinery89.com\/what-is-robots-txt\/","url":"https:\/\/refinery89.com\/what-is-robots-txt\/","name":"What is robots.txt and how to use it in your website strategy | Refinery89","isPartOf":{"@id":"https:\/\/refinery89.com\/#website"},"primaryImageOfPage":{"@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#primaryimage"},"image":{"@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/Blog-Post_Robot.txt.jpg","datePublished":"2026-06-05T14:58:23+00:00","dateModified":"2026-06-17T14:17:34+00:00","description":"Robots.txt hilft Suchmaschinen, Ihre Website effizienter zu durchsuchen. Erfahren Sie Best Practices, um die Indexierung, die Website-Leistung und die Sichtbarkeit zu verbessern.","breadcrumb":{"@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#breadcrumb"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/refinery89.com\/what-is-robots-txt\/"]}]},{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#primaryimage","url":"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/Blog-Post_Robot.txt.jpg","contentUrl":"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/Blog-Post_Robot.txt.jpg","width":800,"height":550,"caption":"what is robots.txt blog"},{"@type":"BreadcrumbList","@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/refinery89.com\/"},{"@type":"ListItem","position":2,"name":"What is robots.txt and how to use it in your website strategy"}]},{"@type":"WebSite","@id":"https:\/\/refinery89.com\/#website","url":"https:\/\/refinery89.com\/","name":"Refinery89","description":"","publisher":{"@id":"https:\/\/refinery89.com\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/refinery89.com\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/refinery89.com\/#organization","name":"Refinery89","alternateName":"R89","url":"https:\/\/refinery89.com\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/refinery89.com\/#\/schema\/logo\/image\/","url":"https:\/\/refinery89.com\/wp-content\/uploads\/2025\/08\/r89-thumbnail.png","contentUrl":"https:\/\/refinery89.com\/wp-content\/uploads\/2025\/08\/r89-thumbnail.png","width":200,"height":200,"caption":"Refinery89"},"image":{"@id":"https:\/\/refinery89.com\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/Refinery89\/","https:\/\/x.com\/refinery89","https:\/\/www.linkedin.com\/company\/refinery89\/","https:\/\/www.youtube.com\/@refinery89","https:\/\/www.instagram.com\/refinery_89\/","https:\/\/www.reddit.com\/user\/Refinery89\/","https:\/\/share.google\/K8hFf3ktmUrTi1XCa"]},{"@type":"Person","@id":"https:\/\/refinery89.com\/#\/schema\/person\/73d11fd427b79cf70aa553e3b9d33f7d","name":"Patricia Sim\u00f3n","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/refinery89.com\/wp-content\/uploads\/2025\/02\/patricia-simon_avatar-96x96.png","url":"https:\/\/refinery89.com\/wp-content\/uploads\/2025\/02\/patricia-simon_avatar-96x96.png","contentUrl":"https:\/\/refinery89.com\/wp-content\/uploads\/2025\/02\/patricia-simon_avatar-96x96.png","caption":"Patricia Sim\u00f3n"},"description":"Patricia Sim\u00f3n ist Inbound und Content Specialist bei Refinery89. Mit Expertise in den Bereichen Digital Marketing, SEO und Ad-Tech-Trends erstellt Patricia Inhalte, die komplexe programmatische Werbethemen in umsetzbare Erkenntnisse \u00fcbersetzen und Publishern sowie Werbetreibenden dabei helfen, erfolgreich zu sein.","sameAs":["https:\/\/www.linkedin.com\/in\/patriciasimonmarketing\/"],"url":"https:\/\/refinery89.com\/de\/author\/patri\/"}]}},"_links":{"self":[{"href":"https:\/\/refinery89.com\/de\/wp-json\/wp\/v2\/posts\/16521","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/refinery89.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/refinery89.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/refinery89.com\/de\/wp-json\/wp\/v2\/users\/19"}],"replies":[{"embeddable":true,"href":"https:\/\/refinery89.com\/de\/wp-json\/wp\/v2\/comments?post=16521"}],"version-history":[{"count":7,"href":"https:\/\/refinery89.com\/de\/wp-json\/wp\/v2\/posts\/16521\/revisions"}],"predecessor-version":[{"id":16592,"href":"https:\/\/refinery89.com\/de\/wp-json\/wp\/v2\/posts\/16521\/revisions\/16592"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/refinery89.com\/de\/wp-json\/wp\/v2\/media\/16525"}],"wp:attachment":[{"href":"https:\/\/refinery89.com\/de\/wp-json\/wp\/v2\/media?parent=16521"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/refinery89.com\/de\/wp-json\/wp\/v2\/categories?post=16521"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/refinery89.com\/de\/wp-json\/wp\/v2\/tags?post=16521"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}