{"id":16521,"date":"2026-06-05T16:58:23","date_gmt":"2026-06-05T14:58:23","guid":{"rendered":"https:\/\/refinery89.com\/?p=16521"},"modified":"2026-06-17T16:17:34","modified_gmt":"2026-06-17T14:17:34","slug":"o-que-e-robots-txt","status":"publish","type":"post","link":"https:\/\/refinery89.com\/pt\/what-is-robots-txt\/","title":{"rendered":"What is robots.txt and how to use it in your website strategy"},"content":{"rendered":"<p>Jogar as cartas certas na estrat\u00e9gia do seu website pode fazer toda a diferen\u00e7a quando se trata de gerar tr\u00e1fego e receita. Uma das ferramentas que est\u00e1 ganhando destaque nas conversas atualmente, especialmente com a <a href=\"https:\/\/www.mckinsey.com\/capabilities\/growth-marketing-and-sales\/our-insights\/new-front-door-to-the-internet-winning-in-the-age-of-ai-search\">ascens\u00e3o da IA<\/a>, \u00e9 o robots.txt. Este \u00e9 um arquivo de texto simples que ajuda os mecanismos de pesquisa a focar em suas p\u00e1ginas mais valiosas. Usado corretamente, ele pode melhorar a efici\u00eancia de rastreamento, apoiar a descoberta de conte\u00fado e ajudar a maximizar o desempenho do seu site. Vamos analisar mais de perto como ele funciona.<\/p>\n<p><strong>\u00a0<\/strong><\/p>\n<h2><strong>O que \u00e9 robots.txt?<\/strong><\/h2>\n<p>&nbsp;<\/p>\n<p>Robots.txt \u00e9 um arquivo de texto que pode ser colocado na raiz do dom\u00ednio do seu site para informar aos bots de mecanismos de busca quais p\u00e1ginas eles devem rastrear e quais devem evitar. Pense nele como um guia de viagem, mas para rastreadores da web. Ao direcionar os rastreadores para longe de \u00e1reas de baixo valor, isso pode ajudar os mecanismos de busca a concentrar seus recursos de rastreamento em seu conte\u00fado mais importante. Isso permite que voc\u00ea, como editor, priorize o tr\u00e1fego para seu conte\u00fado mais relevante.<\/p>\n<p>Tenha em mente que um arquivo robots.txt n\u00e3o ocultar\u00e1 completamente sua p\u00e1gina dos motores de busca e nem todos eles seguir\u00e3o suas instru\u00e7\u00f5es. Se voc\u00ea deseja que uma p\u00e1gina da web seja removida dos resultados de busca, use uma diretiva noindex e permita que os motores de busca acessem a p\u00e1gina para que eles possam ver essa instru\u00e7\u00e3o, ou proteja com senha a p\u00e1gina que voc\u00ea deseja manter privada.<\/p>\n<p>&nbsp;<\/p>\n<h2><strong>Como funciona o arquivo robots.txt<\/strong><\/h2>\n<p>&nbsp;<\/p>\n<p>Quando um crawler visita um site, ele geralmente verifica o arquivo robots.txt (ou uma vers\u00e3o em cache dele) antes de rastrear os URLs. Isso fornece instru\u00e7\u00f5es definidas por voc\u00ea sobre quais \u00e1reas ele pode acessar e quais n\u00e3o pode. O arquivo robots.txt \u00e9 encontrado em <a href=\"http:\/\/yourdomain.com\/robots.txt\">yourdomain.com\/robots.txt<\/a> e parece com isto:<\/p>\n<p>&nbsp;<\/p>\n<p><img fetchpriority=\"high\" decoding=\"async\" class=\"aligncenter wp-image-16522 size-full\" src=\"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/ChatGPT-Image-5-jun-2026-16_02_09.jpg\" alt=\"exemplo de robots.txt\" width=\"1536\" height=\"1024\" srcset=\"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/ChatGPT-Image-5-jun-2026-16_02_09.jpg 1536w, https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/ChatGPT-Image-5-jun-2026-16_02_09-300x200.jpg 300w, https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/ChatGPT-Image-5-jun-2026-16_02_09-1024x683.jpg 1024w, https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/ChatGPT-Image-5-jun-2026-16_02_09-768x512.jpg 768w, https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/ChatGPT-Image-5-jun-2026-16_02_09-18x12.jpg 18w\" sizes=\"(max-width: 1536px) 100vw, 1536px\" \/><\/p>\n<p>&nbsp;<\/p>\n<p>Um arquivo robots.txt usa uma sintaxe de diretivas b\u00e1sicas que definem as regras de como os bots devem agir em seu site. Eles s\u00e3o:<\/p>\n<ul>\n<li style=\"list-style-type: none;\">\n<ul>\n<li><strong>Agente do usu\u00e1rio:<\/strong> Isso indica o nome do bot ao qual voc\u00ea deseja aplicar as regras (Googlebot, Applebot, Bingbot, etc.). Se voc\u00ea quiser que suas regras se apliquem a todos os bots, tudo o que voc\u00ea precisa fazer \u00e9 incluir um * neste campo em vez do nome do bot.<\/li>\n<li><strong>Proibir: <\/strong>Como o pr\u00f3prio nome sugere, ele diz ao bot quais p\u00e1ginas ou arquivos ele n\u00e3o tem permiss\u00e3o para acessar. \u00c9 meio como o seguran\u00e7a de uma boate, mas para um site.<\/li>\n<li><strong>Permitir <\/strong>Esta diretiva indica aos rob\u00f4s quais p\u00e1ginas ou subdiret\u00f3rios eles podem rastrear, mesmo que todo o diret\u00f3rio tenha uma regra de proibi\u00e7\u00e3o.<\/li>\n<li><strong>Mapa do site:<\/strong> Muitos editores incluem uma refer\u00eancia ao sitemap no arquivo robots.txt, facilitando para os motores de busca encontrarem e rastrearem p\u00e1ginas importantes em seus sites.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p>&nbsp;<\/p>\n<p>Por exemplo, se voc\u00ea n\u00e3o quer que bots rastreiem sua p\u00e1gina de \u201c\u00faltimas not\u00edcias\u201d, mas quer que um artigo espec\u00edfico seja indexado, sua linha robots.txt diria algo como isto:<\/p>\n<p><em>Agente-usu\u00e1rio: Googlebot<\/em><\/p>\n<p><em>Proibir: \/latest-news\/<\/em><\/p>\n<p><em>Permitir: \/noticias-mais-recentes\/nome-do-artigo\/<\/em><\/p>\n<p>&nbsp;<\/p>\n<h2><strong>Como criar um arquivo robots.txt<\/strong><\/h2>\n<p>&nbsp;<\/p>\n<p>Vamos facilitar para voc\u00ea. Uma vez que voc\u00ea tenha determinado as p\u00e1ginas que deseja bloquear de rastreadores, voc\u00ea pode usar plugins como <a href=\"https:\/\/yoast.com\/help\/how-to-edit-robots-txt-through-yoast-seo\/\">YoastSEO<\/a> no WordPress para criar e editar seu arquivo robots.txt.<\/p>\n<p>Para fazer isso manualmente, voc\u00ea precisar\u00e1 abrir um arquivo de texto simples, como o Bloco de Notas, e salv\u00e1-lo com o nome \u201crobots.txt\u201d. Em seguida, adicione as diretivas e fa\u00e7a o upload do arquivo para o seu diret\u00f3rio raiz.<\/p>\n<p>Finalmente, ap\u00f3s carregar o arquivo, verifique-o atrav\u00e9s do <a href=\"https:\/\/support.google.com\/webmasters\/answer\/6062598?hl=en\">Google Search Console<\/a> ao verificar relat\u00f3rios de rastreamento e indexa\u00e7\u00e3o, e testar URLs importantes usando a ferramenta de inspe\u00e7\u00e3o de URL. O GCS \u00e9 muito \u00fatil para acompanhar a sa\u00fade do seu site, o status de rastreamento e indexa\u00e7\u00e3o, e o tr\u00e1fego de pesquisa. Recentemente, o Google Search Central anunciou que implementou uma <a href=\"https:\/\/developers.google.com\/search\/blog\/2026\/06\/gen-ai-performance-reports\">novo motor de busca desempenho relat\u00f3rio IA generativa<\/a> para acompanhar seus esfor\u00e7os de GEO. Fique atento ao nosso pr\u00f3ximo artigo sobre como usar este relat\u00f3rio em sua estrat\u00e9gia!<\/p>\n<p>&nbsp;<\/p>\n<h2 id=\"Why-robots.txt-matters-for-publishers?\" tabindex=\"-1\" data-local-id=\"55a5448dc3ff\" data-renderer-start-pos=\"3850\"><strong data-renderer-mark=\"true\">Por que o robots.txt \u00e9 importante para publicadores?<\/strong><\/h2>\n<p data-renderer-start-pos=\"3890\" data-local-id=\"a065ca412e67\">Para publicadores, o robots.txt pode ser uma ferramenta de SEO \u00fatil, ajudando os motores de busca a rastrear seu site de forma mais eficiente, descobrir conte\u00fado relevante e melhorar o desempenho geral do site. Isso, por sua vez, pode ajudar a maximizar sua receita de an\u00fancios.<\/p>\n<p>&nbsp;<\/p>\n<h3><strong>Ajuda no Controle do Or\u00e7amento de Rastreamento<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>Mecanismos de busca alocam um \u201ccrawl budget\u201d limitado por site. Ao proibir p\u00e1ginas de baixo valor (como resultados de busca interna, p\u00e1ginas duplicadas ou arquivos privados), voc\u00ea orienta os rastreadores para o seu conte\u00fado relevante, melhorando a efici\u00eancia da indexa\u00e7\u00e3o e o desempenho do site.<\/p>\n<p>&nbsp;<\/p>\n<h3><strong>Melhora o Desempenho de SEO<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>Arquivos robots.txt ajudam a melhorar a efici\u00eancia da indexa\u00e7\u00e3o e a priorizar o tr\u00e1fego. Eles ajudam a focar nas suas p\u00e1ginas mais valiosas, apoiando a descoberta mais r\u00e1pida do seu conte\u00fado. Eles tamb\u00e9m mant\u00eam os crawlers afastados de URLs de baixo valor, como p\u00e1ginas de teste, duplicadas, \u00e1reas de login, etc.<\/p>\n<p><strong>\u00a0<\/strong><\/p>\n<h3><strong>Controle a Raspagem de Conte\u00fado por Modelos de IA<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>Voc\u00ea pode sinalizar para rastreadores de IA que eles n\u00e3o devem acessar determinado conte\u00fado em seu site. Essa op\u00e7\u00e3o oferece maior controle sobre seu conte\u00fado e ajuda a proteg\u00ea-lo se voc\u00ea n\u00e3o se sentir confort\u00e1vel com <a href=\"https:\/\/refinery89.com\/pt\/os-llms-estao-roubando-trafego-de-editoras\/\">LLMs<\/a> usando-o. No entanto, se voc\u00ea n\u00e3o se importar com a exposi\u00e7\u00e3o extra e considerar ferramentas de IA generativa como uma oportunidade de branding, voc\u00ea pode permitir que seus rastreadores acessem seu site como achar melhor.<\/p>\n<p>Lembre-se que a conformidade varia de acordo com o rastreador e depende se ele respeita o robots.txt.<\/p>\n<p><strong>\u00a0<\/strong><\/p>\n<h3><strong>Otimizar Desempenho do Site<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>Utilizar o robots.txt pode ajudar a reduzir o tr\u00e1fego desnecess\u00e1rio de bots e a carga do servidor. Ao limitar quantas p\u00e1ginas os bots rastreiam, seu servidor tem mais recursos para visitantes reais, para que as p\u00e1ginas carreguem mais r\u00e1pido. Isso ajuda seu <a href=\"https:\/\/refinery89.com\/pt\/core-web-vitals-o-guia\/\">Core Web Vitals,<\/a> melhorando a experi\u00eancia do usu\u00e1rio.<\/p>\n<p>&nbsp;<\/p>\n<h2><strong>Melhores pr\u00e1ticas para usar robots.txt<\/strong><\/h2>\n<p>&nbsp;<\/p>\n<p>Ter um arquivo robots.txt n\u00e3o \u00e9 obrigat\u00f3rio para a maioria dos sites. No entanto, ele pode servir como um bom <a href=\"https:\/\/refinery89.com\/pt\/como-aumentar-seu-trafego-organico\/\">Otimiza\u00e7\u00e3o para motores de busca<\/a> estrat\u00e9gia para maximizar seu crawl budget, evitar sobrecarga do servidor e proteger determinado conte\u00fado. Se voc\u00ea optar por us\u00e1-lo, pode querer seguir estas melhores pr\u00e1ticas:<\/p>\n<p>&nbsp;<\/p>\n<h3><strong>N\u00e3o use o robots.txt para ocultar seu conte\u00fado dos resultados de pesquisa.<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>Se o seu objetivo \u00e9 manter o conte\u00fado privado ou remov\u00ea-lo completamente dos resultados de pesquisa, use uma tag noindex em vez de depender do robots.txt. Isso ocorre porque o Google ainda pode indexar uma p\u00e1gina se houver um link externo para ela, mesmo quando o Googlebot \u00e9 impedido de rastre\u00e1-la atrav\u00e9s do robots.txt.<\/p>\n<p>&nbsp;<\/p>\n<h3><strong>Evite bloquear quaisquer recursos importantes<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>Tenha cuidado para n\u00e3o bloquear nenhum recurso como CSS, JavaScript ou imagens que seu site precisa para renderizar, pois os motores de busca dependem deles para entender o layout e a funcionalidade das suas p\u00e1ginas.<\/p>\n<p>&nbsp;<\/p>\n<h3><strong>Fa\u00e7a testes e atualiza\u00e7\u00f5es regulares do seu arquivo robots.txt<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>Problemas com o seu robots.txt podem afetar seu SEO. \u00c9 por isso que \u00e9 importante atualizar seu arquivo \u00e0 medida que voc\u00ea continua a criar \u00f3timo conte\u00fado e seu site evolui. Test\u00e1-lo pode ajudar a garantir que todas as suas diretivas sejam aplicadas corretamente e que n\u00e3o haja interfer\u00eancia na renderiza\u00e7\u00e3o.<\/p>\n<p>&nbsp;<\/p>\n<h2><strong>Robots.txt como estrat\u00e9gia para publicadores: aceitar ou dispensar?<\/strong><\/h2>\n<p>&nbsp;<\/p>\n<p>O robots.txt \u00e9 mais do que um arquivo t\u00e9cnico de SEO. \u00c9 um guia que determina como bots, crawlers e sistemas de IA podem interagir com o conte\u00fado do seu site. Isso permite que voc\u00ea priorize o tr\u00e1fego para aquelas p\u00e1ginas valiosas que merecem destaque. Para publicadores, \u00e9 uma ferramenta estrat\u00e9gica para gerenciar visibilidade, desempenho e acesso a conte\u00fado como um campe\u00e3o, especialmente em uma era em que a busca est\u00e1 mudando como a conhecemos.<\/p>\n<p>Aprenda mais sobre como aumentar seu tr\u00e1fego nesta nova era de descobertas com o nosso webinar <a href=\"https:\/\/refinery89.com\/pt\/how-publishers-can-compete-in-an-ai-first-world-webinar\/\">\u201cBusca Reinventada: Como as Editoras Podem Competir em um Mundo \u201dAI First\"\"<\/a>. Voc\u00ea pode ir um passo adiante e solicitar um <a href=\"https:\/\/refinery89.com\/pt\/auditoria-de-site-gratuita-para-maximizar-sua-receita-de-anuncios\/\">Auditoria de Site Gratuita<\/a>. Dessa forma, voc\u00ea receber\u00e1 recomenda\u00e7\u00f5es personalizadas sobre como maximizar sua receita e desempenho para crescimento a longo prazo.<\/p>","protected":false},"excerpt":{"rendered":"<p>Playing the right cards in your website strategy can make all the difference in driving traffic and revenue. One of the tools that\u2019s coming up in conversations these days, especially with the rise of the IA, is robots.txt. This is a simple text file that helps search engines focus on your most valuable pages. Used [&hellip;]<\/p>\n","protected":false},"author":19,"featured_media":16525,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[131,22,12,20],"tags":[72,65],"class_list":["post-16521","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-company-news","category-news","category-publishers","category-refinery-academy","tag-publishers","tag-seo"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.6 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>What is robots.txt and how to use it in your website strategy | Refinery89<\/title>\n<meta name=\"description\" content=\"Robots.txt helps search engines crawl your site more efficiently. Learn best practices to improve indexing, site performance, and visibility.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/refinery89.com\/pt\/o-que-e-robots-txt\/\" \/>\n<meta property=\"og:locale\" content=\"pt_BR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"What is robots.txt and how to use it in your website strategy | Refinery89\" \/>\n<meta property=\"og:description\" content=\"Robots.txt helps search engines crawl your site more efficiently. Learn best practices to improve indexing, site performance, and visibility.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/refinery89.com\/pt\/o-que-e-robots-txt\/\" \/>\n<meta property=\"og:site_name\" content=\"Refinery89\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/Refinery89\/\" \/>\n<meta property=\"article:published_time\" content=\"2026-06-05T14:58:23+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2026-06-17T14:17:34+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/Blog-Post_Robot.txt.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"800\" \/>\n\t<meta property=\"og:image:height\" content=\"550\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Patricia Sim\u00f3n\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@refinery89\" \/>\n<meta name=\"twitter:site\" content=\"@refinery89\" \/>\n<meta name=\"twitter:label1\" content=\"Escrito por\" \/>\n\t<meta name=\"twitter:data1\" content=\"Patricia Sim\u00f3n\" \/>\n\t<meta name=\"twitter:label2\" content=\"Est. tempo de leitura\" \/>\n\t<meta name=\"twitter:data2\" content=\"6 minutos\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/\"},\"author\":{\"name\":\"Patricia Sim\u00f3n\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/#\\\/schema\\\/person\\\/73d11fd427b79cf70aa553e3b9d33f7d\"},\"headline\":\"What is robots.txt and how to use it in your website strategy\",\"datePublished\":\"2026-06-05T14:58:23+00:00\",\"dateModified\":\"2026-06-17T14:17:34+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/\"},\"wordCount\":1294,\"publisher\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/#organization\"},\"image\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2026\\\/06\\\/Blog-Post_Robot.txt.jpg\",\"keywords\":[\"Publishers\",\"SEO\"],\"articleSection\":[\"Company News\",\"News\",\"Publishers\",\"Refinery Academy\"],\"inLanguage\":\"pt-BR\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/\",\"url\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/\",\"name\":\"What is robots.txt and how to use it in your website strategy | Refinery89\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2026\\\/06\\\/Blog-Post_Robot.txt.jpg\",\"datePublished\":\"2026-06-05T14:58:23+00:00\",\"dateModified\":\"2026-06-17T14:17:34+00:00\",\"description\":\"Robots.txt helps search engines crawl your site more efficiently. Learn best practices to improve indexing, site performance, and visibility.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#breadcrumb\"},\"inLanguage\":\"pt-BR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#primaryimage\",\"url\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2026\\\/06\\\/Blog-Post_Robot.txt.jpg\",\"contentUrl\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2026\\\/06\\\/Blog-Post_Robot.txt.jpg\",\"width\":800,\"height\":550,\"caption\":\"what is robots.txt blog\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/refinery89.com\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"What is robots.txt and how to use it in your website strategy\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/#website\",\"url\":\"https:\\\/\\\/refinery89.com\\\/\",\"name\":\"Refinery89\",\"description\":\"\",\"publisher\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/refinery89.com\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"pt-BR\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/#organization\",\"name\":\"Refinery89\",\"alternateName\":\"R89\",\"url\":\"https:\\\/\\\/refinery89.com\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2025\\\/08\\\/r89-thumbnail.png\",\"contentUrl\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2025\\\/08\\\/r89-thumbnail.png\",\"width\":200,\"height\":200,\"caption\":\"Refinery89\"},\"image\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/www.facebook.com\\\/Refinery89\\\/\",\"https:\\\/\\\/x.com\\\/refinery89\",\"https:\\\/\\\/www.linkedin.com\\\/company\\\/refinery89\\\/\",\"https:\\\/\\\/www.youtube.com\\\/@refinery89\",\"https:\\\/\\\/www.instagram.com\\\/refinery_89\\\/\",\"https:\\\/\\\/www.reddit.com\\\/user\\\/Refinery89\\\/\",\"https:\\\/\\\/share.google\\\/K8hFf3ktmUrTi1XCa\"]},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/#\\\/schema\\\/person\\\/73d11fd427b79cf70aa553e3b9d33f7d\",\"name\":\"Patricia Sim\u00f3n\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2025\\\/02\\\/patricia-simon_avatar-96x96.png\",\"url\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2025\\\/02\\\/patricia-simon_avatar-96x96.png\",\"contentUrl\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2025\\\/02\\\/patricia-simon_avatar-96x96.png\",\"caption\":\"Patricia Sim\u00f3n\"},\"description\":\"Patricia Sim\u00f3n is Refinery89\u2019s Inbound and Content Specialist. With expertise in digital marketing, SEO, and ad tech trends, Patricia creates content that translates complex programmatic advertising topics into actionable insights, empowering publishers and advertisers to thrive.\",\"sameAs\":[\"https:\\\/\\\/www.linkedin.com\\\/in\\\/patriciasimonmarketing\\\/\"],\"url\":\"https:\\\/\\\/refinery89.com\\\/pt\\\/author\\\/patri\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"What is robots.txt and how to use it in your website strategy | Refinery89","description":"O arquivo robots.txt ajuda os motores de busca a rastrear seu site com mais efici\u00eancia. Aprenda as melhores pr\u00e1ticas para melhorar a indexa\u00e7\u00e3o, o desempenho do site e a visibilidade.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/refinery89.com\/pt\/o-que-e-robots-txt\/","og_locale":"pt_BR","og_type":"article","og_title":"What is robots.txt and how to use it in your website strategy | Refinery89","og_description":"Robots.txt helps search engines crawl your site more efficiently. Learn best practices to improve indexing, site performance, and visibility.","og_url":"https:\/\/refinery89.com\/pt\/o-que-e-robots-txt\/","og_site_name":"Refinery89","article_publisher":"https:\/\/www.facebook.com\/Refinery89\/","article_published_time":"2026-06-05T14:58:23+00:00","article_modified_time":"2026-06-17T14:17:34+00:00","og_image":[{"width":800,"height":550,"url":"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/Blog-Post_Robot.txt.jpg","type":"image\/jpeg"}],"author":"Patricia Sim\u00f3n","twitter_card":"summary_large_image","twitter_creator":"@refinery89","twitter_site":"@refinery89","twitter_misc":{"Escrito por":"Patricia Sim\u00f3n","Est. tempo de leitura":"6 minutos"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#article","isPartOf":{"@id":"https:\/\/refinery89.com\/what-is-robots-txt\/"},"author":{"name":"Patricia Sim\u00f3n","@id":"https:\/\/refinery89.com\/#\/schema\/person\/73d11fd427b79cf70aa553e3b9d33f7d"},"headline":"What is robots.txt and how to use it in your website strategy","datePublished":"2026-06-05T14:58:23+00:00","dateModified":"2026-06-17T14:17:34+00:00","mainEntityOfPage":{"@id":"https:\/\/refinery89.com\/what-is-robots-txt\/"},"wordCount":1294,"publisher":{"@id":"https:\/\/refinery89.com\/#organization"},"image":{"@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/Blog-Post_Robot.txt.jpg","keywords":["Publishers","SEO"],"articleSection":["Company News","News","Publishers","Refinery Academy"],"inLanguage":"pt-BR"},{"@type":"WebPage","@id":"https:\/\/refinery89.com\/what-is-robots-txt\/","url":"https:\/\/refinery89.com\/what-is-robots-txt\/","name":"What is robots.txt and how to use it in your website strategy | Refinery89","isPartOf":{"@id":"https:\/\/refinery89.com\/#website"},"primaryImageOfPage":{"@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#primaryimage"},"image":{"@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/Blog-Post_Robot.txt.jpg","datePublished":"2026-06-05T14:58:23+00:00","dateModified":"2026-06-17T14:17:34+00:00","description":"O arquivo robots.txt ajuda os motores de busca a rastrear seu site com mais efici\u00eancia. Aprenda as melhores pr\u00e1ticas para melhorar a indexa\u00e7\u00e3o, o desempenho do site e a visibilidade.","breadcrumb":{"@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#breadcrumb"},"inLanguage":"pt-BR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/refinery89.com\/what-is-robots-txt\/"]}]},{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#primaryimage","url":"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/Blog-Post_Robot.txt.jpg","contentUrl":"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/Blog-Post_Robot.txt.jpg","width":800,"height":550,"caption":"what is robots.txt blog"},{"@type":"BreadcrumbList","@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/refinery89.com\/"},{"@type":"ListItem","position":2,"name":"What is robots.txt and how to use it in your website strategy"}]},{"@type":"WebSite","@id":"https:\/\/refinery89.com\/#website","url":"https:\/\/refinery89.com\/","name":"Refinery89","description":"","publisher":{"@id":"https:\/\/refinery89.com\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/refinery89.com\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"pt-BR"},{"@type":"Organization","@id":"https:\/\/refinery89.com\/#organization","name":"Refinery89","alternateName":"R89","url":"https:\/\/refinery89.com\/","logo":{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/refinery89.com\/#\/schema\/logo\/image\/","url":"https:\/\/refinery89.com\/wp-content\/uploads\/2025\/08\/r89-thumbnail.png","contentUrl":"https:\/\/refinery89.com\/wp-content\/uploads\/2025\/08\/r89-thumbnail.png","width":200,"height":200,"caption":"Refinery89"},"image":{"@id":"https:\/\/refinery89.com\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/Refinery89\/","https:\/\/x.com\/refinery89","https:\/\/www.linkedin.com\/company\/refinery89\/","https:\/\/www.youtube.com\/@refinery89","https:\/\/www.instagram.com\/refinery_89\/","https:\/\/www.reddit.com\/user\/Refinery89\/","https:\/\/share.google\/K8hFf3ktmUrTi1XCa"]},{"@type":"Person","@id":"https:\/\/refinery89.com\/#\/schema\/person\/73d11fd427b79cf70aa553e3b9d33f7d","name":"Patricia Sim\u00f3n","image":{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/refinery89.com\/wp-content\/uploads\/2025\/02\/patricia-simon_avatar-96x96.png","url":"https:\/\/refinery89.com\/wp-content\/uploads\/2025\/02\/patricia-simon_avatar-96x96.png","contentUrl":"https:\/\/refinery89.com\/wp-content\/uploads\/2025\/02\/patricia-simon_avatar-96x96.png","caption":"Patricia Sim\u00f3n"},"description":"Patricia Sim\u00f3n \u00e9 a Especialista em Inbound e Conte\u00fado da Refinery89. Com especializa\u00e7\u00e3o em marketing digital, SEO e tend\u00eancias de ad tech, Patricia cria conte\u00fado que traduz t\u00f3picos complexos de publicidade program\u00e1tica em insights acion\u00e1veis, capacitando publishers e anunciantes a prosperar.","sameAs":["https:\/\/www.linkedin.com\/in\/patriciasimonmarketing\/"],"url":"https:\/\/refinery89.com\/pt\/author\/patri\/"}]}},"_links":{"self":[{"href":"https:\/\/refinery89.com\/pt\/wp-json\/wp\/v2\/posts\/16521","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/refinery89.com\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/refinery89.com\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/refinery89.com\/pt\/wp-json\/wp\/v2\/users\/19"}],"replies":[{"embeddable":true,"href":"https:\/\/refinery89.com\/pt\/wp-json\/wp\/v2\/comments?post=16521"}],"version-history":[{"count":7,"href":"https:\/\/refinery89.com\/pt\/wp-json\/wp\/v2\/posts\/16521\/revisions"}],"predecessor-version":[{"id":16592,"href":"https:\/\/refinery89.com\/pt\/wp-json\/wp\/v2\/posts\/16521\/revisions\/16592"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/refinery89.com\/pt\/wp-json\/wp\/v2\/media\/16525"}],"wp:attachment":[{"href":"https:\/\/refinery89.com\/pt\/wp-json\/wp\/v2\/media?parent=16521"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/refinery89.com\/pt\/wp-json\/wp\/v2\/categories?post=16521"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/refinery89.com\/pt\/wp-json\/wp\/v2\/tags?post=16521"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}