{"id":16521,"date":"2026-06-05T16:58:23","date_gmt":"2026-06-05T14:58:23","guid":{"rendered":"https:\/\/refinery89.com\/?p=16521"},"modified":"2026-06-17T16:17:34","modified_gmt":"2026-06-17T14:17:34","slug":"cose-robots-txt","status":"publish","type":"post","link":"https:\/\/refinery89.com\/it\/what-is-robots-txt\/","title":{"rendered":"What is robots.txt and how to use it in your website strategy"},"content":{"rendered":"<p>Giocare le carte giuste nella strategia del tuo sito web pu\u00f2 fare la differenza quando si tratta di generare traffico e entrate. Uno degli strumenti che sta emergendo nelle conversazioni di questi giorni, specialmente con il <a href=\"https:\/\/www.mckinsey.com\/capabilities\/growth-marketing-and-sales\/our-insights\/new-front-door-to-the-internet-winning-in-the-age-of-ai-search\">ascesa dell'IA<\/a>, \u00e8 robots.txt. \u00c8 un semplice file di testo che aiuta i motori di ricerca a concentrarsi sulle tue pagine pi\u00f9 preziose. Utilizzato correttamente, pu\u00f2 migliorare l'efficienza del crawling, supportare la scoperta dei contenuti e aiutare a massimizzare le prestazioni del tuo sito. Diamo un'occhiata pi\u00f9 approfondita a come funziona.<\/p>\n<p><strong>\u00a0<\/strong><\/p>\n<h2><strong>Cos'\u00e8 robots.txt?<\/strong><\/h2>\n<p>&nbsp;<\/p>\n<p>Robots.txt \u00e8 un file di testo che pu\u00f2 essere inserito nella directory principale del dominio del tuo sito web per indicare ai crawler dei motori di ricerca quali pagine devono scansionare e quali evitare. Pensalo come una guida di viaggio, ma per i crawler web. Allontanando i crawler da aree di scarso valore, \u00e8 possibile aiutare i motori di ricerca a concentrare le proprie risorse di scansione sui contenuti pi\u00f9 importanti. Ci\u00f2 ti consente, come editore, di dare priorit\u00e0 al traffico verso i tuoi contenuti pi\u00f9 pertinenti.<\/p>\n<p>Tieni presente che un file robots.txt non nasconder\u00e0 completamente la tua pagina dai motori di ricerca e non tutti seguiranno le tue istruzioni. Se desideri che una pagina web venga rimossa dai risultati di ricerca, utilizza una direttiva noindex e consenti ai motori di ricerca di accedere alla pagina in modo che possano vederla, oppure proteggi con password la pagina che desideri mantenere privata.<\/p>\n<p>&nbsp;<\/p>\n<h2><strong>Come funziona il file robots.txt<\/strong><\/h2>\n<p>&nbsp;<\/p>\n<p>Quando un crawler visita un sito, in genere controlla il file robots.txt (o una sua versione memorizzata nella cache) prima di eseguire lo spidering degli URL. Questo gli fornisce istruzioni da te impostate su quali aree pu\u00f2 accedere e quali no. Il file robots.txt si trova all'indirizzo <a href=\"http:\/\/yourdomain.com\/robots.txt\">yourdomain.com\/robots.txt<\/a> e si presenta cos\u00ec:<\/p>\n<p>&nbsp;<\/p>\n<p><img fetchpriority=\"high\" decoding=\"async\" class=\"aligncenter wp-image-16522 size-full\" src=\"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/ChatGPT-Image-5-jun-2026-16_02_09.jpg\" alt=\"esempio robots.txt\" width=\"1536\" height=\"1024\" srcset=\"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/ChatGPT-Image-5-jun-2026-16_02_09.jpg 1536w, https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/ChatGPT-Image-5-jun-2026-16_02_09-300x200.jpg 300w, https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/ChatGPT-Image-5-jun-2026-16_02_09-1024x683.jpg 1024w, https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/ChatGPT-Image-5-jun-2026-16_02_09-768x512.jpg 768w, https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/ChatGPT-Image-5-jun-2026-16_02_09-18x12.jpg 18w\" sizes=\"(max-width: 1536px) 100vw, 1536px\" \/><\/p>\n<p>&nbsp;<\/p>\n<p>Un file robots.txt utilizza una sintassi di direttive di base che stabiliscono le regole fondamentali su come i bot devono agire sul tuo sito. Queste sono:<\/p>\n<ul>\n<li style=\"list-style-type: none;\">\n<ul>\n<li><strong>User-agent:<\/strong> Ci\u00f2 indica il nome del bot a cui si desidera applicare le regole (Googlebot, Applebot, Bingbot, ecc.). Se si desidera che le proprie regole si applichino a tutti i bot, \u00e8 sufficiente includere un * in questo campo anzich\u00e9 il nome del bot.<\/li>\n<li><strong>Non consentire: <\/strong>Come suggerisce il nome, dice al bot quali pagine o file non \u00e8 autorizzato ad accedere. Un po' come il buttafuori di un locale notturno, ma per un sito web.<\/li>\n<li><strong>Permettere: <\/strong>Questa direttiva indica ai bot quali pagine o sottodirectory possono scansionare, anche se l'intera directory ha una regola di divieto.<\/li>\n<li><strong>Mappa del sito:<\/strong> Molti editori includono un riferimento alla sitemap nel loro file robots.txt, rendendo pi\u00f9 facile per i motori di ricerca trovare e indicizzare le pagine importanti dei loro siti.<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p>&nbsp;<\/p>\n<p>Ad esempio, se non vuoi che i bot eseguano la scansione della tua pagina &quot;ultime notizie&quot;, ma desideri che un articolo specifico venga indicizzato, la riga nel tuo file robots.txt dovrebbe essere simile a questa:<\/p>\n<p><em>User-agent: Googlebot<\/em><\/p>\n<p><em>Vietare: \/ultime-notizie\/<\/em><\/p>\n<p><em>Consentire: \/ultime-notizie\/nome-articolo\/<\/em><\/p>\n<p>&nbsp;<\/p>\n<h2><strong>Come creare un file robots.txt<\/strong><\/h2>\n<p>&nbsp;<\/p>\n<p>Rendiamo le cose pi\u00f9 facili per te. Una volta determinate le pagine che desideri bloccare dai crawler, puoi utilizzare plugin come <a href=\"https:\/\/yoast.com\/help\/how-to-edit-robots-txt-through-yoast-seo\/\">Yoast SEO<\/a> in WordPress per creare e modificare il file robots.txt.<\/p>\n<p>Per farlo manualmente, dovrai aprire un semplice file di testo, come Blocco Note, e salvarlo con il nome \u201crobots.txt\u201d. Quindi, aggiungi le direttive e carica il file nella tua directory principale.<\/p>\n<p>Infine, dopo aver caricato il file, verificarlo tramite <a href=\"https:\/\/support.google.com\/webmasters\/answer\/6062598?hl=en\">Google Search Console<\/a> controllando i rapporti sulla scansione e sull&#x27;indicizzazione e verificando gli URL pi\u00f9 importanti tramite lo strumento di ispezione degli URL. GCS \u00e8 davvero utile per tenere sotto controllo lo stato di salute del tuo sito, lo stato della scansione e dell&#x27;indicizzazione e il traffico di ricerca. Recentemente, Google Search Central ha annunciato di aver implementato un <a href=\"https:\/\/developers.google.com\/search\/blog\/2026\/06\/gen-ai-performance-reports\">nuovo motore di ricerca performance report IA generativa<\/a> per tenere traccia dei tuoi sforzi SEO. Resta sintonizzato per il nostro prossimo articolo su come utilizzare questo report nella tua strategia!<\/p>\n<p>&nbsp;<\/p>\n<h2 id=\"Why-robots.txt-matters-for-publishers?\" tabindex=\"-1\" data-local-id=\"55a5448dc3ff\" data-renderer-start-pos=\"3850\"><strong data-renderer-mark=\"true\">Perch\u00e9 il file robots.txt \u00e8 importante per gli editori?<\/strong><\/h2>\n<p data-renderer-start-pos=\"3890\" data-local-id=\"a065ca412e67\">Per gli editori, il file robots.txt pu\u00f2 rivelarsi un utile strumento SEO, aiutando i motori di ricerca a eseguire la scansione del sito in modo pi\u00f9 efficiente, a individuare contenuti pertinenti e a migliorare le prestazioni complessive del sito. Ci\u00f2, a sua volta, pu\u00f2 contribuire a massimizzare i ricavi pubblicitari.<\/p>\n<p>&nbsp;<\/p>\n<h3><strong>Aiuta a Controllare il Budget di Scansione<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>I motori di ricerca allocano un \u201ccrawl budget\u201d limitato per sito. Disabilitando le pagine di scarso valore (come risultati di ricerca interni, pagine duplicate o file privati), guidi i crawler verso i tuoi contenuti pertinenti, migliorando l'efficienza dell'indicizzazione e le prestazioni del sito.<\/p>\n<p>&nbsp;<\/p>\n<h3><strong>Migliora le prestazioni SEO<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>I file robots.txt aiutano a migliorare l'efficienza dell'indicizzazione e a dare priorit\u00e0 al traffico. Aiutano a concentrare l'attenzione sulle tue pagine di maggior valore, supportando una scoperta pi\u00f9 rapida dei tuoi contenuti. Inoltre, allontanano i crawler da URL di scarso valore come pagine di test, duplicati, aree di accesso, ecc.<\/p>\n<p><strong>\u00a0<\/strong><\/p>\n<h3><strong>Controlla lo scraping dei contenuti da parte dei modelli IA<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>Puoi indicare ai crawler basati sull&#x27;intelligenza artificiale di non accedere a determinati contenuti del tuo sito. Questa opzione ti offre un maggiore controllo sui tuoi contenuti e ti aiuta a proteggerli se non ti senti a tuo agio con <a href=\"https:\/\/refinery89.com\/it\/i-modelli-linguistici-di-grandi-dimensioni-stanno-rubando-traffico-agli-editori\/\">LLM<\/a> utilizzandolo. Tuttavia, se non ti dispiace l'esposizione extra e vedi gli strumenti di IA generativa come un'opportunit\u00e0 di branding, puoi consentire ai loro crawler sul tuo sito come ritieni opportuno.<\/p>\n<p>Tieni presente che la conformit\u00e0 varia a seconda del crawler e dipende dal fatto che questo rispetti o meno il file robots.txt.<\/p>\n<p><strong>\u00a0<\/strong><\/p>\n<h3><strong>Ottimizzare le prestazioni del sito<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>L&#x27;uso del file robots.txt pu\u00f2 aiutare a ridurre il traffico inutile generato dai bot e il carico sul server. Limitando il numero di pagine scansionate dai bot, il server avr\u00e0 pi\u00f9 risorse a disposizione per i visitatori reali, consentendo un caricamento pi\u00f9 veloce delle pagine. Questo aiuta il tuo <a href=\"https:\/\/refinery89.com\/it\/guida-ai-core-web-vitals\/\">Core Web Vitals,<\/a> migliorare l'esperienza utente.<\/p>\n<p>&nbsp;<\/p>\n<h2><strong>Le migliori pratiche per l'uso di robots.txt<\/strong><\/h2>\n<p>&nbsp;<\/p>\n<p>Avere un file robots.txt non \u00e8 obbligatorio per la maggior parte dei siti web. Tuttavia, pu\u00f2 servire come un buon <a href=\"https:\/\/refinery89.com\/it\/come-aumentare-il-tuo-traffico-organico\/\">SEO<\/a> strategia per massimizzare il tuo crawl budget, prevenire sovraccarichi del server e proteggere determinati contenuti. Se scegli di utilizzarlo, potresti voler attenerti a queste best practice:<\/p>\n<p>&nbsp;<\/p>\n<h3><strong>Non usare robots.txt per nascondere i tuoi contenuti dalle SERP<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>Se il tuo obiettivo \u00e8 mantenere i contenuti privati o rimuoverli completamente dai risultati di ricerca, utilizza un tag noindex anzich\u00e9 fare affidamento su robots.txt. Questo perch\u00e9 Google potrebbe comunque indicizzare una pagina se esiste un link esterno ad essa, anche quando a Googlebot viene impedito di eseguirne il crawling tramite robots.txt.<\/p>\n<p>&nbsp;<\/p>\n<h3><strong>Evitare di bloccare risorse importanti<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>Fai attenzione a non bloccare risorse come CSS, JavaScript o immagini di cui il tuo sito ha bisogno per il rendering, poich\u00e9 i motori di ricerca li utilizzano per comprendere il layout e la funzionalit\u00e0 delle tue pagine.<\/p>\n<p>&nbsp;<\/p>\n<h3><strong>Esegui test e aggiornamenti regolari del tuo file robots.txt<\/strong><\/h3>\n<p>&nbsp;<\/p>\n<p>Problemi con il tuo robots.txt possono influire sulla tua SEO. Ecco perch\u00e9 \u00e8 importante aggiornare il tuo file man mano che continui a creare contenuti eccezionali e il tuo sito si evolve. Testarlo pu\u00f2 aiutarti a garantire che tutte le tue direttive vengano applicate correttamente e che non ci siano interferenze con il rendering.<\/p>\n<p>&nbsp;<\/p>\n<h2><strong>Robots.txt come strategia per gli editori: prenderlo o lasciarlo?<\/strong><\/h2>\n<p>&nbsp;<\/p>\n<p>Robots.txt \u00e8 pi\u00f9 di un semplice file tecnico di SEO. \u00c8 una guida che determina come i bot, i crawler e i sistemi IA possono interagire con i contenuti del tuo sito web. Questo ti permette di dare priorit\u00e0 al traffico verso quelle pagine di valore che meritano i riflettori. Per gli editori, \u00e8 uno strumento strategico per gestire la visibilit\u00e0, le prestazioni e l'accesso ai contenuti come un campione, specialmente in un'epoca in cui la ricerca sta cambiando come la conosciamo.<\/p>\n<p>Scopri di pi\u00f9 su come aumentare il tuo traffico in questa nuova era per la scopribilit\u00e0 con il nostro webinar <a href=\"https:\/\/refinery89.com\/it\/how-publishers-can-compete-in-an-ai-first-world-webinar\/\">\u201cLa Ricerca Reinventata: Come gli Editori Possono Competere in un Mondo AI First\u201d<\/a>. Puoi anche fare un passo in pi\u00f9 e richiedere un <a href=\"https:\/\/refinery89.com\/it\/audit-sito-web-gratuito-per-massimizzare-le-entrate-pubblicitarie\/\">Audit del Sito Web Gratuito<\/a>. In questo modo otterrai raccomandazioni personalizzate su come massimizzare le entrate e le prestazioni per una crescita a lungo termine.<\/p>","protected":false},"excerpt":{"rendered":"<p>Playing the right cards in your website strategy can make all the difference in driving traffic and revenue. One of the tools that\u2019s coming up in conversations these days, especially with the rise of the IA, is robots.txt. This is a simple text file that helps search engines focus on your most valuable pages. Used [&hellip;]<\/p>\n","protected":false},"author":19,"featured_media":16525,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[131,22,12,20],"tags":[72,65],"class_list":["post-16521","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-company-news","category-news","category-publishers","category-refinery-academy","tag-publishers","tag-seo"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v27.6 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>What is robots.txt and how to use it in your website strategy | Refinery89<\/title>\n<meta name=\"description\" content=\"Robots.txt helps search engines crawl your site more efficiently. Learn best practices to improve indexing, site performance, and visibility.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/refinery89.com\/it\/cose-robots-txt\/\" \/>\n<meta property=\"og:locale\" content=\"it_IT\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"What is robots.txt and how to use it in your website strategy | Refinery89\" \/>\n<meta property=\"og:description\" content=\"Robots.txt helps search engines crawl your site more efficiently. Learn best practices to improve indexing, site performance, and visibility.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/refinery89.com\/it\/cose-robots-txt\/\" \/>\n<meta property=\"og:site_name\" content=\"Refinery89\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/Refinery89\/\" \/>\n<meta property=\"article:published_time\" content=\"2026-06-05T14:58:23+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2026-06-17T14:17:34+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/Blog-Post_Robot.txt.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"800\" \/>\n\t<meta property=\"og:image:height\" content=\"550\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Patricia Sim\u00f3n\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@refinery89\" \/>\n<meta name=\"twitter:site\" content=\"@refinery89\" \/>\n<meta name=\"twitter:label1\" content=\"Scritto da\" \/>\n\t<meta name=\"twitter:data1\" content=\"Patricia Sim\u00f3n\" \/>\n\t<meta name=\"twitter:label2\" content=\"Tempo di lettura stimato\" \/>\n\t<meta name=\"twitter:data2\" content=\"6 minuti\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/\"},\"author\":{\"name\":\"Patricia Sim\u00f3n\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/#\\\/schema\\\/person\\\/73d11fd427b79cf70aa553e3b9d33f7d\"},\"headline\":\"What is robots.txt and how to use it in your website strategy\",\"datePublished\":\"2026-06-05T14:58:23+00:00\",\"dateModified\":\"2026-06-17T14:17:34+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/\"},\"wordCount\":1294,\"publisher\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/#organization\"},\"image\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2026\\\/06\\\/Blog-Post_Robot.txt.jpg\",\"keywords\":[\"Publishers\",\"SEO\"],\"articleSection\":[\"Company News\",\"News\",\"Publishers\",\"Refinery Academy\"],\"inLanguage\":\"it-IT\"},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/\",\"url\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/\",\"name\":\"What is robots.txt and how to use it in your website strategy | Refinery89\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2026\\\/06\\\/Blog-Post_Robot.txt.jpg\",\"datePublished\":\"2026-06-05T14:58:23+00:00\",\"dateModified\":\"2026-06-17T14:17:34+00:00\",\"description\":\"Robots.txt helps search engines crawl your site more efficiently. Learn best practices to improve indexing, site performance, and visibility.\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#breadcrumb\"},\"inLanguage\":\"it-IT\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"it-IT\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#primaryimage\",\"url\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2026\\\/06\\\/Blog-Post_Robot.txt.jpg\",\"contentUrl\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2026\\\/06\\\/Blog-Post_Robot.txt.jpg\",\"width\":800,\"height\":550,\"caption\":\"what is robots.txt blog\"},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/what-is-robots-txt\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/refinery89.com\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"What is robots.txt and how to use it in your website strategy\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/#website\",\"url\":\"https:\\\/\\\/refinery89.com\\\/\",\"name\":\"Refinery89\",\"description\":\"\",\"publisher\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/refinery89.com\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"it-IT\"},{\"@type\":\"Organization\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/#organization\",\"name\":\"Refinery89\",\"alternateName\":\"R89\",\"url\":\"https:\\\/\\\/refinery89.com\\\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"it-IT\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/#\\\/schema\\\/logo\\\/image\\\/\",\"url\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2025\\\/08\\\/r89-thumbnail.png\",\"contentUrl\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2025\\\/08\\\/r89-thumbnail.png\",\"width\":200,\"height\":200,\"caption\":\"Refinery89\"},\"image\":{\"@id\":\"https:\\\/\\\/refinery89.com\\\/#\\\/schema\\\/logo\\\/image\\\/\"},\"sameAs\":[\"https:\\\/\\\/www.facebook.com\\\/Refinery89\\\/\",\"https:\\\/\\\/x.com\\\/refinery89\",\"https:\\\/\\\/www.linkedin.com\\\/company\\\/refinery89\\\/\",\"https:\\\/\\\/www.youtube.com\\\/@refinery89\",\"https:\\\/\\\/www.instagram.com\\\/refinery_89\\\/\",\"https:\\\/\\\/www.reddit.com\\\/user\\\/Refinery89\\\/\",\"https:\\\/\\\/share.google\\\/K8hFf3ktmUrTi1XCa\"]},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/#\\\/schema\\\/person\\\/73d11fd427b79cf70aa553e3b9d33f7d\",\"name\":\"Patricia Sim\u00f3n\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"it-IT\",\"@id\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2025\\\/02\\\/patricia-simon_avatar-96x96.png\",\"url\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2025\\\/02\\\/patricia-simon_avatar-96x96.png\",\"contentUrl\":\"https:\\\/\\\/refinery89.com\\\/wp-content\\\/uploads\\\/2025\\\/02\\\/patricia-simon_avatar-96x96.png\",\"caption\":\"Patricia Sim\u00f3n\"},\"description\":\"Patricia Sim\u00f3n is Refinery89\u2019s Inbound and Content Specialist. With expertise in digital marketing, SEO, and ad tech trends, Patricia creates content that translates complex programmatic advertising topics into actionable insights, empowering publishers and advertisers to thrive.\",\"sameAs\":[\"https:\\\/\\\/www.linkedin.com\\\/in\\\/patriciasimonmarketing\\\/\"],\"url\":\"https:\\\/\\\/refinery89.com\\\/it\\\/author\\\/patri\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"What is robots.txt and how to use it in your website strategy | Refinery89","description":"Robots.txt aiuta i motori di ricerca a scansionare il tuo sito in modo pi\u00f9 efficiente. Impara le best practice per migliorare l'indicizzazione, le prestazioni del sito e la visibilit\u00e0.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/refinery89.com\/it\/cose-robots-txt\/","og_locale":"it_IT","og_type":"article","og_title":"What is robots.txt and how to use it in your website strategy | Refinery89","og_description":"Robots.txt helps search engines crawl your site more efficiently. Learn best practices to improve indexing, site performance, and visibility.","og_url":"https:\/\/refinery89.com\/it\/cose-robots-txt\/","og_site_name":"Refinery89","article_publisher":"https:\/\/www.facebook.com\/Refinery89\/","article_published_time":"2026-06-05T14:58:23+00:00","article_modified_time":"2026-06-17T14:17:34+00:00","og_image":[{"width":800,"height":550,"url":"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/Blog-Post_Robot.txt.jpg","type":"image\/jpeg"}],"author":"Patricia Sim\u00f3n","twitter_card":"summary_large_image","twitter_creator":"@refinery89","twitter_site":"@refinery89","twitter_misc":{"Scritto da":"Patricia Sim\u00f3n","Tempo di lettura stimato":"6 minuti"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#article","isPartOf":{"@id":"https:\/\/refinery89.com\/what-is-robots-txt\/"},"author":{"name":"Patricia Sim\u00f3n","@id":"https:\/\/refinery89.com\/#\/schema\/person\/73d11fd427b79cf70aa553e3b9d33f7d"},"headline":"What is robots.txt and how to use it in your website strategy","datePublished":"2026-06-05T14:58:23+00:00","dateModified":"2026-06-17T14:17:34+00:00","mainEntityOfPage":{"@id":"https:\/\/refinery89.com\/what-is-robots-txt\/"},"wordCount":1294,"publisher":{"@id":"https:\/\/refinery89.com\/#organization"},"image":{"@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/Blog-Post_Robot.txt.jpg","keywords":["Publishers","SEO"],"articleSection":["Company News","News","Publishers","Refinery Academy"],"inLanguage":"it-IT"},{"@type":"WebPage","@id":"https:\/\/refinery89.com\/what-is-robots-txt\/","url":"https:\/\/refinery89.com\/what-is-robots-txt\/","name":"What is robots.txt and how to use it in your website strategy | Refinery89","isPartOf":{"@id":"https:\/\/refinery89.com\/#website"},"primaryImageOfPage":{"@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#primaryimage"},"image":{"@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/Blog-Post_Robot.txt.jpg","datePublished":"2026-06-05T14:58:23+00:00","dateModified":"2026-06-17T14:17:34+00:00","description":"Robots.txt aiuta i motori di ricerca a scansionare il tuo sito in modo pi\u00f9 efficiente. Impara le best practice per migliorare l'indicizzazione, le prestazioni del sito e la visibilit\u00e0.","breadcrumb":{"@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#breadcrumb"},"inLanguage":"it-IT","potentialAction":[{"@type":"ReadAction","target":["https:\/\/refinery89.com\/what-is-robots-txt\/"]}]},{"@type":"ImageObject","inLanguage":"it-IT","@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#primaryimage","url":"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/Blog-Post_Robot.txt.jpg","contentUrl":"https:\/\/refinery89.com\/wp-content\/uploads\/2026\/06\/Blog-Post_Robot.txt.jpg","width":800,"height":550,"caption":"what is robots.txt blog"},{"@type":"BreadcrumbList","@id":"https:\/\/refinery89.com\/what-is-robots-txt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/refinery89.com\/"},{"@type":"ListItem","position":2,"name":"What is robots.txt and how to use it in your website strategy"}]},{"@type":"WebSite","@id":"https:\/\/refinery89.com\/#website","url":"https:\/\/refinery89.com\/","name":"Refinery89","description":"","publisher":{"@id":"https:\/\/refinery89.com\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/refinery89.com\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"it-IT"},{"@type":"Organization","@id":"https:\/\/refinery89.com\/#organization","name":"Refinery89","alternateName":"R89","url":"https:\/\/refinery89.com\/","logo":{"@type":"ImageObject","inLanguage":"it-IT","@id":"https:\/\/refinery89.com\/#\/schema\/logo\/image\/","url":"https:\/\/refinery89.com\/wp-content\/uploads\/2025\/08\/r89-thumbnail.png","contentUrl":"https:\/\/refinery89.com\/wp-content\/uploads\/2025\/08\/r89-thumbnail.png","width":200,"height":200,"caption":"Refinery89"},"image":{"@id":"https:\/\/refinery89.com\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/Refinery89\/","https:\/\/x.com\/refinery89","https:\/\/www.linkedin.com\/company\/refinery89\/","https:\/\/www.youtube.com\/@refinery89","https:\/\/www.instagram.com\/refinery_89\/","https:\/\/www.reddit.com\/user\/Refinery89\/","https:\/\/share.google\/K8hFf3ktmUrTi1XCa"]},{"@type":"Person","@id":"https:\/\/refinery89.com\/#\/schema\/person\/73d11fd427b79cf70aa553e3b9d33f7d","name":"Patricia Sim\u00f3n","image":{"@type":"ImageObject","inLanguage":"it-IT","@id":"https:\/\/refinery89.com\/wp-content\/uploads\/2025\/02\/patricia-simon_avatar-96x96.png","url":"https:\/\/refinery89.com\/wp-content\/uploads\/2025\/02\/patricia-simon_avatar-96x96.png","contentUrl":"https:\/\/refinery89.com\/wp-content\/uploads\/2025\/02\/patricia-simon_avatar-96x96.png","caption":"Patricia Sim\u00f3n"},"description":"Patricia Sim\u00f3n \u00e8 la specialista Inbound e Content di Refinery89. Con competenza nel marketing digitale, nella SEO e nelle tendenze dell'ad tech, Patricia crea contenuti che traducono argomenti complessi di programmatic advertising in spunti pratici, consentendo a publisher e inserzionisti di prosperare.","sameAs":["https:\/\/www.linkedin.com\/in\/patriciasimonmarketing\/"],"url":"https:\/\/refinery89.com\/it\/author\/patri\/"}]}},"_links":{"self":[{"href":"https:\/\/refinery89.com\/it\/wp-json\/wp\/v2\/posts\/16521","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/refinery89.com\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/refinery89.com\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/refinery89.com\/it\/wp-json\/wp\/v2\/users\/19"}],"replies":[{"embeddable":true,"href":"https:\/\/refinery89.com\/it\/wp-json\/wp\/v2\/comments?post=16521"}],"version-history":[{"count":7,"href":"https:\/\/refinery89.com\/it\/wp-json\/wp\/v2\/posts\/16521\/revisions"}],"predecessor-version":[{"id":16592,"href":"https:\/\/refinery89.com\/it\/wp-json\/wp\/v2\/posts\/16521\/revisions\/16592"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/refinery89.com\/it\/wp-json\/wp\/v2\/media\/16525"}],"wp:attachment":[{"href":"https:\/\/refinery89.com\/it\/wp-json\/wp\/v2\/media?parent=16521"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/refinery89.com\/it\/wp-json\/wp\/v2\/categories?post=16521"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/refinery89.com\/it\/wp-json\/wp\/v2\/tags?post=16521"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}