http://wp-danmark.dk/forum/tags/robotstxt WordPress DK Forum Tag: robots.txt - Recent Posts da-DK Mon, 17 Aug 2026 06:34:14 +0000 http://bbpress.org/?v=1.0.1 q http://wp-danmark.dk/forum/search.php http://wp-danmark.dk/forum/topic/robotstxt-webarchiveorg#post-67353 søn, 26 mar 2017 21:14:34 +0000 AndersBo 67353@http://wp-danmark.dk/forum/ <p>Hej Anders.</p> <p>Har du prøvet at oprette en ny robots.txt fil med nedenstående informationer:</p> <p>User-agent: *<br /> Disallow: /admin/ </p> http://wp-danmark.dk/forum/topic/robotstxt-webarchiveorg#post-67322 ons, 22 mar 2017 22:01:03 +0000 anderss 67322@http://wp-danmark.dk/forum/ <p>Hej<br /> Jeg har brug for lidt hjælp/råd :-).<br /> Lige for at forklare sagen.<br /> Jeg havde en side www parisbonjour .dk og i 2015 blev den hacket :(.<br /> Jeg gjorde intet ved det udover at lukke siden fra admin. Jeg lod saa web host hotellet udgar og ogsaa domæne navnet.</p> <p>Nu var domænet blevet frit igen og jeg køgte det igen den anden dag og lage op paa en ny WP hos Unoeuro, var ogsaa Unoeuro før.</p> <p>Jeg har hele tiden kunne se min side i <a href="https://web.archive.org/web/20150105235935/http://www.parisbonjour.dk/" rel="nofollow">https://web.archive.org/web/20150105235935/http://www.parisbonjour.dk/</a><br /> Det var grunden til at jeg valgte at starte siden igen da jeg jo bare kunne kopiere teksten fra sider og indlæg derfra.</p> <p>Jeg fik ogsaa 3 sider kopieret men saa pludselig for jeg at vide:</p> <p><strong>Page cannot be displayed due to robots.txt.</p> <p>See www. parisbonjour .dk robots.txt page. Learn more about robots.txt.</strong></p> <p>Naa ikke saa godt.</p> <p>DE plugins jeg har paa min WP er:<br /> All In One WP Security<br /> Yoast SEO<br /> Simple 301 Redirects<br /> Contact Form by BestWebSoft</p> <p>Kan en af disse All In One WP Security eller Yoast SEO have lavet noget mht robots.txt der gør at wayback machine nu ikke vil vise min side ? </p> <p>Ved I om jeg kan gøre noget mht den her robots.txt saa wayback machine igen vil vise min side historie ?</p> <p>Takker<br /> Mvh<br /> anders </p> http://wp-danmark.dk/forum/topic/author-afsl%c3%b8rer-mit-brugernavn-ved-google-s%c3%b8gning#post-59143 fre, 03 okt 2014 12:01:46 +0000 Louise Toft Petersen 59143@http://wp-danmark.dk/forum/ <p>Jeg har løst det med pluginet:<br /> WP Author Slug </p> http://wp-danmark.dk/forum/topic/author-afsl%c3%b8rer-mit-brugernavn-ved-google-s%c3%b8gning#post-58626 man, 25 aug 2014 15:08:06 +0000 stffn 58626@http://wp-danmark.dk/forum/ <p>Alternativt kunne du bare fjerne linket til oversigten ved dit navn. </p> http://wp-danmark.dk/forum/topic/author-afsl%c3%b8rer-mit-brugernavn-ved-google-s%c3%b8gning#post-58625 man, 25 aug 2014 13:30:26 +0000 Louise Toft Petersen 58625@http://wp-danmark.dk/forum/ <p>Hej Steffen<br /> Tak for svar, men det er simpelthen for upraktisk at skulle have 2 brugerprofiler på hvert site, det skal jo gå galt en dag at jeg kommer til at udgive fra admin profilen.</p> <p>Louise </p> http://wp-danmark.dk/forum/topic/author-afsl%c3%b8rer-mit-brugernavn-ved-google-s%c3%b8gning#post-58621 søn, 24 aug 2014 21:20:28 +0000 stffn 58621@http://wp-danmark.dk/forum/ <p>Der er flere ting du kan gøre, bla:</p> <p>Have flere brugere; én du bruger til at skrive indlæg fra, som så skal godkendes af en admin. På den måde bliver dit admin brugernavn ikke afsløret.</p> <p>Den funktion med at tilføje <code>/author/</code>til <code>Robots.txt</code> vil ikke virke, da det bare er en henstilling til søgemaskinerne om ikke at indeksere dette. De kan godt finde på det alligevel — og man kunne bare åbne filen direkte og derved se indholdet af den </p> http://wp-danmark.dk/forum/topic/author-afsl%c3%b8rer-mit-brugernavn-ved-google-s%c3%b8gning#post-58607 søn, 24 aug 2014 12:05:35 +0000 Louise Toft Petersen 58607@http://wp-danmark.dk/forum/ <p>Hej Michael<br /> Tak for svar. Det lyder som en løsning, jeg tænker bare at det da ikke kan passe at det skal lappes på den måde. </p> http://wp-danmark.dk/forum/topic/author-afsl%c3%b8rer-mit-brugernavn-ved-google-s%c3%b8gning#post-58601 søn, 24 aug 2014 00:15:05 +0000 MichaelSpliid.dk 58601@http://wp-danmark.dk/forum/ <p>Nu er skaden sket så det kan tage tid at få det væk fra søgemaskiner igen.</p> <p>MEN. Du kan i din Robots.txt fil vælge at disallow stien /author/ så ingen forfatterer bliver indexeret eller kun dig ved at disallow /author/overbossen/</p> <p>Og så søger for at huske dette på andre blogs også. </p> http://wp-danmark.dk/forum/topic/author-afsl%c3%b8rer-mit-brugernavn-ved-google-s%c3%b8gning#post-58600 lør, 23 aug 2014 22:21:26 +0000 Louise Toft Petersen 58600@http://wp-danmark.dk/forum/ <p>I går knyttede jeg mit google+ navn til mine forskellige brugerprofiler på forskellige sites, nu ville jeg så se hvilken betydning det havde og google mit navn. Inkognito naturligvis og til min store rædsel kunne jeg nu se mit brugernavn: overbossen<br /> <a href="http://www.stauder.nu/author/overbossen/" rel="nofollow">http://www.stauder.nu/author/overbossen/</a></p> <p>Jeg har naturligvis ikke anvendt admin som brugernavn ej heller mit eget navn af hensyn til sikkerheden. Heldigvis har jeg heller ikke brugt sexygirl el. lignende, men helt ærligt ville jeg da gerne være foruden at hele verden kan se hvor uopfindsom jeg var den dag jeg skulle vælge brugernavn. </p> <p>Jeg kan se at at nogen af de dygtige wp folk også får deres brugernavn afsløret, men det kan da ikke være hensigtsmæssigt?</p> <p>Kan man undgå det?</p> <p>mvh Louise </p> http://wp-danmark.dk/forum/topic/googlebot-cant-access-your-site#post-53119 ons, 04 dec 2013 21:22:31 +0000 Christinakunst 53119@http://wp-danmark.dk/forum/ <p>Hej Jensnyhavn og stffn,<br /> Mange tak for jeres råd. Jeg vil straks gå i gang med at prøve at fixe problemet med jeres råd. </p> http://wp-danmark.dk/forum/topic/googlebot-cant-access-your-site#post-53095 ons, 04 dec 2013 01:22:58 +0000 stffn 53095@http://wp-danmark.dk/forum/ <p>Kan det tænkes at din host har lukket for din side?<br /> Den er sat til at udløbe 2013/11/30: <a href="http://netnationen.dk/blomsterideer.dk/" rel="nofollow">http://netnationen.dk/blomsterideer.dk/</a> </p> http://wp-danmark.dk/forum/topic/googlebot-cant-access-your-site#post-53094 ons, 04 dec 2013 01:11:09 +0000 jensnyhavn 53094@http://wp-danmark.dk/forum/ <p>Ja vi ser kun en blank side. Prøv at deaktiver alle dine plugins via din FTP. Kunne være et plugin der konflikter. </p> http://wp-danmark.dk/forum/topic/googlebot-cant-access-your-site#post-53092 ons, 04 dec 2013 00:59:26 +0000 Christinakunst 53092@http://wp-danmark.dk/forum/ <p>Hej,<br /> Håber at nogen kan hjælpe?<br /> Har fået nedenstående besked fra google - og yderligere kan jeg ikke logge på WP kontoen - alt er blankt - og er lidt i panik. (siden hedder <a href="http://www.blomsterideer.dk" rel="nofollow">http://www.blomsterideer.dk</a>)<br /> Her er hvad der står i mailen fra google:<br /> Over the last 24 hours, Googlebot encountered 33 errors while attempting to access your robots.txt. To ensure that we didn't crawl any pages listed in that file, we postponed our crawl. Your site's overall robots.txt error rate is 86.8%.</p> <p>You can see more details about these errors in Webmaster Tools.</p> <p>Recommended action</p> <p>If the site error rate is 100%:<br /> Using a web browser, attempt to access <a href="http://www.blomsterideer.dk/robots.txt" rel="nofollow">http://www.blomsterideer.dk/robots.txt</a>. If you are able to access it from your browser, then your site may be configured to deny access to googlebot. Check the configuration of your firewall and site to ensure that you are not denying access to googlebot.<br /> If your robots.txt is a static page, verify that your web service has proper permissions to access the file.<br /> If your robots.txt is dynamically generated, verify that the scripts that generate the robots.txt are properly configured and have permission to run. Check the logs for your website to see if your scripts are failing, and if so attempt to diagnose the cause of the failure.<br /> If the site error rate is less than 100%:<br /> Using Webmaster Tools, find a day with a high error rate and examine the logs for your web server for that day. Look for errors accessing robots.txt in the logs for that day and fix the causes of those errors.<br /> The most likely explanation is that your site is overloaded. Contact your hosting provider and discuss reconfiguring your web server or adding more resources to your website.<br /> If your site redirects to another hostname, another possible explanation is that a URL on your site is redirecting to a hostname whose serving of its robots.txt file is exhibiting one or more of these issues.<br /> After you think you've fixed the problem, use Fetch as Google to fetch <a href="http://www.blomsterideer.dk/robots.txt" rel="nofollow">http://www.blomsterideer.dk/robots.txt</a> to verify that Googlebot can properly access your site.</p> <p>Learn more in our Help Center.<br /> Mvh<br /> Christina </p> http://wp-danmark.dk/forum/topic/hvordan-ser-jeres-robotstxt-ud#post-43705 fre, 11 jan 2013 18:07:48 +0000 Claus Møller 43705@http://wp-danmark.dk/forum/ <p>Takker mange gange</p> <p>-det giver mening. </p> http://wp-danmark.dk/forum/topic/hvordan-ser-jeres-robotstxt-ud#post-43703 fre, 11 jan 2013 17:53:42 +0000 Jesper Jarlskov 43703@http://wp-danmark.dk/forum/ <p>WordPress laver som default en arkivside for hver af dine kategorier. Dvs. en side der viser dine sidste 10 indlæg, ligesom din forside, bare kun med indlæg fra en enkelt kategori. Det kan give DC problemer, især hvis 1 af disse 3 kriterier er opfyldt:<br /> - Du skriver meget korte indlæg (det meste af indlægget vises på kategorisiden)<br /> - Du har meget lange excerpts (same)<br /> - Du viser hele indlæg på kategorisiden, i stedet for excerts.</p> <p>Kategorisider kan i sig selv give problemer, men jo flere af ovenstående krav du opfylder, jo større er chancen for problemer. </p> http://wp-danmark.dk/forum/topic/blokerede-webadresser#post-43702 fre, 11 jan 2013 17:31:26 +0000 Claus Møller 43702@http://wp-danmark.dk/forum/ <p>Mere svar her: <a href="http://wp-danmark.dk/forum/topic/hvordan-ser-jeres-robotstxt-ud">Forum indlæg</a> </p> http://wp-danmark.dk/forum/topic/hvordan-ser-jeres-robotstxt-ud#post-43701 fre, 11 jan 2013 17:16:28 +0000 Claus Møller 43701@http://wp-danmark.dk/forum/ <p>Det lyder smart.</p> <p>Hvordan er det at duplicate content opstår mht f.eks. kategorier ?</p> <p>(jeg forestiller mig at teksten kun ligger ét sted, men at den selvfølgelig kan tilgåes fra flere links - altså fra tagcloud og kategorioversigt) </p> http://wp-danmark.dk/forum/topic/hvordan-ser-jeres-robotstxt-ud#post-43700 fre, 11 jan 2013 17:10:00 +0000 Jesper Jarlskov 43700@http://wp-danmark.dk/forum/ <p>Yoast SEO plugin har en setting til at sætte noindex på dine tags/category/archive sider. Det vil gøre at Google ikke gemmer indholdet af disse sider i sit index, og det vil dermed ikke være pga. disse at du evt. vil opleve duplicate content. </p> http://wp-danmark.dk/forum/topic/hvordan-ser-jeres-robotstxt-ud#post-43695 fre, 11 jan 2013 16:21:47 +0000 Claus Møller 43695@http://wp-danmark.dk/forum/ <p>Også aktuelt mht denne tråd:<br /> <a href="http://wp-danmark.dk/forum/topic/blokerede-webadresser">blokerede-webadresser</a></p> <p>I Wordpress 3 Search Engine Optimization (forlaget PACKT publishing) anbefaler man denne robots.txt:</p> <p>User-agent: *</p> <p>Disallow: /cgi-bin<br /> Disallow: /wp-admin<br /> Disallow: /wp-includes<br /> Disallow: /wp-content/plugins<br /> Disallow: /wp-content/cache<br /> Disallow: /wp-content/themes<br /> Disallow: /trackback<br /> Disallow: /comments<br /> Disallow: /category/*/*<br /> Disallow: /tag/<br /> Disallow: */trackback<br /> Disallow: */comments</p> <p>Hvis man ikke vil have indexeret gamle sider kan man tilføje:<br /> Disallow: /2006/<br /> Disallow: /2007/<br /> (altså årstallene)</p> <p>Hvis man vil afvise "e-mail harvesting" og "worthless search engines" kan man tilføje:</p> <p>User-agent: Sitesnagger<br /> Disallow: /<br /> User-agent: Webstripper<br /> Disallow: /</p> <p>-------<br /> (spørgsmålet er om de adlyder) </p> http://wp-danmark.dk/forum/topic/blokerede-webadresser#post-43469 søn, 06 jan 2013 16:43:49 +0000 Claus Møller 43469@http://wp-danmark.dk/forum/ <p>robots.txt fortæller søgerobotter hvad de skal indexere og ikke indexere.<br /> Som jeg læser din robots.txt fortæller den at søgerobotter ikke skal kigge i de mapper som er nævnt.</p> <p>Det er også sådan man i "Wordpress for Dummies" anbefaler den skal se ud.</p> <p>Pointen er, som jeg forstår det:<br /> Google fortæller blot at man på din side ikke kan se/indexere ALT - og det skal du være klar over, hvis det nu var noget væsentligt for surfere/Google-søgere.</p> <p>Det er altså ikke fauerflora.dk der er blokeret på nogen måde, men Google webmastertools har registreret, at der på fauerflora.dk er en begrænsning for søgerobotter (og begrænsningen er for mapper som INGEN behøver at kigge i - så ingen panik, vil jeg bestemt mene)</p> <p>Din RSS Feed er et andet problem, som jeg ikke lige kan se hvad består af. </p> http://wp-danmark.dk/forum/topic/blokerede-webadresser#post-43468 søn, 06 jan 2013 16:33:25 +0000 Henning 43468@http://wp-danmark.dk/forum/ <p><blockquote>hmm.. det er altså mit host der ikke har givet mig adgang til roden på mit site.<br /> Så må jeg jo vente på dem... øv</blockquote><br /> Hvis det er rigtigt, så overvej en anden host. </p> http://wp-danmark.dk/forum/topic/blokerede-webadresser#post-43467 søn, 06 jan 2013 16:27:52 +0000 fauer 43467@http://wp-danmark.dk/forum/ <p>Men jeg forstår bare ikke helt... for er det ikke den robots.txt som er uploadet, der vises i webmastertools?</p> <p>Det jeg får vist i webmastertools er der ingen fejl i, men der står at der er en blokerede webadresse.</p> <p>Hvordan kan det hænge sammen.</p> <p>Alle mine andre websites der er lavet på nøjagtig samme måde viser ingen blokerede websites.</p> <p>Hilsen en lidt forvirret Line </p> http://wp-danmark.dk/forum/topic/blokerede-webadresser#post-43466 søn, 06 jan 2013 16:23:12 +0000 fauer 43466@http://wp-danmark.dk/forum/ <p>Hej Kucko</p> <p>hmm.. det er altså mit host der ikke har givet mig adgang til roden på mit site.<br /> Så må jeg jo vente på dem... øv</p> <p>Tak for hjælpen :)</p> <p>Vh Line </p> http://wp-danmark.dk/forum/topic/blokerede-webadresser#post-43460 søn, 06 jan 2013 15:54:17 +0000 Kucko 43460@http://wp-danmark.dk/forum/ <p>Hej Line,</p> <p>Prøv at kigge lidt på dette:<br /> <a href="http://support.google.com/webmasters/bin/answer.py?hl=da&amp;answer=156449" rel="nofollow">http://support.google.com/webmasters/bin/answer.py?hl=da&amp;answer=156449</a></p> <p>MVH<br /> Aris </p> http://wp-danmark.dk/forum/topic/blokerede-webadresser#post-43458 søn, 06 jan 2013 15:44:42 +0000 fauer 43458@http://wp-danmark.dk/forum/ <p>Hej min Google webmastertools siger at jeg har følgende blokerde webadresser <a href="http://www.fauerflora.dk/robots.txt" rel="nofollow">http://www.fauerflora.dk/robots.txt</a>, men jeg kan ikke finde robots-txt i ftp.</p> <p>i følge webmastertools så indeholder robots.txt ikke andet end<br /> User-agent: *<br /> Disallow: /wp-admin/<br /> Disallow: /wp-includes/</p> <p>Er det den fejl der kan have noget at gøre med at mine rss feed ikke virker?</p> <p>Vh Line fauerholm </p> http://wp-danmark.dk/forum/topic/hvordan-ser-jeres-robotstxt-ud#post-23145 fre, 28 jan 2011 18:27:39 +0000 Techwork 23145@http://wp-danmark.dk/forum/ <p>Hejsa</p> <p>Hvis jeg skriver site:www.techwork.dk i Googles søgemaskine får jeg en masse resultater fra mine tags. Det ser ikke særligt pænt ud og har tænkt mig at tilføje: <strong>Disallow: /Tag/</strong> Jeg har allerede <strong>Disallow: /wp-admin/</strong> i min robots.txt.</p> <p>Kom til at tænke på om der var mere jeg bør skjule for google. Hvad har i puttet i jeres robots.txt? </p> http://wp-danmark.dk/forum/topic/google-indekserer-feed#post-1672 tirs, 24 jul 2007 14:09:51 +0000 JLaugesen 1672@http://wp-danmark.dk/forum/ <p>Det ser ud som om det har hjulpet at få sat nofollow på linksene i footeren.</p> <p>@Fiskeben: det ser sådan set ret interessant ud. Jeg har ikke før tænkt på, at man kunne lade robots.txt generere dynamisk... Og jeg troede ikke, at søgerobotterne accepterede wildcards etc. Men lige nu ser mine problemer ud til at være løst - så en opfølgning må komme på et senere tidspunkt :) </p> http://wp-danmark.dk/forum/topic/google-indekserer-feed#post-1592 ons, 18 jul 2007 13:21:55 +0000 fiskeben 1592@http://wp-danmark.dk/forum/ <p>Jeg vil mene dette kan fikses med en robots.txt. <a href="http://www.askapache.com/seo/wordpress-robotstxt-optimized-for-seo.html">Læs lidt om Wordpress optimeret robots.txt her</a> </p> http://wp-danmark.dk/forum/topic/google-indekserer-feed#post-1546 tors, 12 jul 2007 21:44:24 +0000 Martin 1546@http://wp-danmark.dk/forum/ <p>Jeg ved ikke om det hjælper - men du kan prøve dette plugin:<br /> <a href="http://www.joostdevalk.nl/code/wordpress/noindex-feed/" rel="nofollow">http://www.joostdevalk.nl/code/wordpress/noindex-feed/</a></p> <p>Mvh. Martin </p> http://wp-danmark.dk/forum/topic/google-indekserer-feed#post-1545 tors, 12 jul 2007 17:53:32 +0000 Mark Thomas Gazel 1545@http://wp-danmark.dk/forum/ <p>Det er altid godt at kikke sit tema efter i sømmene. Du har ret, det er i footeren, der gemmer sig noget, der (måske) genererer det uønskede feed. </p>