Frage zur robots.txt

Dieses Thema im Forum "Fragen und Antworten" wurde erstellt von Maestro2k5, 10. Okt. 2014.

  1. Maestro2k5

    Maestro2k5 Bekanntes Mitglied Lizenzinhaber

    Hallo,

    meine robots.txt sieht noch so aus:


    Nach dem Vorbild von Xenforo.com. Die Frage ist nun muss ich eigentlich die /find-new/ z.B umbenennen wie ich es im route filter habe?
     
    Zuletzt bearbeitet: 10. Okt. 2014
  2. Hoffi

    Hoffi !important Lizenzinhaber

    Ja, solltest du, und am besten zusätzlich.
     
    Maestro2k5 gefällt das.
  3. Maestro2k5

    Maestro2k5 Bekanntes Mitglied Lizenzinhaber

    so sieht das nun aus:



    Noch Vorschläge was ich daran optimieren könnte?
     
  4. DRaver

    DRaver Bekanntes Mitglied

    Ich bin mir nicht sicher ob dein letzter Allow Eintrag alles disallows wieder aufhebt. Ich würde das mal lieber prüfen in den Webmaster Tools.

    Mit /beitraege/ schliesst du die direkt indexierung von den Beiträgen hier aus:

    upload_2014-10-10_19-18-36.png

    Ich glaube es war mal Matt Cutts von Google, der gesagt hat das man so wenig wie möglich in der Robots.txt sperren soll und Sachen die man nicht indexieren will lieber mit Noindex im Template ausschließen sollte.

    Meine sieht so aus:

    Code (Text):
    User-agent: *
    Disallow: /

    User-agent: Googlebot
    Disallow: /account/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /aboutus/
    Disallow: /misc/contact
    Disallow: /misc/
    Disallow: /posts/


    User-Agent: Googlebot-Mobile
    Disallow: /account/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /aboutus/
    Disallow: /misc/contact
    Disallow: /misc/
    Disallow: /posts/


    User-agent: msnbot
    Disallow: /account/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /aboutus/
    Disallow: /misc/contact
    Disallow: /misc/
    Disallow: /posts/

    User-agent: bingbot
    Disallow: /account/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /aboutus/
    Disallow: /misc/contact
    Disallow: /misc/
    Disallow: /posts/

    User-agent: Slurp
    Disallow: /account/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /aboutus/
    Disallow: /misc/contact
    Disallow: /misc/
    Disallow: /posts/
     
     
    Hoffi gefällt das.
  5. Maestro2k5

    Maestro2k5 Bekanntes Mitglied Lizenzinhaber

    Danke, das schaue ich mir nochmal an. Im Zweifelsfalls würde ich gerne teile deiner Übernehmen, bzw für mich abändern.
     
  6. Maestro2k5

    Maestro2k5 Bekanntes Mitglied Lizenzinhaber

    Das mit den

    Disallow: /posts/
    Disallow: /beitraege/


    habe ich halt nur reingenomen weil ich den routefilter dazu aktiv habe.
     
  7. DRaver

    DRaver Bekanntes Mitglied

    ja, diese post Sachen haben mich auch genervt. Darum habe ich mir auch ein addon schreiben lassen, das die Beiträge direkt verlinkt für Gäste und Bots.
    In meiner robots.txt schliesse ich erst mal alles aus und lasse dann zu, was ich will.
     
    Maestro2k5 gefällt das.
  8. Maestro2k5

    Maestro2k5 Bekanntes Mitglied Lizenzinhaber

    So das hier ist nun meine aktuelle.

    Ob das so richtig ist, echt keine Ahnung.

    User-agent: *
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    User-agent: Googlebot
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    User-Agent: Googlebot-Mobile
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    User-agent: msnbot
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    User-agent: bingbot
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    User-agent: Slurp
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    User-agent: strucr
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    User-agent: strucr-phone
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    User-agent: strucr-tablet
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    Sitemap: https://www.android-port.de/sitemap.php

    so sollte es aber auch reichen oder?

    User-agent: *
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    Sitemap: https://www.android-port.de/sitemap.php

    Das letzte

    Allow: /

    sollte unwichtig sein, da ja scheinbar alles was nicht verboten ist, erlaubt ist.
     
    Zuletzt bearbeitet: 14. Okt. 2014
  9. Maestro2k5

    Maestro2k5 Bekanntes Mitglied Lizenzinhaber

    Nachtrag was ich aber nicht verstehe:


    Wieso steht da zugelassen, das doch eigentlich untersagt.
     

    Anhänge:

  10. Hoffi

    Hoffi !important Lizenzinhaber

    Die Scrollbar ist lang, ich kann nicht sehen was da noch alles steht.
     
  11. Maestro2k5

    Maestro2k5 Bekanntes Mitglied Lizenzinhaber

    Es ist genau der Inhalt von oben:

    User-agent: *
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    User-agent: Googlebot
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    User-Agent: Googlebot-Mobile
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    User-agent: msnbot
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    User-agent: bingbot
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    User-agent: Slurp
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    User-agent: strucr
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    User-agent: strucr-phone
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    User-agent: strucr-tablet
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt

    Sitemap: https://www.android-port.de/sitemap.php
     
  12. Heffalump

    Heffalump Bekanntes Mitglied Lizenzinhaber

    Gib mal nur das Verzeichnis in das Eingabefeld ein. Die Domain ist bereits vorgegeben.
    Also: profil/
     
  13. Hoffi

    Hoffi !important Lizenzinhaber

  14. Maestro2k5

    Maestro2k5 Bekanntes Mitglied Lizenzinhaber

    Ah alles klar, Danke euch. Dann reicht der erste Block. Könnt ich noch was optimieren?
     
  15. Hoffi

    Hoffi !important Lizenzinhaber

    Disallow: /data/
    und wenn der internal_data Ordner noch original ist, dann den auch aufnehmen.
     
  16. Maestro2k5

    Maestro2k5 Bekanntes Mitglied Lizenzinhaber

    Daran habe ich nichts gemacht. Also nehme ich das mit auf. Aber schließt das nicht auch die Bilder aus für die Google Bildersuche? Die liege da doch mit drinne.
     
  17. Hoffi

    Hoffi !important Lizenzinhaber

    Die werden über den attachmets Controller ausgeliefert. Musst du mal in deine Sitemap schauen.
     
    Maestro2k5 gefällt das.
  18. Maestro2k5

    Maestro2k5 Bekanntes Mitglied Lizenzinhaber

  19. DRaver

    DRaver Bekanntes Mitglied

    Ich würde folgendes noch an den Anfang stellen:

    Code (Text):
    User-agent: *
    Disallow: /
    So wie du es jetzt machst sagst du den wichtigsten Bot´s was sie tun haben.

    Alle anderen, teilweise trafficsaugenden Bots, dürfen aber weiterhin tun und lassen bei dir, was sie wollen.
    Irgendwie blöde oder? ;)
     
  20. Maestro2k5

    Maestro2k5 Bekanntes Mitglied Lizenzinhaber

    Das hatte ich aber hatte ja die sachen zusammengefügt so:

    User-agent: *
    Disallow: /account/
    Disallow: /profil/
    Disallow: /goto/
    Disallow: /login/
    Disallow: /admin.php
    Disallow: /js/
    Disallow: /help/
    Disallow: /hilfe/
    Disallow: /misc/
    Disallow: /misc/contact
    Disallow: /misc/kontakt
    Disallow: /data/
    Disallow: /internal_data/
    Allow: /

    Sitemap: https://www.android-port.de/sitemap.php
     
  1. Diese Seite verwendet Cookies, um Inhalte zu personalisieren, diese deiner Erfahrung anzupassen und dich nach der Registrierung angemeldet zu halten.
    Wenn du dich weiterhin auf dieser Seite aufhältst, akzeptierst du unseren Einsatz von Cookies.
    Information ausblenden