Frage zur robots.txt

Dieses Thema im Forum "Fragen und Antworten" wurde erstellt von Maestro2k5, 10. Okt. 2014.

  1. weiss-nicht

    weiss-nicht Aktives Mitglied Lizenzinhaber

    Aber ich bekomme immer noch im Webmastertool, es sei ein "Robot.txt" vorhanden

    gleiches Bild wie oben
     
  2. kailew

    kailew Aktives Mitglied Lizenzinhaber

    dauert glaube ich etwas ...
     
  3. pjfry

    pjfry Aktives Mitglied Lizenzinhaber

    Ja kann dauern ... Sollte es Morgen noch nicht gehen, sollte man doch nochmal nachsehen, aber bis dahin würde ich eher sagen es liegt an Google. Da Deine Robot.txt definitiv erreichbar ist. Siehe mein Link weiter vorne :)
     
  4. weiss-nicht

    weiss-nicht Aktives Mitglied Lizenzinhaber

    Dann warte ich einmal.............
     
  5. Maestro2k5

    Maestro2k5 Bekanntes Mitglied Lizenzinhaber

  6. Hausmeista

    Hausmeista Gast

  7. surfinsaxman

    surfinsaxman Aktives Mitglied Lizenzinhaber

    Auch wenn AndyB behauptet, dass 99% der Robots das disallow ignorieren, ist meine Erfahrung eine andere. Die 3 die ich explizit ausgesperrt habe halten sich dran.
     
    Maestro2k5 gefällt das.
  8. RS3ClubIntl

    RS3ClubIntl Neues Mitglied Lizenzinhaber

    Hallo zusammen,

    für mich ist das Ganze noch etwas neu, habe aber grundsätzlich verstanden was man mit der robots.txt bezweckt.
    Jetzt habe ich nur eine ganz dumme Frage: Gibt es die Datei robots.txt nach einer XF2-Installation? Bei uns gab es die nicht und ich habe sie jetzt mal im Root angelegt.
    Ich hoffe, das war richtig so...
     
    McAtze gefällt das.
  9. Tealk

    Tealk Aktives Mitglied Lizenzinhaber

    Ja genau, man legt die Datei einfach im root der Domain an.
     
  10. otto

    otto Bekanntes Mitglied Lizenzinhaber

    Ja, genau so. Der Inhalt der Robots.txt ist schlicht zu individuell zu definieren als das sich da eine Standard Robots.txt eignen würde.
     
  11. RS3ClubIntl

    RS3ClubIntl Neues Mitglied Lizenzinhaber

    Super, ich denke Euch für Eure Antwort.
    Ich habe jetzt mal eine minimalistische angelegt (Muster von XenForo) und schaue mal, was Google Search dann die Tage draus macht. Die Live-Tests auf einzelne Pfade der Sitemap werden zumindest als erfolgreich angezeigt.
     
  12. otto

    otto Bekanntes Mitglied Lizenzinhaber

    Dann mal hier noch ein weiteres Beispiel:

    Code (Text):
    # Schließe folgende Spider aus:
    User-agent: WebReaper
    Disallow: /
    User-agent: WebCopier
    Disallow: /
    User-agent: Offline Explorer
    Disallow: /
    User-agent: HTTrack
    Disallow: /
    User-agent: Microsoft.URL.Control
    Disallow: /
    User-agent: EmailCollector
    Disallow: /
    User-agent: penthesilea
    Disallow: /

    # folgende Verzeichnisse/Dateien allen verbieten
    User-agent: *
    Disallow: /forum/admin.php
    Disallow: /forum/install/

    Sitemap: https://www.deinedomain.de/forum/sitemap.php
    Wobei man vielleicht noch erwähnen sollte, das die Robots.txt nur einer Empfehlung und Bitte gleicht!

    Will man nicht bitten sondern befehlen, dann ist die .htaccess weit besser geeignet, wenn auch diese nicht frei von Schatten ist (Performance)
     
  13. RS3ClubIntl

    RS3ClubIntl Neues Mitglied Lizenzinhaber

    Hallo Otto,

    lieben Dank für die zusatz Infos.
    Das die robots.txt darauf basiert, dass die Bots dies auch berücksichtigen hatte ich aus den vorherigen Beiträgen bereits herausgelesen.
    Die kritischen Sachen habe ich über das Rechtesystem von XenForo blockiert und zudem arbeitet alles bislang noch ausschließlich über die index.php....
     
  14. otto

    otto Bekanntes Mitglied Lizenzinhaber

    Ich würde mir dennoch, die Möglichkeiten der .htaccess mal anschauen. Gerade zum sperren von Verzeichnissen für bestimmte "Besucher". ;)
     
  15. RS3ClubIntl

    RS3ClubIntl Neues Mitglied Lizenzinhaber

    Hoi Otto,

    danke für den Hinweis, ich werde mich mal einlesen.
    Eigentlich bin ich mir aber nicht sicher, ob unser Hoster Apache oder IIS verwendet.
    Aber ich werde das noch klären.
     
    otto gefällt das.
  1. Diese Seite verwendet Cookies, um Inhalte zu personalisieren, diese deiner Erfahrung anzupassen und dich nach der Registrierung angemeldet zu halten.
    Wenn du dich weiterhin auf dieser Seite aufhältst, akzeptierst du unseren Einsatz von Cookies.
    Information ausblenden