robots.txt

Visitor

Here to stay

Registered: Nov 2006
Location: OÖ
Posts: 1023

02.12.2007 - 00:08

Hallo!

Die Forumsuche und auch googl konnten mich nicht zufriedenstellend informieren.

Vielleicht kennt sich von euch ja wer aus.

Auf meiner HP möchte ich folgende Ordner vor search bots schützen.

/konstanze
/forum/admin
/mysqldumper

Joomla hat schon eine robots.txt dabei.

Kann ich da jetzt die Pfade im gleichen stil einfach eintragen, oder ist eine Reihenfolge zu beachten.

zb. Disallow: /forum/admin/

Hier die vorhandene robots.txt

Code:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /editor/
Disallow: /help/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /mambots/
Disallow: /media/
Disallow: /modules/
Disallow: /templates/
Disallow: /installation/
Disallow: /konstanze/
Disallow: /forum/admin/
Disallow: /mysqldumper/

EDIT:
Hab geade die Fomatierung gerichtetn

Bearbeitet von Visitor am 02.12.2007, 00:20

fatmike182

Agnotologe

Registered: Oct 2005
Location: VIE
Posts: 4223

02.12.2007 - 00:17

du kannst auch ein disallow für googlebots generell machen, falls du das willst.
http://www.javascriptkit.com/howto/robots.shtml

Bzgl Reihenfolge wüsste ich nix, kanns mir auch nicht vorstellen

Visitor

Here to stay

Registered: Nov 2006
Location: OÖ
Posts: 1023

02.12.2007 - 00:21

Okay, dann probier ichs mal einfach

Werds dann schon merken

Danke.

fatmike182

Agnotologe

Registered: Oct 2005
Location: VIE
Posts: 4223

02.12.2007 - 00:24

Moment:
http://www.webmasterworld.com/google/3044757.htm behauptet was andees bzgl Order, aber habs nur überflogen
"no. Some bots have worked in the past in increasing order of importance. What comes last in the robots.txt trumps what comes first. A sequential reading of robots.txt is how Infoseek and Scooter used to work."

btw: http://www.askapache.com/seo/seo-with-robotstxt.html
da findest du noch paar Bsp-Konfigs

Visitor

Here to stay

Registered: Nov 2006
Location: OÖ
Posts: 1023

02.12.2007 - 00:51

Muss ich mir nochmal ganz genau anschauen.

Im Zweifelsfall werde ich es einfach alphabetisch sortieren.

mfg
Visitor

mat

Administrator
Legends never die

Registered: Aug 2003
Location: nö
Posts: 25538

02.12.2007 - 17:52

Zitat von Visitor
Kann ich da jetzt die Pfade im gleichen stil einfach eintragen, oder ist eine Reihenfolge zu beachten.

zb. Disallow: /forum/admin/

ohne bedenken kannst du das so machen.

Zitat von fatmike182
du kannst auch ein disallow für googlebots generell machen, falls du das willst.
http://www.javascriptkit.com/howto/robots.shtml

Zitat von fatmike182
Moment:
http://www.webmasterworld.com/google/3044757.htm behauptet was andees bzgl Order, aber habs nur überflogen
"no. Some bots have worked in the past in increasing order of importance. What comes last in the robots.txt trumps what comes first. A sequential reading of robots.txt is how Infoseek and Scooter used to work."

fatmike, verwirrst du dich eigentlich machnmal selbst? :confused:

wer seine robots.txt speziell auf gewisse bots anpasst, der darf im falle des google-bots nicht die instruktionen vererben. so ignoriert der bot nur die einträge, die unter seiner kategorie stehen und nimmt die der kategorie "*" nicht mit. dadurch muss bei so einer unterscheidung jeder eintrag für * nochmal unter der kategorie für den google-bot aufscheinen.

fatmike182

Agnotologe

Registered: Oct 2005
Location: VIE
Posts: 4223

02.12.2007 - 20:42

habs ja dann eh revidiert...
bzgl generell & google hätt ich mir gedacht, dass die Vererbung wie bei CSS abläuft.

Visitor Here to stay Registered: Nov 2006 Location: OÖ Posts: 1023	02.12.2007 - 00:08 Hallo! Die Forumsuche und auch googl konnten mich nicht zufriedenstellend informieren. Vielleicht kennt sich von euch ja wer aus. Auf meiner HP möchte ich folgende Ordner vor search bots schützen. /konstanze /forum/admin /mysqldumper Joomla hat schon eine robots.txt dabei. Kann ich da jetzt die Pfade im gleichen stil einfach eintragen, oder ist eine Reihenfolge zu beachten. zb. Disallow: /forum/admin/ Hier die vorhandene robots.txt Code: `User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /editor/ Disallow: /help/ Disallow: /images/ Disallow: /includes/ Disallow: /language/ Disallow: /mambots/ Disallow: /media/ Disallow: /modules/ Disallow: /templates/ Disallow: /installation/ Disallow: /konstanze/ Disallow: /forum/admin/ Disallow: /mysqldumper/` EDIT: Hab geade die Fomatierung gerichtetn Bearbeitet von Visitor am 02.12.2007, 00:20
fatmike182 Agnotologe Registered: Oct 2005 Location: VIE Posts: 4223	02.12.2007 - 00:17 du kannst auch ein disallow für googlebots generell machen, falls du das willst. http://www.javascriptkit.com/howto/robots.shtml Bzgl Reihenfolge wüsste ich nix, kanns mir auch nicht vorstellen
Visitor Here to stay Registered: Nov 2006 Location: OÖ Posts: 1023	02.12.2007 - 00:21 Okay, dann probier ichs mal einfach Werds dann schon merken Danke.
fatmike182 Agnotologe Registered: Oct 2005 Location: VIE Posts: 4223	02.12.2007 - 00:24 Moment: http://www.webmasterworld.com/google/3044757.htm behauptet was andees bzgl Order, aber habs nur überflogen "no. Some bots have worked in the past in increasing order of importance. What comes last in the robots.txt trumps what comes first. A sequential reading of robots.txt is how Infoseek and Scooter used to work." btw: http://www.askapache.com/seo/seo-with-robotstxt.html da findest du noch paar Bsp-Konfigs
Visitor Here to stay Registered: Nov 2006 Location: OÖ Posts: 1023	02.12.2007 - 00:51 Muss ich mir nochmal ganz genau anschauen. Im Zweifelsfall werde ich es einfach alphabetisch sortieren. mfg Visitor
mat Administrator Legends never die Registered: Aug 2003 Location: nö Posts: 25538	02.12.2007 - 17:52 Zitat von Visitor Kann ich da jetzt die Pfade im gleichen stil einfach eintragen, oder ist eine Reihenfolge zu beachten. zb. Disallow: /forum/admin/ ohne bedenken kannst du das so machen. Zitat von fatmike182 du kannst auch ein disallow für googlebots generell machen, falls du das willst. http://www.javascriptkit.com/howto/robots.shtml Zitat von fatmike182 Moment: http://www.webmasterworld.com/google/3044757.htm behauptet was andees bzgl Order, aber habs nur überflogen "no. Some bots have worked in the past in increasing order of importance. What comes last in the robots.txt trumps what comes first. A sequential reading of robots.txt is how Infoseek and Scooter used to work." fatmike, verwirrst du dich eigentlich machnmal selbst? wer seine robots.txt speziell auf gewisse bots anpasst, der darf im falle des google-bots nicht die instruktionen vererben. so ignoriert der bot nur die einträge, die unter seiner kategorie stehen und nimmt die der kategorie "" nicht mit. dadurch muss bei so einer unterscheidung jeder eintrag für nochmal unter der kategorie für den google-bot aufscheinen.
fatmike182 Agnotologe Registered: Oct 2005 Location: VIE Posts: 4223	02.12.2007 - 20:42 habs ja dann eh revidiert... bzgl generell & google hätt ich mir gedacht, dass die Vererbung wie bei CSS abläuft.

robots.txt

Forum Index > Software > Coding Stuff

Visitor

fatmike182

Visitor

fatmike182

Visitor

mat

fatmike182