web robots, linktiefe

Seite 1 von 2 - Forum: Coding Stuff auf overclockers.at

URL: https://www.overclockers.at/coding-stuff/web_robots_linktiefe_39695/page_1 - zur Vollversion wechseln!

noledge schrieb am 01.07.2002 um 18:08

hab lang überlegt wo das thema am ehesten passt - hab mich jetzt für hier entschieden

in wie fern lassen sich web robots bei der linktiefe beeinflussen? auch mit meta robots tag INDEX,FOLLOW gehn sie nie weiter als einen link - bei manchen seiten wäre allerdings eine linktiefe von 2 mehr als empfehlenswert.

gibt es arten, das zu beeinflussen oder sind einem da die hände gebunden?

thx für jeden konstruktiven beitrag

noledge schrieb am 01.07.2002 um 22:20

niemand eine idee?

JonnyB schrieb am 01.07.2002 um 22:33

Direkt eine Idee net wirklich, nur einen möglichen Workaround:
Die wichtigen Links "unsichtbar" auf der Startseite unterbringen.
In einem Frameset also in den Noframes-Bereich, ansonsten irgendwo am Rand als Leerzeichen bzw. Punkte in Hintergrundfarbe. Damit sollten sich schon eine Menge Links unterbringen lassen ohne die Optik völlig zu vernichten.

schrieb am 01.07.2002 um 22:34

meinst robots.txt? dann kann ich dir nicht helfen, ein blick ins entsprechende rfc sollt helfen.

suchst nur a gscheite mirroring-sw: httrack oder wget.

funka schrieb am 01.07.2002 um 22:41

ich nehm an es geht dir darum das einige such spiders deine seite korrekt erfassen

richtig?
falls ja koennts daran liegen das einige spiders mit dynmaischen inhalten nicht umgehen wollen - sprich get vars ignoren
ein loesungsansatz hier ist mod_rewrite fuer apache

schrieb am 01.07.2002 um 23:20

jep, würd ich auch empfehlen.
wenn deine inhalte weitgehend statisch sind (also maximal 1x pro minute ein update), empfehl ich dir einen mechanismus der dir gleich html-sites generiert ... das bringt dann auch ordentlich performance und du ersparst dir mod_rewrite-sachen

funka schrieb am 02.07.2002 um 00:19

jep auch eine moeglichkeit

oder du fakest directory struktur mit der moeglichkeit get variablen im directory stil zu uebergeben
sprich
bla.php/rubrik/article/text/index.html
sollte ansich auch funken (versuch is es zumindest wert )

bla.php kann man auch durch noledge.base ersetzen

gibs sicher noch andere sicke workaround moeglichkeiten
aber dere ist sicher die gscheiteste... hat aber am wenigsten brainfuck :rolleyes:

schrieb am 02.07.2002 um 00:55

code mal so eine echt sicke caching engine ... v.a. in ein vorhandenes system rein da hast genug brainfucking für alle

funka schrieb am 02.07.2002 um 09:47

sure

that schrieb am 02.07.2002 um 18:51

Zitat von noledge
in wie fern lassen sich web robots bei der linktiefe beeinflussen? auch mit meta robots tag INDEX,FOLLOW gehn sie nie weiter als einen link

Wie hast du das festgestellt?

schrieb am 02.07.2002 um 21:18

da gibts glaubich sowas wie log-files

funka schrieb am 02.07.2002 um 21:24

:eek:

noledge schrieb am 02.07.2002 um 23:54

Zitat von that
Wie hast du das festgestellt?

indem ich das logfile nach "googlebot" grepe

Snoop schrieb am 03.07.2002 um 07:36

sorry leute aber um welchen robot handelt es sich jetzt ???? irc??? (kann ich mir nicht vorstellen) weil dann kann ich vielleicht auch helfen

noledge schrieb am 03.07.2002 um 08:02

Zitat von Snoop
sorry leute aber um welchen robot handelt es sich jetzt ???? irc??? (kann ich mir nicht vorstellen) weil dann kann ich vielleicht auch helfen

um bots und crawler von suchmaschinen - die deine seite besuchen und indizieren. im speziellen der googlebot