web robots, linktiefe

noledge

CWNE #540

Registered: Apr 2001
Location: ::1
Posts: 6838

01.07.2002 - 18:08

hab lang überlegt wo das thema am ehesten passt - hab mich jetzt für hier entschieden

in wie fern lassen sich web robots bei der linktiefe beeinflussen? auch mit meta robots tag INDEX,FOLLOW gehn sie nie weiter als einen link - bei manchen seiten wäre allerdings eine linktiefe von 2 mehr als empfehlenswert.

gibt es arten, das zu beeinflussen oder sind einem da die hände gebunden?

thx für jeden konstruktiven beitrag

noledge

CWNE #540

Registered: Apr 2001
Location: ::1
Posts: 6838

01.07.2002 - 22:20

niemand eine idee?

JonnyB

Blutiger Neubei

Registered: Mar 2001
Location: Leoben
Posts: 656

01.07.2002 - 22:33

Direkt eine Idee net wirklich, nur einen möglichen Workaround:
Die wichtigen Links "unsichtbar" auf der Startseite unterbringen.
In einem Frameset also in den Noframes-Bereich, ansonsten irgendwo am Rand als Leerzeichen bzw. Punkte in Hintergrundfarbe. Damit sollten sich schon eine Menge Links unterbringen lassen ohne die Optik völlig zu vernichten.

Guest

Deleted User

Registered: n/a
Location:
Posts: n/a

01.07.2002 - 22:34

meinst robots.txt? dann kann ich dir nicht helfen, ein blick ins entsprechende rfc sollt helfen.

suchst nur a gscheite mirroring-sw: httrack oder wget.

funka

Legend
ex-prophet(down below)

Registered: Sep 2000
Location: Vienna / SF
Posts: 6131

01.07.2002 - 22:41

ich nehm an es geht dir darum das einige such spiders deine seite korrekt erfassen

richtig?
falls ja koennts daran liegen das einige spiders mit dynmaischen inhalten nicht umgehen wollen - sprich get vars ignoren
ein loesungsansatz hier ist mod_rewrite fuer apache

Guest

Deleted User

Registered: n/a
Location:
Posts: n/a

01.07.2002 - 23:20

jep, würd ich auch empfehlen.
wenn deine inhalte weitgehend statisch sind (also maximal 1x pro minute ein update), empfehl ich dir einen mechanismus der dir gleich html-sites generiert ... das bringt dann auch ordentlich performance und du ersparst dir mod_rewrite-sachen

funka

Legend
ex-prophet(down below)

Registered: Sep 2000
Location: Vienna / SF
Posts: 6131

02.07.2002 - 00:19

jep auch eine moeglichkeit

oder du fakest directory struktur mit der moeglichkeit get variablen im directory stil zu uebergeben
sprich
bla.php/rubrik/article/text/index.html
sollte ansich auch funken (versuch is es zumindest wert

)

bla.php kann man auch durch noledge.base ersetzen

gibs sicher noch andere sicke workaround moeglichkeiten

aber dere ist sicher die gscheiteste... hat aber am wenigsten brainfuck :rolleyes:

Guest

Deleted User

Registered: n/a
Location:
Posts: n/a

02.07.2002 - 00:55

code mal so eine echt sicke caching engine ... v.a. in ein vorhandenes system rein

da hast genug brainfucking für alle

funka

Legend
ex-prophet(down below)

Registered: Sep 2000
Location: Vienna / SF
Posts: 6131

02.07.2002 - 09:47

sure

that

Hoffnungsloser Optimist

Registered: Mar 2000
Location: MeidLing
Posts: 11343

02.07.2002 - 18:51

Zitat von noledge
in wie fern lassen sich web robots bei der linktiefe beeinflussen? auch mit meta robots tag INDEX,FOLLOW gehn sie nie weiter als einen link

Wie hast du das festgestellt?

Guest

Deleted User

Registered: n/a
Location:
Posts: n/a

02.07.2002 - 21:18

da gibts glaubich sowas wie log-files

funka

Legend
ex-prophet(down below)

Registered: Sep 2000
Location: Vienna / SF
Posts: 6131

02.07.2002 - 21:24

noledge

CWNE #540

Registered: Apr 2001
Location: ::1
Posts: 6838

02.07.2002 - 23:54

Zitat von that
Wie hast du das festgestellt?

indem ich das logfile nach "googlebot" grepe

Snoop

Here to stay

Registered: Jun 2002
Location: Gablitz
Posts: 1092

03.07.2002 - 07:36

sorry leute aber um welchen robot handelt es sich jetzt ???? irc??? (kann ich mir nicht vorstellen) weil dann kann ich vielleicht auch helfen

noledge

CWNE #540

Registered: Apr 2001
Location: ::1
Posts: 6838

03.07.2002 - 08:02

Zitat von Snoop
sorry leute aber um welchen robot handelt es sich jetzt ???? irc??? (kann ich mir nicht vorstellen) weil dann kann ich vielleicht auch helfen

um bots und crawler von suchmaschinen - die deine seite besuchen und indizieren. im speziellen der googlebot

noledge CWNE #540 Registered: Apr 2001 Location: ::1 Posts: 6838	01.07.2002 - 18:08 hab lang überlegt wo das thema am ehesten passt - hab mich jetzt für hier entschieden in wie fern lassen sich web robots bei der linktiefe beeinflussen? auch mit meta robots tag INDEX,FOLLOW gehn sie nie weiter als einen link - bei manchen seiten wäre allerdings eine linktiefe von 2 mehr als empfehlenswert. gibt es arten, das zu beeinflussen oder sind einem da die hände gebunden? thx für jeden konstruktiven beitrag
noledge CWNE #540 Registered: Apr 2001 Location: ::1 Posts: 6838	01.07.2002 - 22:20 niemand eine idee?
JonnyB Blutiger Neubei Registered: Mar 2001 Location: Leoben Posts: 656	01.07.2002 - 22:33 Direkt eine Idee net wirklich, nur einen möglichen Workaround: Die wichtigen Links "unsichtbar" auf der Startseite unterbringen. In einem Frameset also in den Noframes-Bereich, ansonsten irgendwo am Rand als Leerzeichen bzw. Punkte in Hintergrundfarbe. Damit sollten sich schon eine Menge Links unterbringen lassen ohne die Optik völlig zu vernichten.
Guest Deleted User Registered: n/a Location: Posts: n/a	01.07.2002 - 22:34 meinst robots.txt? dann kann ich dir nicht helfen, ein blick ins entsprechende rfc sollt helfen. suchst nur a gscheite mirroring-sw: httrack oder wget.
funka Legend ex-prophet(down below) Registered: Sep 2000 Location: Vienna / SF Posts: 6131	01.07.2002 - 22:41 ich nehm an es geht dir darum das einige such spiders deine seite korrekt erfassen richtig? falls ja koennts daran liegen das einige spiders mit dynmaischen inhalten nicht umgehen wollen - sprich get vars ignoren ein loesungsansatz hier ist mod_rewrite fuer apache
Guest Deleted User Registered: n/a Location: Posts: n/a	01.07.2002 - 23:20 jep, würd ich auch empfehlen. wenn deine inhalte weitgehend statisch sind (also maximal 1x pro minute ein update), empfehl ich dir einen mechanismus der dir gleich html-sites generiert ... das bringt dann auch ordentlich performance und du ersparst dir mod_rewrite-sachen
funka Legend ex-prophet(down below) Registered: Sep 2000 Location: Vienna / SF Posts: 6131	02.07.2002 - 00:19 jep auch eine moeglichkeit oder du fakest directory struktur mit der moeglichkeit get variablen im directory stil zu uebergeben sprich bla.php/rubrik/article/text/index.html sollte ansich auch funken (versuch is es zumindest wert ) bla.php kann man auch durch noledge.base ersetzen gibs sicher noch andere sicke workaround moeglichkeiten aber dere ist sicher die gscheiteste... hat aber am wenigsten brainfuck
Guest Deleted User Registered: n/a Location: Posts: n/a	02.07.2002 - 00:55 code mal so eine echt sicke caching engine ... v.a. in ein vorhandenes system rein da hast genug brainfucking für alle
funka Legend ex-prophet(down below) Registered: Sep 2000 Location: Vienna / SF Posts: 6131	02.07.2002 - 09:47 sure
that Hoffnungsloser Optimist Registered: Mar 2000 Location: MeidLing Posts: 11343	02.07.2002 - 18:51 Zitat von noledge in wie fern lassen sich web robots bei der linktiefe beeinflussen? auch mit meta robots tag INDEX,FOLLOW gehn sie nie weiter als einen link Wie hast du das festgestellt?
Guest Deleted User Registered: n/a Location: Posts: n/a	02.07.2002 - 21:18 da gibts glaubich sowas wie log-files
funka Legend ex-prophet(down below) Registered: Sep 2000 Location: Vienna / SF Posts: 6131	02.07.2002 - 21:24
noledge CWNE #540 Registered: Apr 2001 Location: ::1 Posts: 6838	02.07.2002 - 23:54 Zitat von that Wie hast du das festgestellt? indem ich das logfile nach "googlebot" grepe
Snoop Here to stay Registered: Jun 2002 Location: Gablitz Posts: 1092	03.07.2002 - 07:36 sorry leute aber um welchen robot handelt es sich jetzt ???? irc??? (kann ich mir nicht vorstellen) weil dann kann ich vielleicht auch helfen
noledge CWNE #540 Registered: Apr 2001 Location: ::1 Posts: 6838	03.07.2002 - 08:02 Zitat von Snoop sorry leute aber um welchen robot handelt es sich jetzt ???? irc??? (kann ich mir nicht vorstellen) weil dann kann ich vielleicht auch helfen um bots und crawler von suchmaschinen - die deine seite besuchen und indizieren. im speziellen der googlebot

web robots, linktiefe

Forum Index > Software > Coding Stuff

noledge

noledge

JonnyB

Guest

funka

Guest

funka

Guest

funka

that

Guest

funka

noledge

Snoop

noledge