HTML, PHP, Google Bot og en bunke 404'ere

[NickyThomassen]

Jeg har på min hjemmeside en ret simpel struktur, hvor hver sektion ligger i sin egen undermappe, og kan "kaldes" fra index i roden. Pt. indeholder den kun undermapperne filer, pakker, webalizer (kodet mappe), phpbb, share, wp, guides, man og vikinger, som alle ligger i roden (dvs der er kun et niveau af mapper).

Problemet kommer med bl.a. Googles bot, som prøver nogle ret underlige kombinationer. Et uddrag fra loggen:

Kode: Vælg alt

aptget.dk 66.249.66.78 - - [29/May/2012:10:52:35 +0200] "GET /filer/pakker/guides/filer/share/filer/sudoers.html HTTP/1.1" 404 2022 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
aptget.dk 66.249.66.78 - - [29/May/2012:15:16:09 +0200] "GET /filer/wp/pakker/boinc.html HTTP/1.1" 404 1998 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
aptget.dk 66.249.73.218 - - [29/May/2012:19:45:13 +0200] "GET /filer/guides/phpbb/wp/pakker/share/ HTTP/1.1" 404 2007 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
aptget.dk 66.249.73.218 - - [29/May/2012:19:56:40 +0200] "GET /filer/guides/guides/share/wp/phpbb/ HTTP/1.1" 404 2007 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
aptget.dk 66.249.73.218 - - [29/May/2012:20:30:14 +0200] "GET /filer/guides/wp/pakker/wp/filer/share/ HTTP/1.1" 404 2010 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
aptget.dk 66.249.73.218 - - [29/May/2012:20:53:13 +0200] "GET /filer/guides/pakker/wp/filer/share/wp/ HTTP/1.1" 404 2010 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
aptget.dk 66.249.73.218 - - [29/May/2012:22:00:11 +0200] "GET /filer/pakker/guides/guides/wp/phpbb/ HTTP/1.1" 404 2008 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
aptget.dk 66.249.73.218 - - [29/May/2012:22:24:18 +0200] "GET /filer/pakker/guides/share/filer/phpbb/ HTTP/1.1" 404 2010 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Så den prøver med "/filer/pakker/guides/filer/share/filer/sudoers.html", men hvorfor gør den dog det? Og ikke nok med at den prøver en underlig mappekombination, sudoers.html findes ikke, og har aldrig fandtes...

I index i roden kalder jeg undermapperne med standard html

Kode: Vælg alt

<a href="filer/fstab.php">fstab</a>

Og fra undermapperne linker jeg tilbage til forsiden med

Kode: Vælg alt

<a href="../">Til forsiden</a><hr />

[lath]

Har du en gammel sitemap liggende?
Endelig kan botten måske finde på at bruge en gammel sitemap fil den har gemt hos Google.

Hvis du ikke bruger en sitemap fil, så overvej at gøre det, det fortæller botten hvad den skal kigge efter, så den ikke prøver at gætte (, tror jeg).
http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156184 - kig i menuen til venstre.


/Lars

[AJenbo]

I index i roden kalder jeg undermapperne med standard html

Kode: Vælg alt

<a href="filer/fstab.php">fstab</a>

Og fra undermapperne linker jeg tilbage til forsiden med

Kode: Vælg alt

<a href="../">Til forsiden</a><hr />

Google forsøger ikke at gætte sig til adresser (på nær selve roden), jeg vil helt klart florslå at du bruger absolutte stier til i dine links. Ellers ser jeg ofte at man kommer til at lave fejl når man kopiere filerne rundt og laver om på tingende.

Kode: Vælg alt

<a href="/filer/fstab.php">fstab</a>
<a href="/">Til forsiden</a>

Er det på http://aptget.dk/ ? For så kan jeg lige forsøge at analysere lidt på din side struktur.

[lath]

I index i roden kalder jeg undermapperne med standard html

Kode: Vælg alt

<a href="filer/fstab.php">fstab</a>

Og fra undermapperne linker jeg tilbage til forsiden med

Kode: Vælg alt

<a href="../">Til forsiden</a><hr />

Google forsøger ikke at gætte sig til adresser (på nær selve roden), jeg vil helt klart florslå at du bruger absolutte stier til i dine links. Ellers ser jeg ofte at man kommer til at lave fejl når man kopiere filerne rundt og laver om på tingende.

Kode: Vælg alt

<a href="/filer/fstab.php">fstab</a>
<a href="/">Til forsiden</a><hr />

Er det på http://aptget.dk/ ? For så kan jeg lige forsøge at analysere lidt på din side struktur.

Tak for info

/Lars

[AJenbo]

Jeg har scannet hele din side så du burde nu have alle dine fejl listet i din apache log fra en Windows 98 bruger

Du linker til http://aptget.dk/filer/sudoers.php fra forsiden med teksten "sudoers list (ikke oprettet endnu)"

Hvis du ser dette link http://aptget.dk/dsjflksdfjlads/asldfjlkj/alksjflksj vil du også se at grafikken mangler samt at forside linket er til http://aptget.dk/dsjflksdfjlads/ pga. du brugere relative stier i dine filer.

Jeg kan ikke finde de specefikke links som du peger til i loggen, men noget kunde tyde på du har værte i gang med at lave nogle ændringer

Du bør i øvrgt unde links til index.php og i stedet lave linket til mappen det giver bedre google rank, men når den allerede har opfanget links til index.php er det nødvendigt at skrive specefik kode til at lave en 301 redirect til linket uden index.php (så det ved link til http://aptget.dk/vikings/index.php).
Min far har i øvrigt lige købet et sværd fra vikkinge tiden (pænt rustent ).

[thj01]

Hvor er jeg egentlig glad for at jeg fatter hat af dette indlæg g