Er det muligt at surfe nettet som indekseringsbot?

[NickyThomassen]

Som overskriften siger, så kunne jeg godt tænke mig, en nem måde at surfe på nettet, sådan som en bot fra en indekseringstjeneste gør det. Optimalt set kunne det vel opnås igennem et plugin til Firefox, men jeg har ikke kunne finde sådan et.

Så, hvordan tjekker i, at jeres sider kan læses af bots?

[AJenbo]

lynx og webhttrace

[NickyThomassen]

Yes, det var lynx jeg ledte efter

Jeg havde ellers søgt rundt, men når man ikke kan huske navnet på den, så bliver det lidt svært.