Soms..

[Ivar]

Vraag je je wel eens af waarom er totaal geen verkeer op je website komt (via G)..

Totdat je op onderzoek uit gaat:

User-agent: *
Disallow: /

:-\
Overigens wel merkwaardig dat (een deel van) de website WEL is geindexeerd! ???

 

[ouwesmurf]

Toont maar weer eens aan, dat de robots.txt een aardige filosofie heeft, wordt ook wel gelezen, en soms ook wel gevolgd in de zin van "we zullen het je niet vertellen en anderen misschien ook niet" , maar elke bot volgt letterlijk en figuurlijk zijn/haar eigen weg. En Google bepaalt zelf of ze al dan niet de interpretatie niet zullen eerbiedigen, maar dat ze de url's volgen lijkt wel zeker.

Zo heb ik iemand ooit horen zeggen ( let wel ik heb zelf ook zo'n epistel staan ) : robots.txt en zeker uitgesloten directories betekent "ga daar juist wel kijken, want er staan interessante zaken".

Vooral bots van keyword-spiders ( ook gewoon Nederlandse , die hun vondsten commercieel in Nederland aanbieden , hebben een handje van "niet .. maar volgen".

Maar je hebt gelijk, zou die mededeling inderdaad maar weghalen. ;D

 

[Romac35]

Robot.txt, who needs it? Je site werkt ook zonder, en inderdaad zoiets als dit is mij ook weleens overkomen. Erg vervelend vooral als het gaat om een site die goed centjes binnen trekt. Als je geen uitgebreide instructies in je robot.txt zet kun je hem er net zo goed uitgooien.