A Google megint csiszolt egy picit a de facto szabvánnyá lett Robots Exclusion Protocol-on (REP). Gondolom ezt senkinek nem kell bemutatni, a használata világos, gyakorlatilag ennek a segítségével “kommunikálunk” a crawlerekkel, hogy mit nem szeretnénk ha indexelnének, stb.
A robotokat elsőként a robots.txt-ben adott utasításokat nézik meg - ha van ilyen -, de egy adott oldalból [...]