Autor: Gregory BRZESKI (gregory_at_webcorp.com.pl)
Data: Fri 07 Feb 1997 - 17:16:44 MET
Michal Rolski wrote:
> NEToskop ( http://www.chip.pl/ ) rowniez kataloguje strony z innych
> domen niz .pl, pod warunkiem ze sa to polskie serwery www.
A czy NEToskop przestrzega juz ogolnie panujacych zasad w sieci
'robots.txt', czy nadal je ignoruje ? Z praktyki wiem ze NEToskop umial
kilka godzin raz po raz laczyc sie z jednym serwerem WWW niezwykle go
obciazajac i do tego nie przestrzegajac zastrzezen w pliku robots.txt
przez co indeksowal nieprawdziwe dane.
Musze przyznac Wojtkowi S. ze infoseek jako jedyny polski szperacz sieci
zachowuje sie bardzo przyzwoicie. Przestrzega standardow sieciowych i
dba (jak do tej pory) aby nie obciazyc zanadto serwera WWW ktorego
zasoby indeksuje.
Z pozdrowieniami,
Grzegorz BRZESKI
-- Gregory BRZESKI - WEB Corporation Limited - http://www.webcorp.co.uk/
To archiwum zostało wygenerowane przez hypermail 2.1.7 : Wed 19 May 2004 - 16:02:30 MET DST