Autor: Leszek Bogdanowicz (bogdanow_at_cnt.pl)
Data: Sat 08 Feb 1997 - 17:56:34 MET
On Fri, 7 Feb 1997, Gregory BRZESKI wrote:
> Michal Rolski wrote:
> > NEToskop ( http://www.chip.pl/ ) rowniez kataloguje strony z innych
> > domen niz .pl, pod warunkiem ze sa to polskie serwery www.
>
> A czy NEToskop przestrzega juz ogolnie panujacych zasad w sieci
> 'robots.txt', czy nadal je ignoruje ? Z praktyki wiem ze NEToskop umial
> kilka godzin raz po raz laczyc sie z jednym serwerem WWW niezwykle go
> obciazajac i do tego nie przestrzegajac zastrzezen w pliku robots.txt
> przez co indeksowal nieprawdziwe dane.
>
> Musze przyznac Wojtkowi S. ze infoseek jako jedyny polski szperacz sieci
> zachowuje sie bardzo przyzwoicie. Przestrzega standardow sieciowych i
> dba (jak do tej pory) aby nie obciazyc zanadto serwera WWW ktorego
> zasoby indeksuje.
Rowniez szperacz WP podporzadkowuje sie informacji zawartej w pliku
robots.txt. Malo tego za jednym razem sciaga z danego sewrera tylko jeden
dokument. Nastepny serwer jest wybierany losowo. Taki system nie wprowadza
praktycznie zadnego wiekszego obciazenia skanowanych serwerow.
Pozdrowienia
Leszek
-- ___ / \ ___ Leszek Bogdanowicz Centrum Nowych Technologii | |\ | | bogdanow_at_cnt.pl Zawiszy Czarnego 18, 80-433 Gdansk | | \| | tel/fax. (0-58) 455545 fax. (0-58) 414417 \___/ ----------------- http://www.cnt.pl -----------------------
To archiwum zostało wygenerowane przez hypermail 2.1.7 : Wed 19 May 2004 - 16:02:32 MET DST