Re: http://xxx.lanl.gov/

Autor: Szymon Sokol (szymon_at_uci.agh.edu.pl)
Data: Wed 09 Nov 1994 - 18:22:30 MET


Lech Borkowski (lbs_at_phys.ufl.edu) wrote:

: Komentarze? Czy ten problem dotyczy rowniez Polski?

O ile wiem, nik w Polsce nie uzywa na razie WWW-robota. Ja natomiast mam plik
/robots.txt na naszym serverze:
User-agent: *
Disallow: /alt.binaries.pictures
Disallow: /cgi-bin/
Disallow: /jargon/
{znaczy to ze obojetnie jaki robot nie moze wlazic do wymienionych katalogow
[/jargon i /cgi-bin zawieraja programy CGI, ktorych indeksowanie mija sie
z sensem, a zawartosc /alt.binaries.pictures jest "volatile" (trzymamy tylko
tydzien) wiec niewarta indeksowania]}.

--
                        Szymon Sokol -- Network Manager
U     U M     M M     M University of Mining and Metallurgy, Computer Center
U     U MM   MM MM   MM ave. Mickiewicza 30, 30-059 Krakow, POLAND
U     U M M M M M M M M TEL. +48 12 338100 EXT. 2885  FAX +48 12 338907
 UUUUU  M  M  M M  M  M finger szymon_at_galaxy.uci.agh.edu.pl for PGP key
                        WWW page: http://www.uci.agh.edu.pl/~szymon/


To archiwum zostało wygenerowane przez hypermail 2.1.7 : Wed 19 May 2004 - 15:46:56 MET DST