Autor: Wojtek Sylwestrzak (wojsyl_at_icm.edu.pl)
Data: Thu 20 Feb 1997 - 18:43:43 MET
In pl.listserv.polip Zbigniew S. Borowiec <borowiec_at_rpw.dec.com> wrote:
: Niestety, na sposob rozliczania nie mam wplywu. AltaVista sciagnela mam
: nadzieje wszystkie strony (do ktorych sa linki w strukturze dokumentow
: na serwerze oczywiscie) i teraz co jakis czas powinna sprawdzac i
: sciagac tylko te strony, ktore sie zmienily lub powstaly od ostatniej
Czy altavista uzywa requestu HEAD do sprawdzania aktualnosci stron ?
: wizyty. Problemy sa, gdy strony generuje serwer dynamicznie, gdyz wtedy
: za kazdym razem sa one dla niego nowe. Jedyne rozwiazanie, co do ktorego
Niekoniecznie. To zalezy od zawartosci pol w naglowku MIME.
Czy altavista respektuje pole Expires ?
: prawo i techniczna mozliwosc ma administrator serwera jest umieszczenie
: w pliku robots.txt informacji zakazujacej indekserowi sciagania czesci
: lub calego drzewa dokumentow. Wtedy za kazdym razem indekser po
: sciagnieciu robots.txt (tego nie da sie ominac :) ) kontynuowal by
: operacje wg zezwolenia tam umieszczonego.
Excite przygotowuje standard sitelist.txt, ktory jest rozszerzeniem
robots.txt.
: Generalnie problem sprowadza sie do tego czy:
: a) administrator chce by jego serwer byl przeindeksowany
: b) jak czesto ma byc indeksowany - co godzine? (przesada zapcha lacza),
: czy co 4 tygodnie (ale wtedy dane sa nieaktualne)
Ale jak administrator moze wplywac na czestosc indeksowania ?
dynamicznie tworzyc robots.txt ?
Ale czy wtedy Altavista nie usunie poprzednio poindeksowanych stron ?
No wlasnie, jakimi zasadami kieruje sie Altavista przy usuwaniu stron
z indexu ?
W ogole to wydaje mi sie, ze wytworzyla sie ciekawa sytuacja - wszyscy
narzekali, ze wiekszosc zasobow internetowych jest w sieci NASK,
tymczasem spojrzmy - wszystkie nowe przeszukiwarki powstaja w sieci TPNET.
Tylko niektore z nich sa w sieci NASK...
Czy to znak nadchodzacych czasow ?
--w
To archiwum zostało wygenerowane przez hypermail 2.1.7 : Wed 19 May 2004 - 16:02:53 MET DST