Autor: Blender (igor_at_chaos.w.pl)
Data: Tue 23 Jan 2001 - 14:54:37 MET
[Arek Staron]
>>Najpierw zastanów się skąd weźmiesz _wszystkie_ nazwy *.pl,
>>chyba, że będziesz sprawdzał wszystkie kombinacje aaaaaaa.pl,
>>aaaaaab.pl, aaaaaac.pl .... powodzenia.
>
>Nieeee, tego sie tak nie robi... Od tego są spidery..
>Piszesz kawałek forkujcego sie kodu, który zaczyna od jakiejś strony, zciąga ją
>indeksuje w bazie wybiera z niej linki i idzie dalej po nich...
>Wystarczy więc spreparować pierwszą stronkę z kilkoma popularnymi linkami i
>dalej idzie już siamo...
Owszem, ale w tym momencie nie ma praktycznie możliwości poindeksowania
_wszystkich_ stron, tak jak chciał to zrobić autor pierwszego postu w
wątku. Zawsze zostanie jakiś serwer typu pc1.kazik.akademiki.uczelnia.edu.pl,
którego strona nie będzie nigdzie podlinkowana...
To archiwum zostało wygenerowane przez hypermail 2.1.7 : Tue 18 May 2004 - 21:19:46 MET DST