Re: przeszukiwanie zasobów internetu

Autor: Arek Staron (astaron_at_mail.onet.pl)
Data: Mon 22 Jan 2001 - 12:16:10 MET


Dnia Sun, 21 Jan 2001 22:32:01 +0100, e-golab przylecial i wygruchal:
>chciałym napisać programik do przeszukiwania zasobów internetu
>- nie mając stałego dostępu do internetu czy mogę go umieścić na jakimś bezpłatnym serwerze aby działał non-stop? czy są do tego
>odpowiednie serwery?
>- jakie warunki musiał by spełniać taki program (w jakim języku i na jaką
> platformę go napisać)?

Jak dla mnie to:
1. wielowątkowy
2. operujący łatwo i szybko na stringach
3. mający łatwy dostęp do jakiegos szybkiego systemu bazodanowego

4. NAJWAŻNIEJSZE. Być bardzo dobrze przemyślany i elastyczny.

>- czy możecie polecić jakieś linki lub literaturę?
>- ile czasu potrzebował bym aby przeszukać wszystkie zasoby internetu z
> końcówką .pl w adresie?
>

nie ma takiego czasu, zasoby internetu rosną w tempie wiekszym niż wyszukiwarki
mogą go zindeksować.

Nie chciałbym cię zniechęcać, ale potrzebujesz _DUŻEJ_ maszyny, taki google stoi
na kilku tysiącach linux'ow, i przechwuje w całości dokumenty. Jeżeli chcesz
zrobić podobnie to przelicz sobie ile będziesz potrzebował miejsca (kilka kb
razy kilka mln dokumentów).

Powodzenia...

-- 
Arek Staroń <astaron_at_republika.pl>
WE APOLOGISE FOR THE INCONVENIENCE


To archiwum zostało wygenerowane przez hypermail 2.1.7 : Tue 18 May 2004 - 21:19:31 MET DST