Поисковая система состоит из следующих основных компонентов: Spider (паук) - браузероподобная программа, скачивающая веб-страницы. Crawler (кроулер, «путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на ... Подробнее