Добыча данных из многочисленных источников
"Наш механизм — это не обычная поисковая машина. Мы — художники"
Кристофф Берндт, один из создателей Metaspinner
После шести месяцев напряженного тестирования пользователям Германии был предложен механизм поиска, который, как предполагается, позволит быстрее и эффективнее искать в Web нужную информацию.
Система, получившая название Metaspinner, осуществляет метапоиск, или, как говорят ее создатели, «добычу данных из многочисленных источников». Вместо того чтобы создавать свою собственную базу данных, Metaspinner применяет уже имеющиеся в Web механизмы поиска, в частности Yahoo, Alta Vista, Hotbot, Infoseek, Exite и Lycos.
По словам Кристоффа Берндта, совместно с рядом других программистов создававшего Metaspinner, эта система, в отличие от других, позволяет вести параллельный поиск информации. «Это редкая возможность», — подчеркнул Берндт. Хотя при параллельном поиске результатов приходится несколько дольше ожидать окончательного результата, в Metaspinner встроены механизмы, позволяющие ускорить процесс.
К примеру, Metaspinner ограничивает число найденных сущностей, поэтому сокращается время работы сервера. Кроме того, в систему встроен модуль, способный автоматически перенаправлять трафик через один из трех серверов с тем, чтобы быстрее доставить информацию пользователю.
Во время тестирования его участники обменивались мнениями об удобстве работы с Metaspinner. Сейчас им обрабатывается ежедневно около 30 тыс. обращений.
Любопытно, что Metaspinner не работает с немецкими механизмами поиска, поскольку в выдаваемых ими результатах, как подчеркнул Берндт, «слишком много мусора».
«Такое ощущение, что владельцы немецких механизмов поиска попросту не следят за своими Web-узлами», — заявил Берндт, назвав многие из них «откровенным старьем».
Поиск на таких узлах выдает очень много не относящейся к делу информации. Из немецких поисковых узлов он порекомендовал лишь Fireball.de и Web.de, а также механизм метапоиска Apollo 7, созданный в рамках проекта одного из немецких университетов.
Финансирование поисковой машины будет осуществляться за счет публикации некоторого количества рекламы, а также с помощью двух партнеров — Amazon.de (немецкое подразделение американской корпорации, торгующей книгами через Internet) и немецкого Internet-провайдера Schlund + Partner.
«Наш механизм — это не обычная поисковая машина. Мы — художники», — сказал он.