Разработаны новые технологии, которые могут расширить поисковые системы, как Google и помочь им достичь самые потаенные уголки Интернета.

Google Summer Minaloto спокойно прошли в следующий препятствие. С тех пор поисковая система уже имеет доступ до одного триллиона адресов. В огромных количествах, это может показаться, на самом деле представляет собой лишь малую часть всего Интернета. Помимо этих триллионов страниц лежит еще более скрытые данные сайте: финансовая информация, торговые каталоги, расписание полетов, медицинские исследования и другие вещи, которые обычно хранятся в базах данных, доступных для поисковых систем.

Задача на основных поисковых системах именно ворваться в этом темном углу в Интернете может дать удовлетворительные ответы на вопросы типа "Что является наиболее выгодных тарифов из Нью-Йорка в Лондон в следующий четверг?" Этот вопрос может быть решен - если поисковые машины знают, где проверить. Мы разрабатываем новые технологии, которые могут распространяться в поисковых системах и помочь им достичь потаенные уголки Интернета. Это позволит не только улучшить качество результатов поиска при поиске, но в значительной степени может изменить то, как многие компании делают бизнес в Интернете.

Поисковые системы в настоящее время полагаются на программы, известные как krolars (или пауки), которые собирают информацию путем отслеживания след гиперссылок, создание интернет. Этот метод хорошо работает для страниц, которые являются "поверхность" сети, но есть трудности, когда вам нужно ввести базы данных, которые установлены для удовлетворения очень конкретных запросов.

"Поисковые машины захватить только верхушка айсберга", говорит Ананд Radzharaman, один из основателей компании Kosmix , который идет именно о развитии нового типа поисковых систем. Одним из инвесторов компании Джеффри Безос, генеральный директор Amazon.ru. На Kosmix разработала программное обеспечение, которое направляет запрос к базам данных, скорее всего, содержать соответствующую информацию, а затем приводится краткая информация о том, что темы, найденные из всех источников.

"Большинство поисковых постараемся помочь вам найти иголку в стоге сена", говорит Radzhamaran. "Мы стараемся, чтобы помочь вам изучить все стоге сена".: Сия чаша есть бесконечно большой. Миллионы баз данных, подключенных к сети, есть бесконечное число поисковых запросов, а не только как поисковую машину, независимо от того, насколько мощным, чтобы прочесать все возможные комбинации информации, которая доступна.

Для достижения значимой информации в темных углах поисковых системах Интернета проанализировать критерии поиска для пользователей, чтобы понять, как направить эти поиски конкретных баз данных. Например, если пользователь ищет «Рембрандт», поисковая система должна знать, какие базы данных может содержать информацию об искусстве (музеи каталоги, аукционы предметов, и т.д.). Вы должны знать, и какой тип поиска позволяет эти базы данных.

Такой подход может показаться простым в теории, но на практике подавляющее большинство баз данных и различные критерии поиска, создания чрезвычайно сложной задачей. "Это самая интересная возможности применения для обработки информации", говорит Алан Халеви, бывший профессор компьютерных наук в Университете штата Вашингтон. Теперь Халеви рабочая группа из Google, который пытается проникнуть в самые отдаленные уголки Интернета.

Стратегия компании Google включает программу анализа содержимого баз данных, которые отвечают на этом пути. Например, если вы ищете найти страницы, связанные с искусством, она начала верить в критерии поиска - "Пикассо", "Рембрандт", "Ван Гог", и т.д. - Пока один из этих критериев дать матч. Поисковая затем анализирует результаты и дает гипотетическую модель того, что база данных содержит.

В том же духе, профессор Джулиан Freir Университета штата Юта работают над амбициозным проектом DeepPeep . Она стремится находить и индексировать каждую базу данных, которая является общедоступным в интернете. Достижение содержание многих баз данных требует сложных вычислительных игра вероятностей. "Наивно было бы искать все слова в словаре", говорит Freir. Вместо DeepPeep начинается с несколько примеров поисков, через который создает представление о базе данных и затем выбирает, какие слова для поиска.

На основе этого анализа, программа пытается автоматизированного набора критериев поиска, пытаясь получить как можно больше информации. По словам профессора Freir достигнув более чем на 90 процентов содержимого в базу данных. Логично, что метод привлекает внимание основных поисковых системах.

Заинтересованность в увеличении глубинке Интернет создает другую проблему для поисковых систем - они должны решить, как представить все собранные данные без ваших страниц слишком сложным в использовании. Это особенно важно для Google, которая уже давно не поддался искушению внести значительные изменения в проверенных в качестве успешного проекта. "Google действительно столкнулись с большой проблемой, говорит Крис Шерман, эксперт в поисковых системах. Они хотят, чтобы улучшить их качество, но должны быть осторожны, чтобы не оттолкнуть своих клиентов ".

Оставляя в стороне спроса, новые технологии могут помочь предприятиям использовать информацию по-новому. Здоровье сайт, скажем, пересечение может данные из баз данных фармацевтическими компаниями с последними результатами медицинских исследований. Местные новостные сайты даже в состоянии расширить свою полезность, позволяя пользователям искать публичные записи муниципальной информации.

"Большим преимуществом является то, что оба они связаны совершенно разные источники информации," сказал Майк Бергман, специалист по компьютерной и консультанта. Он сказал, что новые технологии для улучшения поиска будет более важным для бизнеса встрече прихоти веб-серферов.

The New York Times