Реферат: Поиск информации в www

Когда мы выбираем одну из ссылок, представленных на сервере службы, срабатывает счетчик, и рейтинг этого ресурса увеличивается. Каждый следующий посетитель видит, сколько «нащелкали» его предшественники, и понимает, какой ресурс ему стоит посмотреть. Поиск с помощью рейтинговых служб можно рассматривать как поиск «по рекомендациям». Разумеется, он не может претендовать на объективность, но когда речь идет о темах, имеющих общественный интерес, таких как новости, поли­тика, спорт, кино, музыка, компьютерные игры и т. п., этим «рекоменда­циям» можно доверять. Самая популярная отечественная рейтинговая служба — Rambler (www.rambler.ru). Наиболее популярная зарубежная рей­тинговая служба — Webside Story (www.hitbox.com)

Основные поисковые системы

AltaVista (http://www.altavista.com/)     

По количеству индексированных Web-страниц Alta-Vista — одна из крупнейших (но не самая крупная, как это иногда считается) поисковых систем мира. Огромный объем охвата Web-пространства и мощ­ный набор поисковых команд делают эту систему излюбленным средством поиска для большинства пользователей. Система была запущена в эксплуа­тацию в декабре 1995 г. и долгое время считалась молодой, но бурно развива­ющейся. Для начинающих система имеет упрощенную службу, которая называется Ask Alta Vista. В своей работе эта служба привлекает другую поис­ковую службу — Ask Jeeves (см. ниже). Несмотря на то, что сегодня Alta Vista уже не является самым удобным средством поиска и владеет не самым большим индексом, ее популярность по-прежнему выше, чем у служб, кото­рые превзошли ее по многим показателям, что связано с устоявшимися привычками миллионов пользователей.

Ask Jeeves (http://www.askjeeves.com/)

Эта система представляет образец человеческого (неавтоматизированного) подхода к индексации и хранению информации о Web-документах. Ее цель не в том, чтобы выдать в ответ на запрос как можно больше возможных ссылок,  в том, чтобы они были наиболее точны. В идеале система должна вас направить именно к той Web-странице, которая вам как раз и нужна. Сис­тема была введена в эксплуатацию в июне 1997 г. Результаты поиска в этой системе используются и при размещении запроса в Alta Vista.

Direct Hit (http://www.directhit.com/)

Систему Direct Hit можно назвать системой «рафинирования» результатов поиска, выдаваемых другими поисковыми системами. Она контролирует, какими  результатами поисков клиенты пользуются наиболее часто и, тем самым, создает некий рейтинг популярности Web-стра­ниц. Этот рейтинг она предоставляет другим поисковым системам, и они учитывают его при выдаче результатов. Технология Direct Hit напрямую используется поисковой системой HotBot. Она также учитывается систе­мами Lycos, LookSmart и MSN Search.

Excite (http://www.exc1te.com/)

Excite — одна из самых популярных поисковых систем World Wide Web. Она имеет указатель среднего размера и кроме поиска Web-страниц предоставляет  услуги по поиску других материалов, например сведений о компаниях или результатов спортивных соревнований. Система была создана в конце 1995 г., прошла этап бурного развития и в 1996 г. погло­тила двух ближайших конкурентов: систему Magellan и WebCrawler, хотя те по-прежнему сохраняют свои торговые марки и предоставляют поис­ковые услуги как самостоятельные службы.

FAST Search (http://www.alltheweb.com/)

Эта система, принадлежащая норвежской компании, ранее называлась All TheWeb. Несмотря на то, что она была запущена совсем недавно (в мае 1999 г.), перед ней ставится задача обогнать конкурентов в полноте коллекций ссылой;

на Web-страницы. Кажется, ей это удается. Летом 1999 г. FAST Search первое перешагнула 200-миллионный рубеж проиндексированных Web-докумеатов. Кроме системы FAST Search та же компания контролирует подразделение системы Lycos, занимающееся поиском музыкальных файлов в формате МРЗ.                                                           л!

Go/Infoseek (http://www.go.com/)

Go/lhfoseek — это сочетание известной в прошлом поисковой  системы Infoseek (была основана в 1995 г.) и современного портала Go (создан в 1999 г. и принадлежит небезызвестной Walt Disney Co). Кроме поисковых возможностей Infoseek портал пре-| доставляет зарегистрированным пользователям возможность персональной настройки среды, бесплатную электронную почту и другие полезные cepвисы. Пользователи этой системы отмечают высокое качество ссылок, возвращаемых системой, что объясняется специальным «фирменным» алгоритмом! поиска. Кроме автоматизированного указателя система имеет также обширный каталог Web-узлов, составляемый вручную.

GoTo (http://www.goto.com/)

Поисковая служба GoTo не имеет отношения к порталу Go , и известна тем, что формирует результаты поиска на коммерческой основе. Компании, владеющие Web-узлами, за определенную плату могут договориться, чтобы ссылки на них появлялись на более высоких местах в списках итоговых результатов. Насколько известно, более никто, кроме Alta Vista, не занимается такими махинациями. Впрочем, служба GoTo не считает это махинацией, а полагает, что платежеспособность Web-издателя напрямую  связана с качеством поставляемой им информации, и потому для пользователя такой подход полезен. При формировании списка служба берет оплаченные ссылки из собственной базы данных, а неоплаченные черпает от поисковой системы Inktomi (см. ниже).

Служба была запущена в 1997 г. В ее основу был положен Web-краулер World Wide Web Worm, приобретенный у разработчика — университета штата Колорадо. С его помощью собиралась первичная база указателя. В 1998 г. служба перешла на нынешнюю «коммерческую» модель обслуживания и начала использовать систему Inktomi в качестве генератора «некоммерчес­ких» ссылок.

Google (http://www.google.com/)

Служба Google известна тем, что при генерации списка  ссылок в первую очередь выдает ссылки на те Web-страницы, к которым из других документов ведет  наибольшее количество ссылок. Это дает очень интересный эффект. На большинстве поисковых систем совершенно бесполез­но искать информацию по таким тривиальным словам как Cars (Автомобили), Internet, WWW, Games (Игры). Поиск по этим словам вернет столько ссылок, что среди них невозможно найти самые полезные. Служба Google при про­ведении поиска по тривиальным словам дает отличные результаты, посколь­ку руководствуется мнением других пользователей, ранее осуществлявших подобный поиск.

HotBot (http://hotbot.lycos.com/)

По популярности среди сетевой общественности  HotBot приближается к Alta Vista. Как и Alta Vista, эта служба имеет огромный поисковый указатель и много полезных функций. При генерации первой "^^S^^^^^ страницы ссылок HotBot использует результаты, поступающие от системы Direct Hit (см. выше). При генерации последующих страниц используется система Inktomi (см. ниже), услугами которой пользуются и другие поис­ковые службы. Кроме поиска по ключевым словам служба предоставляет также возможность поиска по тематическому каталогу. Данные для ката­лога черпаются из проекта Open Directory (см. ниже).

Служба HotBot была создана в мае 1996 г. компанией Wired Digitals, кото­рую в 1998 г. перекупила поисковая служба Lycos. Несмотря на это, HotBot продолжает функционировать как самостоятельная поисковая служба, парал­лельно с Lycos.

Inktomi (http://www.inktorm.com/)

Ядро поисковой системы Inktomi было разработано вуниверситете Калифорнии в Беркли. Несколько позже создатели системы учредили одноименную компанию и сформировали указатель ссылок Inktomi, который был использован в качестве основы службой HotBot. Сегодня этот указатель используют и некоторые другие поисковые службы. Несмотря на то, что при ответе на запрос пользователя все подключенные службы обращаются к одной и той же базе данных, результаты выдаются разные. Это связано с тем, что хотя Inktomi и обеспечивает партнерам доступ к общей базе указателей, система всетаки различает партнеров и приме­няет системы рейтингования и фильтрации результатов в соответствии с их идеологией.

LookSmart (http://www.looksmart.com/)

Служба LookSmart — ближайший последователь концепции Yahoo! в том, что касается «человеческого фактора» при составлении каталогов Web-ресурсов. Она предоставляет доступ к своему каталогу службе Alta Vista и другим партнерам. В тех случаях, когда поиск по архивам LookSmart не дает результата, ей помогает своими указателями Alta Vista.

Служба LookSmart была создана в 1996 г. при финансовой поддержке концерна Reader's Digest, но примерно через год ее учредители откупили ' службу, и сегодня она независима.

Lycos (http://www.lycos.com/)

Первоначально служба Lycos была запущена как поисковая система, основанная на программе-роботе, собирающей информацию из WWW. Запущенная в эксплуатацию еще в мае 1994 г., сегодня она счита­ется одной из старейших поисковых служб. Однако совсем недавно, в 1999 г. служба перешла на другую модель, похожую на Yahoo! и основанную на каталогизации Web-узлов. Свои основные каталоги служба получает от проекта Open Directory, а дополнительные возможности поиска опираются на мониторинг WWW с помощью программ-роботов. В качестве альтер­нативной услуги Lycos ведет еще один каталог — каталог Web-узлов Lycos Community Guides.

Название компании образовано из латинского словосочетания, которое можно перевести примерно как волкопаук. В 1998 г. служба Lycos выку­пила акции своего ближайшего конкурента HotBot, который продолжает автономную работу под общим управлением Lycos.

MSN Search (http://search.msn.com/)

Служба MSN Search, принадлежащая компании Microsoft была создана в 1998 г. и является порталом, на котором представлены и другие поисковые службы. В основу результатов поиска, выдаваемых службой, положен указатель, поставляемый системой Inktomi.

Netscape Search (http://search.netscape.com/)

Поисковая служба Netscape Search получает первичные результаты поиска от проекта Open Directory и собственной базы Smart Browsing. Вторичные результаты  Search поставляются службой Google. На портале Netscape NetCenter кроме этой соб­ственной службы присутствуют ссылки и на другие поисковые службы.

Yahoo! (http://www.yahoo.com/)

Yahoo'—одна из старейших и наиболее популярных поисковых служб. Ее каталог был запущен в эксплуатацию еще в 1994 г. Секрет успеха Yahoo' в < чело­веческом факкоре». На службу работают около 150 редакторов, неустанно улучшающих и пополняющих множество тематических разделов огром­ною каталога. В каталоге содержатся данные по одному миллиону Web-узлов. Если поиск по собственному каталогу не дает результата, привле­каются ресурсы поискового указателя Inktomi.

Отечественные поисковые службы

С большим удовлетворением мы должны отметить, что российский сектор Интернета развивается очень бурно. Сегодня ситуация такова, что даже если западный сектор по каким-либо причинам «прикажет долго жить», российский сектор достаточно автономен, чтобы развиваться самостоя­тельно и достойно обслуживать отечественных клиентов.

Важную роль в становлении и развитии отечественного сектора Интернета сыграли отечественные поисковые службы (за что им огромное спасибо). Не знаем, смогли ли они к сегодняшнему дню подойти к самоокупаемости, но в первые годы без сомнения работали на энтузиазме, доброй воле своих сотрудников и вере в будущее. В России есть как универсальные, так и специализированные поисковые службы. Как и везде в мире, в первую оче­редь развиваются поисковые указатели и рейтинговые системы, но имеется и полноценный каталог — @Rus, в прошлом «Ау'».

Aport (http://www.aport.ru/)

«Апорт» — один из первых поисковых указателей российского Интернета — детище компании « Агама » (http://www.agama.ru/). В прошлом служба предоставляла традиционные общепринятые средства поиска, но в конце 1999 года внедрила новую систему («Апорт 2000») и сделала большой шаг вперед, особенно в том, что касается представления результатов поиска. Выше мы уже отмечали, что сегодня владение самым большим проиндексированным пространством Web уже не является самоцелью. Главное — наилучшим образом обеспечить потребности пользователя, afl простейший путь к этому лежит не в безмерном увеличении индекса, а вs применении новых технологий при обработке результатов. Прежде всего следует отметить, что системе «Апорт 2000» удается мастерски  сочетать «машинный» и «человеческий» факторы. Это достигнуто за счет  тесной интеграции с партнерским каталогом @Rus. Так, например, когда  по результатам поиска выводится адрес Web-страницы, он может сопровождаться кратким описанием Web-узла, взятым из каталога @Rus. Хотя пользователь и не видит глубинных процессов, но система «Апорт 2000» уделяет особое внимание рейтингованию результатов поиска. В частности, она  использует наиболее эффективную сегодня систему рейтингования по количеству ссылок, ведущих к данному ресурсу (по индексу цитирования). По способу представления результатов поиска служба «Апорт 2000" в настоящее время является одной из самых передовых не только в России, но и в мире.  Страница результатов поиска доставляет настоящее эстетическое удовольствие, хотя и требует разрешения экрана не менее, чем 600х800 точек   

Атрус (@Rus) (http://www.atms.ru/)            

@Rus —популярнейший отечественный поисковый каталог, известный в прошлом под именем «Ау!» (http://www.au.ru/). Каталог разработан компанией « Web Tech» в сотрудничестве с компанией «Агама». При его наполнении активно используются средства поисковой системы «Апорт 2000», а результаты поиска могут предоставляться как самостоятельно через службу @Rus, так и в составе результатов поиска, проведенного службой «Апорт 2000».                                         |

Кроме средств поиска служба @Rus предоставляет удобный каталог-портал Мой @Rus. Пользователь может настроить его на быстрое получение наиболее нужной ему информации. Средства настройки каталога позволяют также отключить все лишнее на основной странице поисковой сиетемы, что делает работу с ней особенно быстрой и удобной.        

Rambler (http://www.rambler.ru/)                                 \

Rambler — это рейтинговая система, обладающая всеми основными функциями поисковых указателей. Как поисковый указатель, служба обладает одним из крупнейших индексов в России, но ей явно недостает быстро­действия и современных алгоритмов рейтингования результатов поиска. Впрочем, это не очень существенно, ведь основную популярность служба приобрела в первую очередь как рейтинговая система. Она позволяет быстро выявить круг Web-узлов, поставляющих информацию на заданную тему и оценить их популярность по количеству посещений за последние сутки. Мы уже говорили о том, что эта характеристика качественности Web-ресурса является относительной, но в тех случаях, когда речь идет о теме, имеющей общественный интерес, ей можно доверять.

Япс1ех (http://www.yandex.ru/)

яndex — мощная поисковая служба, основанная на указателе, обладающая как большой и представительной базой данных по отечественным Web-ресурсам, так и изощренной системой индексации. Функционирование службы обеспечивает компания CompTek (http://www.comptek.ru/).

На основной странице службы сказано, что «поиск — это искусство». Одна­ко это не означает, что для работы с ней надо быть особо искусным. Про­сто для тех, кто предпочитает подходить к поиску творчески и стремится развивать свое мастерство, Яndех предоставляет уникальные в своем роде инструменты, сосредоточенные в разделе расширенного поиска. Возможно, он даже несколько опережают свое время и украсили бы западную поис­ковую службу, имеющую дело с сотнями миллионов проиндексированных документов. А в российском секторе, где пока проиндексировано лишь 10-20 млн документов, мы нередко обходимся средствами простого поиска.

Но и в области простого поиска служба Яndех имеет ряд технологических достижений, прежде всего интеллектуальный механизм морфологичес­кого разбора слов, что особенно важно для русского языка.

Интересна новая услуга, предоставляемая службой. Для корпоративных клиентов она бесплатно предоставляет «облегченную» версию программы Яndeх.site, выполняющей индексацию содержимого Web-узла. Это удобно тем владельцам Web-узлов, которые хотели бы организовать локальную систему для поиска информации в пределах собственного узла. В то время как большинство поисковых служб хранят свои средства индексации как < зеницу ока>, этот шаг компании CompTek выглядит удачным маркетин­говым ходом, способствующим росту популярности службы.

Приемы простого поиска информации в WWW

Каждая поисковая система предоставляет свои методы поиска и имеет свои особенности в правилах записи комбинации ключевых слов. Однако есть общие элементы, одинаково справедливые для большинства поисковых систем.

Прежде всего, надо заметить, что чем точнее сформулировано задание на поиск, тем точнее будут и результаты. Например, если вы хотите найти документы с описанием замеченных ошибок Windows 98, то так и надо формулировать запрос: ошибки Windows 98, а не просто Windows. На англо­язычных серверах очень часто срабатывает простое человеческое описа­ние проблемы: printer works incorrectly (принтер работает неправильно).

Ловушка для начинающих

Обычно наша задача состоит в том, чтобы выделить в пространстве Web самые нужные документы, однако многие начинающие ловятся на один и тот же крючок. Например, если вы хотите найти информацию о компьютерных играх (computer games), то кажется, что так и надо оформить запрос:

computer games

Увы, для большинства поисковых систем этот запрос будет ошибочным. При таком запросе система будет искать все Web-страницы, в которых встречается либо слово computer, либо слово games, либо оба вместе. В WWW полно страниц, на которых упоминаются компьютеры и нет ни слова про игры. Точно так же там полно страниц со спортивными, настольными и другими играми, которые нам не интересны. Вот всю эту массу и надо как-то отсеять, а мы наоборот ее запрашиваем.

Вот список поисковых систем, которые рассматривают группу слов, вве­денных через пробел, как задание на поиск любого из этих слов:

AltaVista          Excite             GoTo

Infoseek        LookSmart       Netscape Search

Snap           WebCrawler      Yahoo!

Следующие системы тоже способны выполнять поиск по любому из слов группы, но для этого надо либо установить соответствующий флажок, либо выбрать соответствующий пункт в меню:

HotBot (через меню);

Lycos (в режиме расширенного поиска);

MSN Search (через меню);

Rambler (после установки флажка Все словоформы).

Система Northern Light позволяет производить поиск по любому из ключе вых слов только путем использования логической команды OR (см. ниже). Система Google вообще не имеет средств для такого поиска («ловушка для начинающих» в ней принудительно закрыта).

  Сложение наоборот

Если нам надо, чтобы поисковая система нашла страницы, на которых одно временно присутствуют все использованные ключевые слова, то перед каж­дым из них надо поставить знак «+». Предположим, вы хотите узнать, не 'было ли в жизни известного лица каких-нибудь щекотливых ситуаций. В этом случае в условии поиска надо указать:

 +Клинтон +скандал

'Поисковая система выдаст список страниц, на которых встречаются оба слова, хотя, конечно, не исключено, что между ними нет прямой связи. Список слов может быть больше — тогда результаты поиска будут точнее, например:

   +свет +оптика +линза

Использование знака «+» особенно полезно, если вы провели поиск по рас­пространенному слову, но в ответ получили так много ссылок, что не знаeтe, как с ними поступить. Используя знак «+», мы сужаем круг поиска и уменьшаем количество возможных ссылок.

Знак «+» понимают все основные поисковые системы, за исключением LookSmart. А следующие системы выполняют такой поиск по умолчанию, рдаже если знак «+» не указан:

   Google              HotBot

   Lycos                 MSN Search

   Northern Light    Aport 2000

   Rambler (в режиме простого поиска при сброшенном флажке Все словоформы).

Имеет отличия и российская система Яndex. Если слова разделены пробелами, то система ищет одновременное появление этих слов, но только в пределах одного предложения. Если же требуется одновременность в пределах всего документа, надо использовать знак «+».Интересную особенность имеет и российская система Rambler. В ней знак«+» можно использовать для управления весовым коэффициентом при рейтинговании результатов. Так, например, поставив несколько знаков «+» перед каким-либо словом, можно форсировать отображение страниц, содер­жащих его, в вершине результирующего списка.

 Арифметика вычитания

 Интересно, что сужать круг поиска можно не только знаком «+», но и знаком «-».Допустим, вам надо написать для детского сада реферат о деятельности президента Клинтона, но при этом не хочется вникать в его исто­рию с Моникой Ленински. Исключить Ленински из рассмотрения можно знаком «минус», например так.

Клинтон -Левински

Если, к примеру, нам надо написать реферат по оптике, но только по гео­метрической, а не по волновой, то поиск может быть таким:

+свет -оптика -волна

Последняя команда разыщет все страницы, где присутствуют слова свет и оптика, но покажет только ссылки на страницы, не содержащие слова волна.

Знак «-» понимают практически все основные поисковые системы.

Применим джокера

Возьмем следующее предложение:

В геометрической оптике световой луч рассматривается как прямая линия.

Интересно отметить, что поиск по команде +свет +оптика может его и но найти, хотя это самая настоящая геометрическая оптика. Мы дали команду искать слово свет, а в документе написано: световой. Мы дали команду искать слово оптика, а в документе написано: оптике. Разумеется, многие поисковые системы производят нормализацию слов, но не все и не всегда, так что не стоит на это полагаться, а следует использовать подстановочный символ «*». Как джокер в карточной колоде может заменить любую карту, так этот символ может заменить любой другой символ или набор любых символов до конца слова. Если бы мы сформировали свой запрос так:

+свет* +оптик* -волн*   то наверное его результаты были бы шире без особой потери точности. Подстановочный символ «*» можно использовать в следующих поиско­вых системах:

AltaVista         HotBot

MSN Search     Northern Light

Snap           Yahoo!

Некоторые из крупнейших поисковых служб поддерживают нормализа­цию слов по умолчанию, то есть, они уже учитывают сокращение слов до основы, и потому в них не надо использовать подстановочный символ. В частности, к таким службам относится Infoseek.

Контекстный поиск

А почему бы нам сразу не искать то, что надо?

+геометрическая +оптика

Может быть, это и было бы хорошим решением, но такой поиск выдаст ссылки на страницы, где упоминаются оба эти слова, причем совсем не Необязательно, что вместе. То есть, слово геометрическая может быть в одном конце текста, а слово оптика — совсем в другом. Если же мы хотим объедить оба эти слова в одно сочетание, то надо применить кавычки:

 "Геометрическая оптика"                     "геометрическая оптика"

 случае использования кавычек поисковая система разыскивает документы, в которых абсолютно точно есть тот текст, который в них заключен. Поиск с помощью кавычек называется контекстным поиском.

Роль прописных букв

Прописные буквы при проведении поиска имеют особый статус. Вам ведь понятна разница между сочетаниями красная шапочка и Красная Шапочка? прописными буквами поисковые системы обращаются буквально, то есть разыскивают тексты, в которых слова записаны точно такими же буквами. Со строчными буквами все происходит демократичнее. Совпадения засчитываются и в том случае, когда в тексте стоит прописная буква, и в том случае, когда буква строчная.

поиск по словам:

 +красная +шапочка

вернет результаты, в которых будут и красная шапочка, и Красная шапочка, ДЦ красная Шапочка, и Красная Шапочка.

Страницы: 1, 2, 3