Какие бывают поисковые системы в интернете. Поисковые системы интернета: обзор существующих решений

Что это

DuckDuckGo - это довольно известная поисковая система с открытым исходным кодом. Серверы находятся в США. Кроме собственного робота, поисковик использует результаты других источников: Yahoo, Bing, «Википедии».

Чем лучше

DuckDuckGo позиционирует себя как поиск, обеспечивающий максимальную приватность и конфиденциальность. Система не собирает никаких данных о пользователе, не хранит логи (нет истории поиска), использование файлов cookie максимально ограничено.

DuckDuckGo не собирает личную информацию пользователей и не делится ею. Это наша политика конфиденциальности.

Гэбриел Вайнберг (Gabriel Weinberg), основатель DuckDuckGo

Зачем это вам

Все крупные поисковые системы стараются персонализировать поисковую выдачу на основе данных о человеке перед монитором. Этот феномен получил название «пузырь фильтров»: пользователь видит только те результаты, которые согласуются с его предпочтениями или которые система сочтёт таковыми.

Формирует объективную картину, не зависящую от вашего прошлого поведения в Сети, и избавляет от тематической рекламы Google и «Яндекса», основанной на ваших запросах. При помощи DuckDuckGo легко искать информацию на иностранных языках, тогда как Google и «Яндекс» по умолчанию отдают предпочтение русскоязычным сайтам, даже если запрос введён на другом языке.

Что это

not Evil - система, осуществляющая поиск по анонимной сети Tor. Для использования нужно зайти в эту сеть, например запустив специализированный .

not Evil не единственный поисковик в своём роде. Есть LOOK (поиск по умолчанию в Tor-браузере, доступен из обычного интернета) или TORCH (один из самых старых поисковиков в Tor-сети) и другие. Мы остановились на not Evil из-за недвусмысленного намёка на Google (достаточно посмотреть на стартовую страницу).

Чем лучше

Ищет там, куда Google, «Яндексу» и другим поисковикам вход закрыт в принципе.

Зачем это вам

В сети Tor много ресурсов, которые невозможно встретить в законопослушном интернете. И их число будет расти по мере того, как ужесточается контроль властей над содержанием Сети. Tor - это своеобразная сеть внутри Сети со своими социалками, торрент-трекерами, СМИ, торговыми площадками, блогами, библиотеками и так далее.

3. YaCy

Что это

YaCy - децентрализованная поисковая система, работающая по принципу сетей P2P. Каждый компьютер, на котором установлен основной программный модуль, сканирует интернет самостоятельно, то есть является аналогом поискового робота. Полученные результаты собираются в общую базу, которую используют все участники YaCy.

Чем лучше

Здесь сложно говорить, лучше это или хуже, так как YaCy - это совершенно иной подход к организации поиска. Отсутствие единого сервера и компании-владельца делает результаты полностью независимыми от чьих-то предпочтений. Автономность каждого узла исключает цензуру. YaCy способен вести поиск в глубоком вебе и неиндексируемых сетях общего пользования.

Зачем это вам

Если вы сторонник открытого ПО и свободного интернета, не подверженного влиянию государственных органов и крупных корпораций, то YaCy - это ваш выбор. Также с его помощью можно организовать поиск внутри корпоративной или другой автономной сети. И пусть пока в быту YaCy не слишком полезен, он является достойной альтернативой Google с точки зрения процесса поиска.

4. Pipl

Что это

Pipl - система, предназначенная для поиска информации о конкретном человеке.

Чем лучше

Авторы Pipl утверждают, что их специализированные алгоритмы ищут эффективнее, чем «обычные» поисковики. В частности, приоритетными являются профили социальных сетей, комментарии, списки участников и различные базы данных, где публикуются сведения о людях, например базы судебных решений. Лидерство Pipl в этой области подтверждено оценками Lifehacker.com, TechCrunch и других изданий.

Зачем это вам

Если вам нужно найти информацию о человеке, проживающем в США, то Pipl будет намного эффективнее Google. Базы данных российских судов, видимо, недоступны для поисковика. Поэтому с гражданами России он справляется не так хорошо.

Что это

FindSounds - ещё один специализированный поисковик. Ищет в открытых источниках различные звуки: дом, природа, машины, люди и так далее. Сервис не поддерживает запросы на русском языке, но есть внушительный список русскоязычных тегов, по которым можно выполнять поиск.

Чем лучше

В выдаче только звуки и ничего лишнего. В настройках можно выставить желаемый формат и качество звучания. Все найденные звуки доступны для скачивания. Имеется поиск по образцу.

Зачем это вам

Если вам нужно быстро найти звук мушкетного выстрела, удары дятла-сосуна или крик Гомера Симпсона, то этот сервис для вас. И это мы выбрали только из доступных русскоязычных запросов. На английском языке спектр ещё шире.

Если серьёзно, специализированный сервис предполагает специализированную аудиторию. Но вдруг и вам пригодится?

Что это

Wolfram|Alpha - вычислительно-поисковая система. Вместо ссылок на статьи, содержащие ключевые слова, она выдаёт готовый ответ на запрос пользователя. Например, если ввести в форму поиска «сравнить население Нью-Йорка и Сан-Франциско» на английском, то Wolfram|Alpha сразу выведет на экран таблицы и графики со сравнением.

Чем лучше

Этот сервис лучше других подходит для поиска фактов и вычисления данных. Wolfram|Alpha накапливает и систематизирует доступные в Сети знания из различных областей, включая науку, культуру и развлечения. Если в этой базе находится готовый ответ на поисковый запрос, система показывает его, если нет - вычисляет и выводит результат. При этом пользователь видит только и ничего лишнего.

Зачем это вам

Если вы, например, студент, аналитик, журналист или научный сотрудник, то можете использовать Wolfram|Alpha для поиска и вычисления данных, связанных с вашей деятельностью. Сервис понимает не все запросы, но постоянно развивается и становится умнее.

Что это

Метапоисковик Dogpile выводит комбинированный список результатов из поисковых выдач Google, Yahoo и других популярных систем.

Чем лучше

Во-первых, Dogpile отображает меньше рекламы. Во-вторых, сервис использует особый алгоритм, чтобы находить и показывать лучшие результаты из разных поисковиков. Как утверждают разработчики Dogpile, их системы формирует самую полную выдачу во всём интернете.

Зачем это вам

Если вы не можете найти информацию в Google или другом стандартном поисковике, поищите её сразу в нескольких поисковиках с помощью Dogpile.

Что это

BoardReader - система для текстового поиска по форумам, сервисам вопросов и ответов и другим сообществам.

Чем лучше

Сервис позволяет сузить поле поиска до социальных площадок. Благодаря специальным фильтрам вы можете быстро находить посты и комментарии, которые соответствуют вашим критериям: языку, дате публикации и названию сайта.

Зачем это вам

BoardReader может пригодиться пиарщикам и другим специалистам в области медиа, которых интересует мнение массовой по тем или иным вопросам.

В заключение

Жизнь альтернативных поисковиков часто бывает скоротечной. О долгосрочных перспективах подобных проектов Лайфхакер спросил бывшего генерального директора украинского филиала компании «Яндекс» Сергея Петренко .

Сергей Петренко

Бывший генеральный директор «Яндекс.Украины».

Что касается судьбы альтернативных поисковиков, то она проста: быть очень нишевыми проектами с небольшой аудиторией, следовательно без ясных коммерческих перспектив или, наоборот, с полной ясностью их отсутствия.

Если посмотреть на примеры в статье, то видно, что такие поисковики либо специализируются в узкой, но востребованной нише, которая, возможно только пока, не выросла настолько, чтобы оказаться заметной на радарах Google или «Яндекса», либо тестируют оригинальную гипотезу в ранжировании, которая пока не применима в обычном поиске.

Например, если поиск по Tor вдруг окажется востребованным, то есть результаты оттуда понадобятся хотя бы проценту аудитории Google, то, конечно, обычные поисковики начнут решать проблему, как их найти и показать пользователю. Если поведение аудитории покажет, что заметной доле пользователей в заметном количестве запросов более релевантными кажутся результаты, данные без учёта факторов, зависящих от пользователя, то «Яндекс» или Google начнут давать такие результаты.

«Быть лучше» в контексте этой статьи не означает «быть лучше во всём». Да, во многих аспектах нашим героям далеко до и «Яндекса» (даже до Bing далековато). Но зато каждый из этих сервисов даёт пользователю нечто такое, чего не могут предложить гиганты поисковой индустрии. Наверняка вы тоже знаете подобные проекты. Поделитесь с нами - обсудим.

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Подписаться

Если уж разбираться в чем-то, то основательно. И если вы подписаны на наш блог, значит наверняка хотите стать крутым специалистом или желаете знать больше о поиске в сети. Чтобы достичь желаемого - фишечек и лайфхаков недостаточно. Нужно расширять кругозор.

Поисковая система - это большая и сложная программа предназначенная для поиска информации в интернете.

Вы вообще задумывались как появилось то, чем мы пользуемся каждый день, какие в интернете существуют и почему все студии работают только с и ? Не стоит откладывать такие вопросы в долгий ящик. Всего 10 минут и вот еще одна тема для разговора, которые вы с легкостью сможете поддержать.

Как появились поисковики

Давным-давно, когда интернет был молод и зелен...

Пользователям, которых, надо сказать, было очень немного, хватало собственных закладок. Но это продолжалось недолго: вскоре человеку стало сложно ориентироваться в том многообразии, которое появилось в сети за короткий срок.

И чтобы как-то упорядочить хаос были придуманы каталоги Yahoo, DMOZ и прочие (некоторые существуют и по сей день), в которые авторы добавляли и сортировали по категориям появляющиеся сайты. На какое-то время жить стало проще.

Но интернет продолжал расширяться и вскоре размеры каталогов превратились в нечто умопомрачительно гигантское. Тогда разработчики впервые задумались о поиске внутри каталогов, а уже потом и о создании автоматизированной системы индексации всего, что находится в интернете, чтобы упростить работу всем пользователям.

Так и появились первые поисковые роботы.

Какая поисковая система была первой

Первой поисковой системой считается Wandex (ну путать с Yandex!). Этот и другие первые сервисы, конечно же, были далеки от совершенства. На поисковой запрос они выдавали совсем не то, что мы привыкли видеть сейчас, т.е. не наиболее релевантные страницы, а все подряд, игнорируя ранжирование. Первого января 2012 года Wandex был возобновлен.

Так свою работу начала первая ПС. Какие есть поисковые системы в современном интернете? Прилагаю список.

Какие бывают поисковые системы: короли танцпола

Удивительно, но есть те, кто спорят, как поисковая система лучше . Я бы этого делать не стала, просто по той причине, что они разные и вообще все зависит от цели и от того, какой вы пользователь.

Яндекс

Это самый популярный поисковик в нашей стране. LiveInternet утверждает, что Яндексом пользуются 50,9 %, в то время, как на Google приходится 40,6 % (данные от июня 2015).

Есть такой миф, мол, коммерческих запросов в Яндексе в разы больше, чем у ближайшего конкурента. Натыкалась пару раз на мысли о том, что благодаря отточенной годами региональности, тип аудитории или ее количество может различаться - в этом и заключается причина первенства Яндекса по коммерческим запросам. Так вот не верьте в это. Врут.

Google

Поисковая система Google - самая популярная везде, кроме России:) Имеет кучу возможностей разной направленности. В общем, бесспорный мировой лидер среди поисковых роботов.

Сам Google появился примерно вместе с Яндексом, а к нам в Россию пришел лишь в 2004, когда компания Yandex укрепила свои позиции.

Процесс поиска в Google стал для многих землян уже нарицательным. Но когда я говорю своей маме “Загугли”, она все равно идет искать нужную ей информацию в Яндексе:) Она вообще не в курсе какие поисковые системы существуют в интернете.

Какие есть поисковые системы: список малоизвестных ПС

Большинство интернет-пользователей даже не в курсе, какие есть поисковые системы кроме Яндекса и Гугла. Так вот они есть;) Знакомьтесь!

Поисковую долю этого поисковика сложно назвать крупной, но показатели потихонечку растут. Хотя не стоит упускать тот факт, что цифры эти напрямую зависят от “Одноклассников”, почты Майл.ру и других штук от Mail корпорации.

Это настоящий олдскул. Только представьте: когда появилась эта поисковая система, некоторые сеошники еще только учились ходить. Вообще, у Рамблера был шанс править балом в , но этого не произошло по целому ряду причин. В настоящее время это уже не совсем поисковик, а своего рода набор сервисов, на которых в качестве поиска используется движок Yandex - например, есть свой . Посещаемость, кстати, довольно приличная: за день главную страницу Rambler посещают чуть больше миллиона пользователей.

Также у Рамблера есть версия Rambler Lite (все то же самое, только без погоды, новостей, рекламы и прочего) и XRambler , на котором объединены сразу 15 поисковых систем.

Сколько имен сменил это поисковик! За 8 лет он успел поносить имя MSN Search, затем Windows Live Search, потом сократил предыдущее название до Live Search и вот сейчас пришел к названию Bing. Многие утверждают, что качество поиска близко к заложенному стандарту Google.

Теперь сложно назвать Яху поисковой системой, так как по договору на всех площадках, принадлежащих Яху, используется поисковый движок Бинга. Последнюю новость про договор можно узнать на Searchengines .

Webalta

Наверняка этот, так называемый, поисковик вам знаком. Приходилось выковыривать его, словно клеща, из вашего браузера? Уже давно всем известно о темных делишках этого поисковика. Увы, никого эта ПС не интересует. Пользователи ищут лишь статьи о том, как удалить эту дрянь со своего компьютера.

Нигма

Это поисковая система значительно отличается от остальных. И если и индексной базой других поисковиков никого не удивишь, то вот способность решать задачи по химии и математике отличает Нигму от прочих ПС. Также Nigma предлагает поиск по музыке, книгам, играм и торрентам.

Поисковик, созданный по заказу правительства России, считается первым в мире государственным поисковиком. Предлагает отдельный медицинский поиск (поиск аптек, лекарств и статей о заболеваниях). Весьма удобная тема с “Удобной страной”, где в одном месте собраны все рекомендации, помогающие гражданину. Вот, например, раздел “Документы”.

Эта ПС значительно отличается от того, какие бывают поисковые системы в интернете . DuckDuckGo - поисковая система с открытым исходным кодом и интересной политикой, которая заключается в отказе от использования “пузыря фильтров”. Для тех, кто не знает: “пузырь фильтров” - это когда поисковик показывает в выдаче только те результаты поиска, которые она же (эта ПС) посчитает необходимыми конкретному пользователю. При этом мнение самого пользователя никого не интересует. DuckDuckGo уверяет, что использование их поисковика гарантирует то, что вы получите всю информацию, которая есть у поисковой системы.

“УткаУткаИди” набирает обороты. Уже этим летом (2015 г.) создатель ПС сообщил о трех млрд запросов в годовом выражении.

Во время написания статьи у меня возникло несколько вопросов. В таких случаях на выдачу я не полагаюсь, да, и зачем, если рядом со мной сидит человек, который знает все об интернете? Мини-интервью с Игорем Ивановым.

Игорь Иванов

Руководитель студии SEMANTICA

Если мой сайт в Google и Yandex, то будет ли мой сайт на вершине выдачи в других, менее крупных поисковиках?

Есть очень большая вероятность, что так и будет. Яндекс и Google развивают свои алгоритмы в правильном направлении и другие поисковые системы берут с них пример. Был случай, когда специалисты Google заметили, что поисковая система Bing не только копирует их алгоритмы, но результаты поиска.

Почему вероятность, а не полная уверенность? Потому, что другие поисковые системы не успеют подогнать свои алгоритмы ранжирования под эталон, которые задали их более успешные конкуренты.

Стоит ли вообще продвигаться в Спутнике, Майл и других “наших” поисковиках? Какая поисковая система лучше?

В Маил.ру, бесспорно, стоит. Там есть немного трафика, точнее его очень мало, но он есть - а это клиенты. Спутник и другие поисковики - это миф, как и социальная сеть “Мой мир”, все знают, что они существуют, но никто их не видел:)

Создавать новые поисковики - довольно утопичная идея. Как ты думаешь, почему периодически появляется что-то новенькое?

Кто владеет информацией, тот владеет миром. Посмотри, сколько компаний зависят от поисковых систем, а сколько людей не знают никаких альтернатив? Кто откажется от такого? Любые инвестиции будут оправданы, если добиться результата.

И как следствие этого - бабло, огромное бабло, нескончаемые поступления бабла из воздуха, из ничего… Не нужны ни ресурсы, ни люди (имею в виду, что тебе не нужен миллион триллионов индусов, которые на каждый запрос пользователя роются в энциклопедии).

В настоящий момент качество поиска не влияет на количество пользователей. Возьмем, например, Google: в России он имел примерно 30-35% аудитории, но создал революционный браузер Хром и с помощью него увеличил свою аудиторию в разы.

Я уверен, что поисковая система даже со скромными технологиями, но с каким-то революционным подходом к маркетингу может получить аудиторию и отжать часть рынка.

всего

Вступление

Мало кто сейчас может представить Интернет без поиска, поисковой выдачи и организующих всё это информационных поисковых систем (ИПС). А ведь еще недавно, вся информация Интернет умещалась в несколько каталогов, название которые еще на слуху (DMOZ, Yahoo).

Сегодня, объем информации в сети Интернет настолько огромный, что уместить её ни в какие каталоги не возможно. Для обработки, хранения информации, организации поиска созданы и продолжают создаваться, мощные программные продукты которые мы называем поисковые системы (ПС). У каждой поисковой системы (поисковика) свои базы данных, свои алгоритмы обработки, поиска, ранжирования и выдачи информации.

Поисковые системы Интернет это

Можно дать следующее академическое определение поисковым системам. Поисковая система это набор программ и технических средств для организации в сети Интернет пользовательского поиска, при котором на текстовой запрос, пользователь получает список релевантных (соответствующих запросу) результатов.

Выдача производится в виде списка ссылок на источник информации с кратким описанием (превью) иногда с фото.

Для первого примера, вспомним мирового лидера поиска «Google» и лидера Рунета поисковик «Яндекс». Кроме этих поисковиков можно назвать еще десяток существующих поисковых систем, о коих поговорим чуть ниже.

Мнение: Поисковые системы Google, Яндекс и другие, не являются генераторами (производителями) контента, а являются агрегаторами (аккумуляторами) контента и в основной массе, чужого контента. Стоит вспомнить, что использование чужого контента для создания собственного трафика и его монетизации, можно характеризовать, как «пиратство», что на деле, конечно же, не происходит.

Рейтинг

• и Google делят первые два места лидеров: около 49% и 45%.
• Третье место: Поиск Mail.ru около 3%;
• Остальные поисковики плавают ниже 1%.

Смотрю статистику по Google Analytics:

• yandex / organic 40,26 %
• google / organic 38,93 %
• mail.ru / organic 0,60 %
• rambler / organic 0,52 %
• bing / organic 0,12 %

Статистика неумолима: к поискам Яндекс и обращаются больше всего, и если посчитать, что 3% это хороший результат по сравнению с 45%, то третьим по популярности можно назвать поиск Mail.ru.

В этой связи рассуждения о популярности поисковиков кроме Яндекс и Google, можно отнести к суемудрию, а специальное продвижение сайтов в других поисковиках (не Яндекс и Google), не заслуживающих внимание.

Как работают поисковики

Вопрос, как работают поисковики, такой же общий, как вопрос «какого цвета небо». Если небо синее, то поисковики собирают информацию в интернет, обрабатывают её, ранжируют и отдают по поисковому запросу пользователю.

Теория поиска Интернет гораздо объемнее и в статье её не изложить. Однако основные моменты нам пригодятся:

Поисковые системы Интернет не осуществляют хранение документов, то есть не производят скачивание и выгрузку документов полностью в свои хранилища;

ИПС используют Интернет в качестве децентрализованного хранилища документов. Поисковики периодически обходят Интернет, выбираю нужную, по их алгоритмам, информацию и частично помещая её (информацию) в свою базу данных (Database). Отсюда несколько проблем:

• ИПС используют для выдаче не всю информацию Интернет, а только часть;
• Информация интернет часто меняется. Добавляется около 1500 тыс. страниц в день, отсюда возможная «пустая выдача»;
• Имеется большое количество дублей (дубли контента). К сожалению, у меня нет точных данных по дублям, а встречающаяся цифра в 25% дублей, кажется завышенной;
• Много рекламы, которую тоже обходят поисковики;
• «Блуждание» поисковых роботов в сети многократно увеличивает нагрузку не ресурсы (не относится к поисковикам);
• Большинства сайтов коммерческие (порядка 83%), и имеют малое информативное значение.

По этим и некоторым другим причинам, подавляющее большинство ИПС Интернет используют схему поиска по ключевым словам (search engines), а не классическую схему поиска по классификации информации.

Особенности поиска по ключевым словам

Несмотря на меняющиеся алгоритмы поисковых систем, реклама которых пытается нас убедить, что машины становятся умнее и понятливее, в основу работы поисковых систем лежит поиск по ключевым словам.

Мне нравится такая схема поиска по ключевым словам.

Как видим, работа поисковые системы Интернет основана на поиске новых документов (поисковой робот Spider + Crawler), индексирование обнаруженных документов (Indexer) и выполнение пользовательского запроса (Search Engine Results Engine). В скобках перечислены названия используемых для этих целей поисковых роботов.

Как я сказал, большинство поисковых систем не копируют полные тексты документов в свою базу данных. Для поиска при индексировании документа создается его поисковый образ. Для организации поиска по , робот индексирования создает образ документа по, так называемому, выводящему методу (derived). То есть в образе документа указывается заголовок и набор ключевых слов.

Однако достаточно точно можно утверждать, что все ИПС обращают внимание на следующее:

• Присутствие ключевого слова в