17.12.2017 17:00:00

Современный Интернет сложно представить без поисковых систем. Ежедневно они обрабатывают миллиарды запросов, поступающие через десктопные браузеры и мобильные приложения. Сложнейшие алгоритмы буквально предугадывают действия пользователей, подсказывают возможные варианты вводимых данных и выдают наиболее точные результаты.

Но какая самая лучшая поисковая система функционирует в Сети на сегодняшний день? Почему мы отдаем предпочтение какому-то определенному поисковику? В нашей статье мы разберем какие поисковые системы завоевали наибольшую популярность и в чем их принципиальные отличия.

Рейтинг поисковых систем в мире

Для начала выясним, какие поисковики пользуются самой большой популярностью в мире. Для этого обратимся к данным, которые предоставляет авторитетное аналитическое агентство NetMarketShare. В данной таблице выведен топ-5 поисковиков и процент запросов пользователей персональных компьютеров за 2017 год:

Нетрудно заметить, что по обеим позициям поисковик от Google лидирует с максимальным отрывом от своих конкурентов. Более того, для мобильных устройств Google, по сути, является монополистом, обрабатывая 93% всех поисковых запросов. Связано это и с широким распространением смартфонов на ОС Андроид.

Кроме того, Google – один из самых минималистичных поисковиков. На главной странице пользователь видит лишь логотип и строку поиска. Также пользователей привлекают интересные дудлы – логотипы Google, которые перерисоваются в честь определенной даты или события. Очень часто такие дудлы делают интерактивными. Таким образом, по всем вышеуказанным показателям Google – это однозначно лучшая поисковая система.

На втором месте по популярности, как на ПК, так и на смартфонах, прочно утвердился китайский поисковик Baidu. Дело в том, что данный сервис является единственно доступным в Китае – им пользуются 92% всего населения. Время от времени Baidu пытается расширить географический границы, однако популярности в других странах он так и не снискал. Во многом это связано с довольно агрессивной политикой продвижения и конфликт расширений поисковика с антивирусами.

Bing – поисковик от Microsoft, которым чаще всего пользуются владельцы персональных компьютеров в США. Небольшой процент запросов с мобильных устройств обусловлен тем, что смартфоны от Microsoft постепенно уходят с рынка.

Yahoo! – один из старейших поисковиков, который был создан в 1995 году. В основном, им пользуются жители США, Великобритании и некоторых стран Юго-Восточной Азии.

Поисковик от Яндекс попал только в первую пятерку по запросам с ПК. Небольшой процент от общего количества запросов также обусловлен тем, что отечественным поисковиком пользуются пользователи России и стран СНГ. А замыкает топ-5 по популярности поисковиков для мобильных устройств сервис Dogpile. Его основная аудитория – жители США, Канады и Европы.

Рейтинг поисковых систем в России

Выяснить, какая лучшая поисковая система в российском интернет-сегменте Рунете нам помогут данные счетчика LiveInternet и аналитического сервиса Seo-auditor.

Счетчик LiveInternet учитывает поисковые запросы как с ПК, так и с мобильных платформ. В итоге, рейтинг популярности поисковиков в России выглядит так:

С большим отрывом лидируют два главных конкурента – Google и Яндекс. Оба поисковика отличаются высокой скоростью и эффективностью работы. Кроме того, каждый сервис обладает своими уникальными «фишками». Например, поисковик от Гугл выдает четкую и лаконичную информацию о каждом сайте, а также учитывает качество страниц в выдаче. Яндекс же большое внимание уделяет своим дополнительным сервисам, которые подключаются при каждом запросе в поисковике.

На третьем месте по популярности оказался поисковик от Mail.ru. Многие эксперты отмечают у данного сервиса хорошо проработанные поисковые алгоритмы, быстрое обновление новостей на главной странице. С другой стороны, хватает у Mail и недочетов. В первую очередь, это нехватка дополнительных сервисов и недоработанный анти-спам фильтр.

Некогда популярный Rambler сейчас обрабатывает всего 0,2% от общего количества поисковых запросов в Рунете. Некоторое время назад сервис сделал капитальный ремонт: у поисковика сменился логотип и была с нуля перерисована главная страница. Однако подняться в рейтинге поисковых систем это, увы, не помогло.

Тем не менее, у Рамблера есть свои очевидные достоинства. Например, ассоциативная система поиска. Если пользователь забывает сменить раскладку и вбивает слово vepsrf, поисковик выдает результаты по запросу «Музыка». Сейчас этой системой уже никого не удивишь, вот только Рамблер был первым поисковиком в Рунете, который смог качественно реализовать такой алгоритм.

Меньше 200 тысяч запросов в год обработал поисковик Bing. Как уже говорилось выше, сервис от Microsoft популярен, в основном, на Западе, и, скорее всего, большая часть запросов в Рунете через Bing отправляется со смартфонов и ПК иностранцев, работающих в России.

Схожие данные по популярности поисковиков можно наблюдать в исследовании аналитического агентства Seo-auditor. Сравните цифры по состоянию на январь и ноябрь 2017 года:

Сопоставив данные счетчиков Яндекс.Метрика, SpyLog/Openstat, LiveInternet, Hotlog, Рейтинг@Mail.ru, а также с помощью оригинальных алгоритмов, специалисты Seo-auditor пришли к выводу, что звание «Самая лучшая поисковая система» в Рунете вновь делят между собой Google и Яндекс. К тому же заметно, как за год уменьшилась доля запросов через поисковики Мейл, Рамблер и Бинг.

Мобильные приложения-поисковики

Среди первой пятерки самых популярных поисковых систем фирменные мобильные приложения имеются у Google , Яндекс и Bing . Чтобы выяснить, чем отличается каждая утилита, мы протестировали поисковики на мощном и производительном смартфоне . В качестве тестового запроса мы использовали один из самых популярных, на данный момент, не только в России, но и во всем мире – Звездные Войны 8. Результат можно посмотреть на видео ниже:

Google в своем мобильном поисковике руководствуется тем же принципом, что и в десктопной версии - минимум элементов интерфейса. Поисковый запрос можно вводить как с экранной клавиатуры, так и голосом. В выдаче поисковика можно проследить четкую иерархию:

• Обзоры и рейтинги фильма
• Расписание сеансов в кинотеатрах города
• Трейлеры на YouTube
• Список актеров фильма
• Похожие запросы
• Ссылки на сайты.

Похожую картину можно наблюдать и в поисковике от Яндекса. Российский сервис в своем приложении также копирует основную версию. На главном странице размещены полезные сервисы и новости, а поисковая строка закреплена внизу экрана. Результаты по выдаче распределяются так:

• Трейлеры и ролики на Яндекс.Видео
• Расписание сеансов в кинотеатрах
• Ссылка на Википедию
• Список актеров
• Похожие запросы
• Ссылки на сайт (причем первой ссылкой значится страница фильма на Кинопоиске, который принадлежит Яндексу).

Отдельной «фишкой» Яндекса можно назвать голосовой помощник Алиса, с помощью которого можно не только найти нужную информацию, но и скоротать время в приятной, а иногда и забавной беседе с цифровым алгоритмом.

Приложение Bing, так же как и Гугл, идет по пути лаконичности. На главном экране размещена кнопка поиска на красивом фоне. По нажатию на увеличительное стекло пользователь попадает на страницу поисковика. Несмотря на то, что интерфейс не русифицирован, приложение быстро выдает нужные результаты. Правда, в отличие от Гугла и Яндекса, Bing ограничивается лишь ссылками на сайты без дополнительно включенных сервисов.

Альтернативные поисковики

Помимо самых популярных поисковиков вроде Яндекса и Гугла в Сети существует немало интересных поисковых сервисов, которые по своим функциям могут стать неплохой альтернативой признанным гигантам. Мы выбрали 5 самых интересных систем, которыми можно пользоваться как на ПК, так и на смартфонах.

Поисковик, который базируется на трех основных принципах:

• Отсутствие хранилища личных данных
• Отсутствие навязчивой рекламы на основе запросов пользователя
• Отсутствие отслеживания действий пользователя.

Таким образом, DuckDuckGo оценят те, кто предпочитает конфиденциальность в Сети и хочет получать объективную информацию, без учета прошлого поискового поведения в Интернете. Кроме того, DuckDuckGo не привязан географически к пользователю. Это значит, что информацию можно искать и получать на любом языке, в то время как Яндекс и Гугл отдают предпочтение русскоязычным ресурсам, даже если вбить запрос на английском.

YaCy

Децентрализованный поисковик, у которого нет единого сервера и владельца. YaCy это сеть компьютеров пользователей, на которых установлена специальная программа. Каждый ПК самостоятельно сканирует Сеть и собирает полученную информацию в общую базу данных. Каждый узел сети YaCy автономен и, следовательно, не подвержен государственной или корпоративной цензуре.

Единственный недостаток для отечественного пользователя – YaCy не русифицирован.

Pipl

Pipl – это система, которая создана для поиска конкретных пользователей в Сети. Сложные алгоритмы собирают все данные о человеке по профилям в соцсетях комментариям, открытым базам данных, и так далее. На данный момент, в поисковой базе Pipl собраны данные по более чем 3 миллиардам человек.

Поиск по Рунету для Pipl является пока еще довольно сложной задачей. Так что данный поисковик станет более полезен тем, кто ищет конкретных пользователей в Европе, США или Канаде.

Вопросно-ответная система, поисковик на основе базы знаний и наборе вычислительных алгоритмов. В отличие от остальных поисковых систем, Wolfram|Alpha не выводит список ссылок по запросам, а формирует полноценный ответ на основе базы знаний об истории, культуре, науке, кинематографии, театре и многом другом. Кроме того, алгоритм подключает данные об известных людях и страницах в Сети.

Например, на запрос Star Wars films поисковик выдает список всех фильмов киновселенной, по каждому из которых можно посмотреть индивидуальную информационную карточку. Следом идет подборка постеров фильмов и подробная информация о сборах в кинотеатрах.

Wolfram|Alpha постоянно пополняет свою базу данных для более точного вывода самой необходимой информации по запросам. Для студентов, журналистов, аналитиков и научных сотрудников Wolfram|Alpha – пожалуй, лучший поисковик, так как он выдает не только текстовую информацию, но и компилирует различные графики, таблицы и схемы для большей наглядности.

Мы познакомили вас с самыми популярными поисковыми системами. Конечно, довольно сложно назвать определенный поисковик лучшим в мире. У каждой системы есть свой набор инструментов, которые привлекают тех или иных пользователей. А каким поисковиком чаще всего пользуетесь вы? Расскажите о своих впечатлениях в комментариях к данной статье!

До недавнего времени найти необходимую информацию во Всемирной паутине было не так-то просто. Но, благодаря стремительному развитию и появлению новых поисковых систем, это процесс стал намного удобней и быстрее. В нашем сегодняшнем обзоре 10 самых лучших сервисов для поиска различного рода данных, которые способны отыскать в глубинах интернета все что потребуется.

1. Поисковая интернет система - Bing

Bing - это известная поисковая интернет система, которая создана в июне 2009 года. Данный сервис доступен на 40 языках. Её ежемесячное количество уникальных посетителей составляет приблизительно 350 миллионов человек.

2. Метапоисковая интернет система - AOL Search.com

AOL Search.com - это метапоисковая интернет система, которая была основана в Соединенных Штатах Америки в 1985 году. Ежемесячное количество посетителей этого сервиса составляет приблизительно 75 миллионов человек. Должность генерального директора занимает Тим Армстронг.

3. Поисковая интернет система - DuckDuckGo

DuckDuckGo - это интернет-поисковая система с открытым исходным кодом, которая была запущена в 2008 году Габриэлм Вайнбергом. Штаб-квартира компании расположена в Вэлли-Фордж, штат Пенсильвания. Количество уникальных посетителей использующих DuckDuckGo составляет около 13 миллионов человек в месяц.

4. Поисковая интернет система - Ask.com

Ask.com - это поисковая интернет система, главной особенностью которой является поиск ответов на вопросы. Сервис был основан в июне 1996 года в городе Беркли, штате Калифорния Гарреттом Грюнером и Дэвидом Уортоном. Ежемесячное количество уникальных посетителей этого сервиса составляет приблизительно 145 миллионов человек.

5. Поисковая интернет система - Google

Google – это самая известная поисковая интернет система, штаб-квартира которой находится в городе Маунтин-Вью, Калифорния, Соединённые Штаты Америки. Основана компания 4 сентября 1998 года Ларри Пейджом, Сергеем Михайловичем Брином. Её ежемесечное количество уникальных посетителей составляет около 1.100.000.000 человек.

6. Метапоисковая интернет система - MyWebSearch.com

MyWebSearch.com - это метапоисковая интернет система, которая находится на 73 месте в списке самых популярных веб-сайтов. Её ежемесячное количество уникальных посетителей составляет приблизительно 60 миллионов человек.

7. Метапоисковая интернет система - Infospace.com

Представленная поисковая система была основана в 1996 году. Её штаб квартира находится в Белльвью, Вашингтоне, Соединенных Штатах. Ежемесячно количество уникальных посетителей Infospace.com составляет приблизительно 24 миллиона человек.

8. Метапоисковая интернет система - WebCrawler.com

WebCrawler.com – это метапоисковая интернет система, работающая с помощью Yahoo и Google. Компания создана в апреле 1994 года. Её ежемесячное количество уникальных посетителей составляет приблизительно 65 миллионов человек.

9. Метапоисковая интернет система - Info.com

Info.com - это метапоисковая система, штаб-квартира которой находится в столице Великобритании Лондоне. Ежемесячное количество уникальных посетителей Info.com составляет приблизительно 13, миллионов человек.

10. Поисковая интернет система – Yahoo

Поисковая интернет система под названием – Yahoo , которая была основана в январе 1994 года Джерри Янгом и Дэвидом Филом. Генеральным директором компании является Марисса Майер. Её ежемесячное количество уникальных посетителей составляет примерно 300 миллионов человек. Штаб-квартира сервиса находится в городе Санта-Клара, Калифорния, Соединенные Штаты Америки.

А любителям мобильных девайсов и компьютерных технологий, наверняка будет интересно посмотреть на

Что это

DuckDuckGo - это довольно известная поисковая система с открытым исходным кодом. Серверы находятся в США. Кроме собственного робота, поисковик использует результаты других источников: Yahoo, Bing, «Википедии».

Чем лучше

DuckDuckGo позиционирует себя как поиск, обеспечивающий максимальную приватность и конфиденциальность. Система не собирает никаких данных о пользователе, не хранит логи (нет истории поиска), использование файлов cookie максимально ограничено.

DuckDuckGo не собирает личную информацию пользователей и не делится ею. Это наша политика конфиденциальности.

Гэбриел Вайнберг (Gabriel Weinberg), основатель DuckDuckGo

Зачем это вам

Все крупные поисковые системы стараются персонализировать поисковую выдачу на основе данных о человеке перед монитором. Этот феномен получил название «пузырь фильтров»: пользователь видит только те результаты, которые согласуются с его предпочтениями или которые система сочтёт таковыми.

Формирует объективную картину, не зависящую от вашего прошлого поведения в Сети, и избавляет от тематической рекламы Google и «Яндекса», основанной на ваших запросах. При помощи DuckDuckGo легко искать информацию на иностранных языках, тогда как Google и «Яндекс» по умолчанию отдают предпочтение русскоязычным сайтам, даже если запрос введён на другом языке.

Что это

not Evil - система, осуществляющая поиск по анонимной сети Tor. Для использования нужно зайти в эту сеть, например запустив специализированный .

not Evil не единственный поисковик в своём роде. Есть LOOK (поиск по умолчанию в Tor-браузере, доступен из обычного интернета) или TORCH (один из самых старых поисковиков в Tor-сети) и другие. Мы остановились на not Evil из-за недвусмысленного намёка на Google (достаточно посмотреть на стартовую страницу).

Чем лучше

Ищет там, куда Google, «Яндексу» и другим поисковикам вход закрыт в принципе.

Зачем это вам

В сети Tor много ресурсов, которые невозможно встретить в законопослушном интернете. И их число будет расти по мере того, как ужесточается контроль властей над содержанием Сети. Tor - это своеобразная сеть внутри Сети со своими социалками, торрент-трекерами, СМИ, торговыми площадками, блогами, библиотеками и так далее.

3. YaCy

Что это

YaCy - децентрализованная поисковая система, работающая по принципу сетей P2P. Каждый компьютер, на котором установлен основной программный модуль, сканирует интернет самостоятельно, то есть является аналогом поискового робота. Полученные результаты собираются в общую базу, которую используют все участники YaCy.

Чем лучше

Здесь сложно говорить, лучше это или хуже, так как YaCy - это совершенно иной подход к организации поиска. Отсутствие единого сервера и компании-владельца делает результаты полностью независимыми от чьих-то предпочтений. Автономность каждого узла исключает цензуру. YaCy способен вести поиск в глубоком вебе и неиндексируемых сетях общего пользования.

Зачем это вам

Если вы сторонник открытого ПО и свободного интернета, не подверженного влиянию государственных органов и крупных корпораций, то YaCy - это ваш выбор. Также с его помощью можно организовать поиск внутри корпоративной или другой автономной сети. И пусть пока в быту YaCy не слишком полезен, он является достойной альтернативой Google с точки зрения процесса поиска.

4. Pipl

Что это

Pipl - система, предназначенная для поиска информации о конкретном человеке.

Чем лучше

Авторы Pipl утверждают, что их специализированные алгоритмы ищут эффективнее, чем «обычные» поисковики. В частности, приоритетными являются профили социальных сетей, комментарии, списки участников и различные базы данных, где публикуются сведения о людях, например базы судебных решений. Лидерство Pipl в этой области подтверждено оценками Lifehacker.com, TechCrunch и других изданий.

Зачем это вам

Если вам нужно найти информацию о человеке, проживающем в США, то Pipl будет намного эффективнее Google. Базы данных российских судов, видимо, недоступны для поисковика. Поэтому с гражданами России он справляется не так хорошо.

Что это

FindSounds - ещё один специализированный поисковик. Ищет в открытых источниках различные звуки: дом, природа, машины, люди и так далее. Сервис не поддерживает запросы на русском языке, но есть внушительный список русскоязычных тегов, по которым можно выполнять поиск.

Чем лучше

В выдаче только звуки и ничего лишнего. В настройках можно выставить желаемый формат и качество звучания. Все найденные звуки доступны для скачивания. Имеется поиск по образцу.

Зачем это вам

Если вам нужно быстро найти звук мушкетного выстрела, удары дятла-сосуна или крик Гомера Симпсона, то этот сервис для вас. И это мы выбрали только из доступных русскоязычных запросов. На английском языке спектр ещё шире.

Если серьёзно, специализированный сервис предполагает специализированную аудиторию. Но вдруг и вам пригодится?

Что это

Wolfram|Alpha - вычислительно-поисковая система. Вместо ссылок на статьи, содержащие ключевые слова, она выдаёт готовый ответ на запрос пользователя. Например, если ввести в форму поиска «сравнить население Нью-Йорка и Сан-Франциско» на английском, то Wolfram|Alpha сразу выведет на экран таблицы и графики со сравнением.

Чем лучше

Этот сервис лучше других подходит для поиска фактов и вычисления данных. Wolfram|Alpha накапливает и систематизирует доступные в Сети знания из различных областей, включая науку, культуру и развлечения. Если в этой базе находится готовый ответ на поисковый запрос, система показывает его, если нет - вычисляет и выводит результат. При этом пользователь видит только и ничего лишнего.

Зачем это вам

Если вы, например, студент, аналитик, журналист или научный сотрудник, то можете использовать Wolfram|Alpha для поиска и вычисления данных, связанных с вашей деятельностью. Сервис понимает не все запросы, но постоянно развивается и становится умнее.

Что это

Метапоисковик Dogpile выводит комбинированный список результатов из поисковых выдач Google, Yahoo и других популярных систем.

Чем лучше

Во-первых, Dogpile отображает меньше рекламы. Во-вторых, сервис использует особый алгоритм, чтобы находить и показывать лучшие результаты из разных поисковиков. Как утверждают разработчики Dogpile, их системы формирует самую полную выдачу во всём интернете.

Зачем это вам

Если вы не можете найти информацию в Google или другом стандартном поисковике, поищите её сразу в нескольких поисковиках с помощью Dogpile.

Что это

BoardReader - система для текстового поиска по форумам, сервисам вопросов и ответов и другим сообществам.

Чем лучше

Сервис позволяет сузить поле поиска до социальных площадок. Благодаря специальным фильтрам вы можете быстро находить посты и комментарии, которые соответствуют вашим критериям: языку, дате публикации и названию сайта.

Зачем это вам

BoardReader может пригодиться пиарщикам и другим специалистам в области медиа, которых интересует мнение массовой по тем или иным вопросам.

В заключение

Жизнь альтернативных поисковиков часто бывает скоротечной. О долгосрочных перспективах подобных проектов Лайфхакер спросил бывшего генерального директора украинского филиала компании «Яндекс» Сергея Петренко .

Сергей Петренко

Бывший генеральный директор «Яндекс.Украины».

Что касается судьбы альтернативных поисковиков, то она проста: быть очень нишевыми проектами с небольшой аудиторией, следовательно без ясных коммерческих перспектив или, наоборот, с полной ясностью их отсутствия.

Если посмотреть на примеры в статье, то видно, что такие поисковики либо специализируются в узкой, но востребованной нише, которая, возможно только пока, не выросла настолько, чтобы оказаться заметной на радарах Google или «Яндекса», либо тестируют оригинальную гипотезу в ранжировании, которая пока не применима в обычном поиске.

Например, если поиск по Tor вдруг окажется востребованным, то есть результаты оттуда понадобятся хотя бы проценту аудитории Google, то, конечно, обычные поисковики начнут решать проблему, как их найти и показать пользователю. Если поведение аудитории покажет, что заметной доле пользователей в заметном количестве запросов более релевантными кажутся результаты, данные без учёта факторов, зависящих от пользователя, то «Яндекс» или Google начнут давать такие результаты.

«Быть лучше» в контексте этой статьи не означает «быть лучше во всём». Да, во многих аспектах нашим героям далеко до и «Яндекса» (даже до Bing далековато). Но зато каждый из этих сервисов даёт пользователю нечто такое, чего не могут предложить гиганты поисковой индустрии. Наверняка вы тоже знаете подобные проекты. Поделитесь с нами - обсудим.

CNN в свое время назвала Shodan «самым страшным поисковиком интернета». И даже его название действительно звучит пугающе. Несмотря на то, что это было три года назад, Shodan не особо развился с тех пор. Для тех, кто незнаком с Shodan: он ищет подключенные к интернету устройства по всему миру. Это понятие включает в себя не только компьютеры и смартфоны, он также может найти ветровые турбины, светофоры, устройства считывания номерных знаков, холодильники и практически все остальные устройства с подключением к Сети.

Не стоит забывать о том, что многие из этих устройств, которыми мы пользуемся каждый день, не имеют защиты. Следовательно, такой поисковик - мечта хакера. Shodan не единственный поисковик такого типа. В этой статье мы рассмотрим еще четыре поисковика, ориентирующихся на поиск уязвимостей. Возможно, некоторые из них вам знакомы.

Сначала давайте узнаем больше о Shodan.

Shodan

Рисунок 1. Поисковик Shodan

Напомним, что Shodan далеко не новый, но постоянно обновляющийся поисковик. Его название является отсылкой к SHODAN, персонажу из серии игр System Shock. Самый часто встречающийся запрос в этот поисковик - «Server: SQ-WEBCAM» - показывает количество подключенных в данный момент IP-камер. Если вы пробуете воспользоваться Shodan в первый раз, введите этот топовый запрос и посмотрите, что получится.

Основная причина, по которой Shodan считается хорошим поисковиком для хакеров, заключается в типе информации, которую он способен предоставить (например, типы соединения). Несмотря на то, что подобную информацию можно найти и в Google, вы должны использовать для этого верные условия поиска, которые не всегда очевидны.

Еще один из самых популярных запросов в Shodan - «пароль по умолчанию». Вы будете удивлены, как много устройств перечислены в поисковой выдаче по этому запросу. Будем надеяться, что вашего там нет, но если есть, лучше измените пароль.

Shodan довольно полезен, если вы ищете более конкретную информацию. Хороший пример: сделать поиск по запросу «SSH port:’22’». Вы увидите множество устройств, работающих по SSH и использующих порт 22.

В результатах выдачи вы также можете увидеть IP-адрес, местоположение и порты, которые устройство использует.

Также Shodan, как правило, показывает некоторые особенности каждого устройства, например: MAC-алгоритмы, алгоритмы шифрования, алгоритмы сжатия.

Если вы заметили, что информация о вашем устройстве, которую вы не хотели бы обнародовать, появилась в поисковой выдаче Shodan, стоит задуматься над тем, чтобы пропатчить его. Для тестеров эта информация так же важна, как для хакеров.

Конечно, и для обычного пользователя, не являющегося хакером или тестером, будет интересно исследовать Shodan и посмотреть, какая информация выдается в нем.

Еще один из пугающих запросов - «port: ‘6666’’ kiler», который находит устройства, зараженные трояном KilerRat.

Рисунок 2. Троян KilerRat

KilerRat - троян, предоставляющий удаленный доступ к зараженному компьютеру. Он может красть учетные данные, изменять записи в реестре, получать доступ к веб-камере пользователя.

PunkSPIDER

Рисунок 3. Поисковик PunkSPIDER

На первый взгляд, PunkSPIDER не выглядит большим и серьезным поисковиком, особенно в сравнении с Shodan. Но их цели похожи. PunkSPIDER является системой для поиска уязвимостей в веб-приложениях. В его основе лежит PunkSCAN, сканер безопасности. PunkSPIDER может искать уязвимости, подверженные следующим типам атак: межсайтовый скриптинг (XSS), слепая SQL-инъекция (BSQLI), Path Traversal (TRAV).

Даже если вы понятия не имеете, что собой представляют эти виды атак, вы все равно можете использовать PunkSPIDER для проверки своего сайта на уязвимости.

Вот пример результата для запроса «сайт»:

Scanned: 2016-08-11T20:12:57.054Z

Bsqli:0 | sqli:0 | xss:0 | trav:0 | mxi:0 | osci:0 | xpathi:0 | Overall risk:0

Первая строка отображает домен. Во второй строке показаны дата и время, когда домен был добавлен в систему PunkSPIDER. В третьей строке можно увидеть список различных типов атак и были ли обнаружены уязвимые к этим атакам места.

Если вы сделаете более обобщенные запросы, используя термины вроде «блог», «социальные сети», «форум» или «порно», вы получите сотни результатов. Тот факт, что сайт отображается в выдаче, еще не значит, что он заражен. Для более гибкого использования PunkSPIDER можно воспользоваться специальной справкой.

Также можно проверить, как это работает с сайтами в сети Tor. Если ввести в поиск «.onion», мы получим 588 результатов. Непонятно, все ли они инфицированы или нет, но это можно проверить.

IVRE

Рисунок 4. Поисковик IVRE

Поисковик IVRE, в отличие от Shodan или PunkSPIDER, создан для хакеров, программистов, тестеров. Даже использование главной консоли этого поисковика требует базовых знаний сетевых технологий.

Так что же представляет собой IVRE (Instrument de veille sur les réseaux extérieurs)? На самом деле, это открытый исходный код, написанный на Python с MongoDB. Использует такие инструменты, как Bro, Argus, NFDUMP и ZMap для вывода данных о подключенных к интернету устройствах. IVRE также поддерживает возможность импорта данных в формате XML из Nmap и Masscan.

Главный сайт IVRE предоставляет результаты сканирования Nmap, которые можно отсортировать, используя ключевые слова (в этом смысле есть схожесть с Shodan). Вот несколько ключевых слов, которые можно попробовать: «phpmyadmin», «anonftp», «x11open». Таким образом, фильтр по «phpmyadmin» возвращает поисковые результаты по серверам phpMyAdmin, «anonftp» ищет FTP-серверы, предоставляющие анонимный доступ, «x11open» ищет открытые серверы X11. Это, может, и не является революционным открытием, однако, если потратить некоторое время и понять принцип и особенности работы IVRE, можно обнаружить, насколько полезным является этот поисковик.

Пример ниже показывает результаты поиска по ключевым словам «phpmyadmin» и «sortby:endtime».

Рисунок 5. Поисковая выдача IVRE

Тем, кто хочет знать больше о технических особенностях IVRE, рекомендуется посетить их GitHub . Также можно почитать их , хотя он давно не обновлялся.

ZoomEye

Рисунок 6. Главная страница поисковика ZoomEye

ZoomEye, как и его аналоги, ищет подключенные к интернету устройства и уязвимости. Но прежде чем вы скажете «мы это уже проходили», давайте разберемся, в чем заключаются его особенности.

За ZoomEye стоят разработчики из Knownsec Inc, китайской компании, работающей в области безопасности, находящейся в Пекине. Первая версия этого поисковика была выпущена в 2013 году, а последняя известна под именем ZoomEye 3.0.

Опять же, извлечь из работы с этой поисковой системой больше пользы можно, если вы знаете конкретные строки и ключевые слова для поиска того, что вам нужно. Вот несколько примеров:

Apache httpd - находит результаты для HTTP-серверов Apache.

device:”webcam” - находит список веб-камер, подключенных к интернету.

app:”TED 5000 power use monitor” - находит список мониторов The Energy Detective (TED).

ZoomEye, как и Shodan, позволяет легко фильтровать результаты поиска по стране, общественным устройствам, веб-сервисам и т. д. Если же вы не знаете, что именно искать, поисковая система начинает отображать популярные запросы.

В некоторых случаях поиск даже по какому-либо случайному слову может привести к довольно интересным результатам. Для примера, попробуйте поискать по слову «zombie».

Censys

Наконец, давайте посмотрим на Censys. Он, как и описанные выше поисковики, ищет устройства, подключенные к интернету. Censys собирает данные, используя ZMap и ZGrab (сканер прикладного уровня, который работает с помощью ZMap), и сканирует адресное пространство IPv4.

Можете поэкспериментировать с Censys. Вот несколько примеров, которые можно использовать для поиска:

https://www.censys.io/ipv4?q=80.http.get.status_code%3A%20200 - этот запрос позволяет осуществить поиск всех хостов с определенным кодом состояния HTTP.

Также можно ввести в поисковую строку IP-адрес, например «66.24.206.155» или «71.20.34.200». Кроме того, Censys может выполнять полнотекстовый поиск. Если вы введете «Intel», вы найдете не только устройства Intel, но и хосты с записью «Intel» в регистрационных данных. Как и в большинстве поисковых систем, вы можете использовать логические операторы «and», «or» и «not».

Опять же, эта информация для того, чтобы вы знали, с чего начать. Далее, узнавая постепенно систему, вы найдете гораздо более полезные функции.

Как насчет руководства по эксплуатации?

Работа с большинством из этих поисковых систем потребует немного практики, прежде чем они станут действительно эффективными инструментами. Но будет интересно просто посмотреть, как они работают и какие результаты выдают.

Для тех же, кто давно не новичок, эти поисковики могут стать мощными инструментами. Очень полезными они могут оказаться и для разработчиков.

Так что если поисковые запросы «SMTP server» или «APC AOS cryptlib sshd» вызывают у вас улыбку понимания, вам настоятельно рекомендуется попробовать все вышеописанные поисковые системы.

Слово «гуглить» уже давно стало синонимом к фразе «искать информацию в интернете». Причиной тому является монопольная позиция Google. Ежедневно он отвечает на 3,5 млрд. запросов.

Многие русскоязычные пользователи не догадываются о существовании альтернативных поисковых систем, разве что кроме Яндекса и Майл ру.

Но в мире есть и другие популярные поисковики. Многие из них являются не менее удобными и интересными, а порой даже более безопасными.

Рассмотрим следующие поисковики мира:

• Bing;
• Yahoo!;
• Baidu;

Bing

Bing.com – известный поисковик информации от Microsoft. Заодно Bing является старым врагом Google. Время от времени конкуренты обвиняют Бинг в «списывании», а сразу после его релиза появились шутки типа «Bing Is Not Google» (Бинг не Гугл).

Поисковик Bing корректно ищет как информацию, так и картинки. А еще он неплохо оформлен – каждый день на главной странице меняются темы. Либо темы можно самостоятельно менять с помощью стрелок «<» (назад) или «>» (вперед), которые находятся в нижнем правом углу поисковика.

Рис. 1 Поисковик bing

С Bing действительно приятно работать, но вряд ли его можно назвать полноценной альтернативой Гуглу. Ведь он тоже собирает информацию о пользователях, хотя Microsoft, в свою очередь, уверяет, что она хранится на их серверах не более полугода.

Yahoo!

Yahoo.com по праву можно назвать поисковиком-ветераном. Он был основан 20 лет назад двумя аспирантами Стэндфордского университета – Джерри Янгом и Дэвидом Файло. На данный момент он занимает почетное второе место среди поисковых систем (если не учитывать китайский поисковик Baidu). Портал предлагает своим пользователям длинный перечень продуктов и сервисов (например, e-mail, новости, погода).

Рис. 2 Поисковик Yahoo!

В 2008 году компания Microsoft хотела купить Yahoo! за 44 млрд. долларов, но получила отказ. Сейчас они всё же сотрудничают, так как поиск на портале осуществляется при помощи системы Bing.

Duckduckgo.com – полноценная альтернатива Google. Этот поисковик информации позиционирует себя как наиболее конфиденциальную поисковую систему.

В свое время команда поисковика даже организовала большую плакатную акцию под названием «Google следит за тобой. Мы – нет». Гугл не смог проигнорировать это и ответил: «К сожалению, DuckDuckGo играет на страхах людей и предлагает неполную информацию, лишь бы привлечь к себе внимание».

Рис. 3 Поисковик DuckDuckgo

Особенностью системы DuckDuckGo является то, что она отказалась от использования «пузыря фильтров». Это значит, что поисковик предлагает вам не только ту информацию, которую посчитает нужной, а всю, что у него имеется. Таким образом, на двух разных вы получите одинаковый перечень ответов на запросы, а не как при поиске в Гугле.

Китайский поисковик Baidu

Baidu.com является лидером среди поисковиков Китая и входит в пятерку основных поисковиков мира. Результаты поиска включают в себя картинки и видео.

Китайский поисковик имеет свой антивирус и онлайн-энциклопедию, которая называется Байдупедия. Она была основана в 2006 году и уже успела обогнать китайскую версию Википедии по количеству статей.

Рис. 4 Китайский поисковик Baidu

Baidu пока существует только в китайской и японской версиях, поэтому вряд ли его можно назвать удобным для русскоязычного пользователя.

Ecosia.org является довольно необычной поисковой системой. Её девиз: «Ecosia – зелёный поиск».

Рис. 5 Поисковик ecosia

Совместно с остальными пользователями поисковика (число которых на данный момент составляет 2 250 710 человек) Вы можете внести свой вклад в высадку деревьев в Бразилии.

Компания, которая на данный момент состоит всего лишь из 10 сотрудников, отдает 80 процентов от своих доходов на поддержку бразильского парка Тумукумаке. За год (период с августа 2013 по август 2014 года) благодаря Ecosia было высажено 556 841 дерево. Отчеты ежемесячно публикуются на сайте поисковика.