До появления «Яндекса» и Google пользователи сети не могли даже представить, что смогут найти любую информацию в прямом смысле с помощью одного клика. В 1990-х и начале 2000-х юзерам приходилось кропотливо выискивать сведения в специальных каталогах сайтов, которые распространялись преимущественно в печатном виде, или делиться друг с другом ссылками на полезные ресурсы. Первые поисковики избавили пользователей от необходимости искать материалы вручную. Со временем они обзавелись мощными алгоритмами, которые научились анализировать содержимое сайтов и предугадывать, какие именно результаты поиска больше всего подойдут вопрошающему. Какими были первые поисковики, чем они отличались от современных аналогов и как в итоге сложилась судьба их создателей — разбиралась «Лента.ру».
«Я написал кусок кода, который заложил основу для многомиллиардной индустрии. В то время интернет еще не был бизнесом, поэтому мы не стали патентовать Archie. На этом можно было заработать, но я не стал этого делать и совершенно об этом не жалею», — рассказывал Алан Эмтейдж (Alan Emtage), создатель первого в истории поисковика под названием Archie.
В конце 1980-х, еще до его появления, искать информацию в интернете можно было совершенно непривычным сегодня способом — вручную в архивах каталогов, то есть сайтов, на которых собирали ссылки на различные ресурсы. Тогда же пользователи сети активно использовали публичные FTP-серверы, на которых хранились общедоступные документы.
FTP (File Transfer Protocol) — это протокол передачи данных, который появился в начале 1970-х годов. С его помощью можно передавать файлы в сети между компьютерами. Для доступа к серверу или удаленному компьютеру по проколу FTP используются специальные программы
С такими инструментами самостоятельно найти необходимую информацию было невозможно. В те времена пользователь не мог просто вбить в строку поиска запрос вроде «Пушкин год рождения» или «Длина Москвы-реки»: ему нужно было знать точное имя и местоположение документа, в котором содержится эта информация, а также адрес сервера. Эмтейдж, обративший внимание на недостатки такого метода, решил автоматизировать утомительный процесс.
Осенью 1990 года Эмтейдж создал первый в истории интернета поисковик. С его помощью пользователи могли формировать запросы, используя ключевые слова, которые содержались в описании конечного файла. Однако поиск еще был далек от совершенства: при таком подходе конечный успех зависел от авторов материалов, которые составляли описание файла.
Правда, Archie был поисковиком лишь в некотором смысле. Он объединял и индексировал содержимое общедоступных FTP-серверов и давал пользователям возможность искать информацию не в каждом отдельном сервере, а во всем интернете. Этот сервис лишь собирал воедино списки, составленные вручную другими людьми и опубликованные на других сайтах.
Спустя три года Мэтью Грэй (Matthew Gray), программист из Массачусетского института, разработал поисковой сервис Wandex. Его главное отличие от Archie заключалось в том, что он умел при поиске сканировать заголовки сайтов. Существенным недостатком этой системы было то, что она выдавала информацию без какого-либо анализа, поэтому результаты на первых страницах крайне редко действительно удовлетворяли поисковому запросу.
Первый статистический анализ слов научилась проводить поисковая система Excite, созданная в 1994 году студентами Стэнфордского университета Грэмом Спенсером (Graham Spencer), Джо Краусом (Joe Kraus), Марком Ван Хареном (Mark Van Haren), Райаном Макинтайром (Ryan McIntyre), Беном Лучем (Ben Lutch) и Мартином Рейнфридом (Martin Reinfried). Поисковик во многом упрощал поиск в интернете. Кроме того, у него была своя электронная почта и сервис для обмена мгновенными сообщениями.
Однако настоящую революцию в мире поисковиков произвел сервис WebCrawler, запущенный весной 1994 года студентом Вашингтонского университета Брайаном Пинкертоном (Brian Pinkerton). WebCrawler стал первой системой, которая умела искать по всему содержимому сайтов, а не только по кратким описаниям и заголовкам, — именно так делали все последующие поисковики, в том числе Google и «Яндекс».
«WebCrawler был поисковой системой, которую я использовал в детстве. Но у меня странная пустота в голове между ним и Google», — вспоминал один из пользователей Reddit. «У меня нет пробела — я переключился с WebCrawler на Google», — добавлял другой юзер, рассказывавший о культовом сайте.
WebCrawler стал первой поисковой системой, которая широко распространилась по миру. Почти сразу после ее запуска, в период с 1994 по 1995 год, появилось множество аналогичных систем, в числе которых Infoseek, Inktomi и Northern Light.
В том же году, когда запустился WebCrawler, аспиранты Стэнфордского университета Дэвид Фило (David Filo) и Джерри Янг (Jerry Yang) создали сайт «Путеводитель Джерри по Всемирной паутине». Изначально он был предназначен для студентов и содержал сотни полезных для них ссылок, а затем перерос в сервис под названием Yahoo!, который потом превратился в информационный портал с новостями, афишей, погодой и котировками.
Как вспоминал Янг, на момент создания сервиса они с Фило работали над докторской диссертацией.
Yahoo! действительно оказался прибыльным: сервис активно продавал рекламу, хотя сам поисковик и не отличался качеством даже по тем временам. Все объяснялось тем, что в 90-е, когда интернет активно развивался и разработчики вкладывали деньги в интернет-проекты, считалось, что высокая скорость поиска сократит время пребывания пользователей на портале — следовательно, рекламу увидит меньше людей.
Одним из крупнейших вкладов Yahoo! в интернет-поиск стала служба каталогов, которая состояла из большой коллекции авторитетных сайтов.
В 2001 году поисковик даже начал взимать плату за включение в эту подборку. «Это были те времена, когда Yahoo! взлетел так высоко и делал так много денег, что его владельцы буквально поглощали наличные», — рассказывали пользователи.
Со временем Yahoo! занялся качеством поиска. В итоге он остался одним из немногих сервисов, которые до сих пор существуют. Более того, по данным ресурса SimilarWeb, поисковик входит в тройку лидеров, уступая первенство Google — самому популярному поисковому сервису.
Самой быстрой поисковой системой в середине 90-х стал сервис AltaVista, с помощью которого пользователи впервые получили возможность формулировать запросы на «естественном языке», задавать вопросы и получать ответы на них. Сегодня все эти функции считаются обычными для любого поисковика.
Кроме того, искать информацию в AltaVista можно было сразу на нескольких языках, в 1996 году в их списке появился русский. В начале 2000-х годов AltaVista был одним из самых популярных поисковых сервисов, однако впоследствии не выдержал конкуренцию с Google. В 2003 году сервис купил Yahoo!, а в июле 2013 года AltaVista прекратил работу.
К 1997 году поисковики начали постепенно покорять и российский рынок. Больше всего россиянам полюбились «Апорт» и «Рамблер». Первый умел искать информацию, показывал новости, прогноз погоды, курс валют, а также имел опцию поиска организаций по заданному адресу. Сервис стал первым поисковиком, применившим технологию ранжирования Page Rank, которая помогала найти самые подходящие материалы и поместить их выше, чем менее подходящие.
Некоторые бывшие пользователи «Апорта» заявляли, что поисковик был удобнее его современных аналогов. «Кто-нибудь помнит, как в начале нулевых можно было искать на "Апорте"? Вводишь запрос, поиск выдает найденное. Там была функция "искать в найденном", и вводишь следующий запрос. Таким образом получалась воронка запросов, которая в точности находила то, что ты ищешь. В современных поисковиках есть такая возможность?» — вспоминал бывший юзер сервиса на платформе Pikabu.
У «Рамблера» тоже были особые функции — например, счетчик Rambler Top100 — первый рейтинг-классификатор Рунета. Счетчик анализировал посещаемость веб-сайтов и их популярность, а также оценивал возможный трафик для рекламодателей. Правда, со временем «Рамблер» отказался от своей поисковой машины, установил поиск от «Яндекса» и стал медиапорталом с агрегатором новостей, почтой и развлекательными сервисами.
Абсолютным лидером на рынке поисковиков в итоге стал Google. Когда-то два аспиранта из Стэнфордского университета — Сергей Брин (Sergey Brin) и Ларри Пейдж (Larry Page), придумавшие Google, — приходили к руководству Yahoo! с предложением продать им компанию за один миллион долларов. Yahoo от сделки отказалась.
«Когда я увидел Ларри и Сергея, я сразу понял, что у них есть свое видение. У них был действительно решительный взгляд на мир», — описывал спустя годы основателей Google создатель Yahoo! Джерри Янг.
Брин и Пейдж предлагали за ту же сумму купить Google и компании Excite, но менеджеры компании тоже отказались от сделк. Решение Excite впоследствии называли одной из главных ошибок в цифровой индустрии. Однако Джо Краус, один из создателей Exite, все же связал свою деятельность с Google: спустя годы после несостоявшейся сделки компания наняла его на должность директора по управлению проектами.
Так поступило большинство разработчиков, которые когда-то внесли колоссальный вклад в развитие поисковиков: в конечном итоге они стали работать на современные IT-гиганты. Основатель Wandex Мэтью Грэй стал инженером-программистом Google и называл ее «замечательной компанией». Брайан Пинкертон, разработчик WebCrawler, возглавил поисковое подразделение Amazon, а основатель первого в истории поисковика Archie Алан Эмтейдж стал главным техническим директором в компании Mediapolis, специализирующейся на веб-инжиниринге.