Незаслуженно забытые. Как советские и российские ученые помогли появиться современному ИИ

В массовой картине мира ИИ — это западные лаборатории, большие компании и стартапы. СССР и Россия в лучшем случае идут с припиской: «Там были сильные математики».

На деле все интереснее. Современный ИИ — это не только мощные компьютеры и горы данных. Это еще и идеи о том, как учить модель делать выводы на примерах, как не «перекосить» модель, как понимать, работает ли она на новых задачах, как строить сложное из простого.

Многие такие идеи формировались не только на Западе — советские/российские ученые внесли довольно заметный вклад.

Чтобы угадать, какая погода будет завтра, вам обычно важнее знать, что происходит за окном сегодня, чем помнить погоду год назад. Такой принцип — «будущее в основном зависит от настоящего» — стал одним из способов описывать последовательности событий. И немалая заслуга в этом принадлежит еще дореволюционному российскому ученому Андрею Маркову.

Исследователи теорий вероятностей и статистики отмечают: то, что мы теперь называем «марковскими цепями» или цепочками событий, впервые появляется у Маркова в работе 1906 года.

Почему это важно для ИИ? Потому что огромный класс задач (речь, текст, поведение робота, шаги в игре) — это про последовательности. И идеи, выросшие из работ Андрея Маркова, до сих пор используются как удобный способ думать о том, как одно состояние переходит в другое.

Для непосвященных тема нейросетей выглядит как что-то очень сложное. Но ее  философия довольно простая: сложное поведение можно собрать из множества простых шагов.

С этим созвучна знаменитая работа советского математика Андрея Колмогорова 1957 года о представлении функций многих переменных через комбинации одномерных функций и сложение. Этот результат широко известен как «теорема Колмогорова о суперпозиции».

Основная идея его доклада: сложные зависимости можно разложить на «кирпичики» и собрать обратно — если правильно выбрать схему сборки. Не то чтобы это исчерпывающе описывало нейросети, но во многом заложило основу их базовых принципов.

Иногда модель учится слишком «усердно». Она запоминает случайные детали обучающих данных — и потом хуже справляется с новыми примерами. Это похоже на студента, который дословно вызубрил свой конспект, но растерялся, когда вопрос задали чуть другими словами.

Чтобы этого не происходило, в машинном обучении используют принцип: не гонись за идеальной точностью на тренировке — лучше сделай модель устойчивой.

Одна из классических формулировок этой идеи — регуляризация Тихонова. Работа cоветского исследователя Андрея Тихонова «О решении некорректно поставленных задач и методе регуляризации» («Solution of Incorrectly Formulated Problems and the Regularization Method») (1963) широко цитируется как ключевой текст по «стабилизации» решений при шумных/неточных данных.

Сегодня тот же принцип встречается повсюду — от «штрафа за сложность» до «затухания весов» в нейросетях. Меняются детали, но смысл остается: не дай модели стать слишком «капризной».

Представьте: ИИ отлично решает примеры из учебника. Но будет ли он так же хорошо отвечать на вопросы из реальной жизни?

Один из самых известных советских вкладов в теорию обучения — работы Владимира Вапника и Алексея Червоненкиса. Их статья 1971 года «О равномерной сходимости частот появления событий к их вероятностям» («On the uniform convergence of relative frequencies of events to their probabilities в Theory of Probability and Its Applications») — один из фундаментальных текстов, который помог сформулировать, когда обучение по данным вообще надежно, а не похоже на удачное гадание.

Эта линия работ дала науке способ рассуждать о том, почему модель может работать на новых примерах и сколько данных нужно, чтобы результат был не случайностью, а результатом умения.

Термин deep learning означает «глубокое обучение», которое сейчас есть почти у всех современных больших языковых моделей. Его основная идея — сочетание различных методов машинного обучения с более точечной и глубокой тренировкой, в том числе с привлечением контроля живыми специалистами, чтобы создать у машины сложное совокупное представление о задаче вместо простого алгоритма ее решения по триггеру. Сначала нужно заложить базу, а в дальнейшем это делает возможным и самообучение на постепенно усложняющихся примерах.

Но идея строить модель слоями — «сначала проще, потом сложнее» — появлялась и раньше.

Один из ярких примеров — работы Алексея Ивахненко. Его статьи «Polynomial Theory of Complex Systems» (1971) и «Индуктивный метод самоорганизации моделей сложных систем» (1982) описывают подходы, где модель строится из «узлов» и далее отбирается по критерию качества.

Это не «современные нейросети» в привычном виде: другое время, другие вычисления, другой масштаб данных. Но по духу это близко к тому, что делает машинное обучение: строит модель постепенно и следит, чтобы она не разрасталась хаотически, а планомерно усложнялась.

Сегодня ИИ часто проверяют на датасетах: «узнай кошку», «найди пешехода», «переведи текст». Но есть другой тип проверки: может ли машина понять правило по нескольким примерам?

В середине XX века советский исследователь Михаил Бонгард предложил набор визуальных задач, где нужно по нескольким картинкам слева и справа сформулировать правило отличия.

Эти задачи публиковались вместе с его книгой по распознаванию «Проблемы узнавания» (оригинальная русская публикация 1967 года; английское издание «Pattern Recognition» — 1970 год), и именно поэтому они часто называются «Задачи\проблемы Бонгарда».

Почему это снова стало актуально сегодня? Потому что такие задачи проверяют не «натренированность на миллионах примеров», а способность к обобщению и пониманию отношений. В современных статьях о решателях задач Бонгарда прямо подчеркивают, что 100 таких задач Бонгарда стали вызовом для систем «умного зрения».

История ИИ в СССР тесно связана со словом «кибернетика» — наукой об управлении, обратной связи и обработке информации. Ее судьба была непростой: ранняя идеологическая критика, затем реабилитация и бурный рост интереса. Это подробно разбирается в книге историка науки Славы Геровича «From Newspeak to Cyberspeak: A History of Soviet Cybernetics».

А еще был важен системный взгляд: что «интеллект» — это не только алгоритм, но и инфраструктура информации.

Здесь неизбежно всплывает имя Виктора Глушкова и обсуждения проекта ОГАС («Общегосударственная автоматизированная система учета и обработки информации») — попытки построить общегосударственную систему управления/сети вычислительных центров. 

В описании книги Бенджамина Питерса «How Not to Network a Nation» ОГАС прямо упоминается как центральная линия истории советских попыток «сетью управлять экономикой» и как один из самых амбициозных проектов, связанных с Глушковым. И с современным цифровым государством тоже.

Есть ученые, чьи идеи редко вспоминают в популярных текстах, потому что они «слишком фундаментальны». Но они задают общий язык, на котором потом можно аккуратно обсуждать сложные модели.

Пример — Сергей Соболев. В биографических обзорах отмечают, что он ввел понятие пространств, которые теперь называются соболевскими. То, что началось в 1930-х как его смелая теория, быстро стало отдельной большой областью математики.

Простыми словами, Соболев предложил метод, чтобы описывать «насколько решение устойчиво», «насколько оно гладкое», «как мелкие изменения вводных влияют на результат». В ИИ эти вопросы всплывают постоянно — просто под более прикладными словами вроде «стабильность», «устойчивость к шуму», «обобщение».

Вклад проявляется не только в советских работах, но и в людях, которые родились в СССР или России, а затем работали в глобальной науке.

Например, Илья Суцкевер (сооснователь OpenAI, один из заметных исследователей deep learning) — в материале Университета Торонто о его почетной степени прямо сказано: он родился в России, рос в Израиле, позже переехал в Канаду.

Это конечно не значит «все его достижения — российские». Наука делается в командах и средах. Но это хороший пример того, как школа, культура подготовки и личные траектории соединяют разные научные миры.

Если говорить по-простому, советский и российский вклад в ИИ часто «не виден» не потому, что его не было, а потому что он плохо ложится в привычную историю про смелые компании, красивые продукты и быстрые успехи.

• Во-первых, многое долго оставалось внутри русскоязычного мира. Научные статьи и книги выходили по-русски, в советских журналах и сборниках, которые на Западе читали меньше. Переводы появлялись не всегда и не сразу. В итоге получалось так: идея есть, она важная, но о ней знают в основном специалисты, а не широкая аудитория. Иногда результат все же попадал в мировой оборот — как у Вапника и Червоненкиса, чья статья вышла в англоязычном журнале и стала «общим языком» для науки про обучение на данных. Но это скорее удачное исключение.
• Во-вторых, у нас исторически «головы» работали лучше, чем «витрина». Чтобы идея стала массовой, ей недостаточно быть только умной. Нужно, чтобы вокруг нее сложилась индустрия: компьютеры, данные, удобные инструменты, компании, которые превратят теорию в продукт, и рынок, который этот продукт разнесет по миру. В СССР с инженерией и наукой все было очень мощно, но цепочка «идея → массовая технология» работала хуже. Поэтому многие подходы существовали как серьезная наука, но не превращались в то, что люди потом узнают по названиям приложений и брендов.
• В-третьих, на развитие влияли исторические «качели». Наука живет не в вакууме: ей нужен воздух — институты, признание, стабильность, международные контакты. А в СССР некоторые направления то критиковали, то возвращали в моду. Как написано выше, так было с кибернетикой: в начале 1950-х ее публично ругали, позже реабилитировали и активно развивали.
• И последняя причина, самая обидная: многие вещи, которые сделали советские и российские ученые, сегодня выглядят как обычные кирпичи в фундаменте, и поэтому никто не вспоминает, кто их положил. Например, идеи про то, как сделать обучение устойчивым (чтобы модель не «сходила с ума» от шума), или про то, как понять, будет ли она работать не только на учебных примерах. Эти вещи не продаются как отдельный продукт, ими не хвастаются на презентациях, но без них современный ИИ был бы куда слабее и ненадежнее.

В итоге массовая история ИИ запоминает тех, кто оказался на сцене в момент, когда совпало все сразу: и идея, и мощные компьютеры, и деньги, и рынок. Как, например, Стив Джобс с его айфоном.

А те, кто делал фундаментальные теории, на которых это все работает, остаются за кадром. И именно поэтому у многих создается ощущение, что ИИ — это «чисто западная история», хотя на самом деле в его фундаменте вполне заметно присутствуют работы и школы, выросшие в СССР и России.