Cуперкомпьютеры для ИИ, науки и промышленности: ИСИЭЗ НИУ ВШЭ об опыте США
10 июля 2024 г.
Институт статистических исследований и экономики знаний (ИСИЭЗ) НИУ ВШЭ изучил ключевые меры государственной политики США по созданию инфраструктуры высокопроизводительных вычислений, сформировавшие базис для интенсивного развития искусственного интеллекта (ИИ).
Справочно: Высокопроизводительные вычисления (high-performance computing) — совокупность объединенных в единую систему вычислительных мощностей, обеспечивающих за счет использования принципов параллельной и распределенной (грид) обработки данных более высокие рабочие нагрузки, чем у отдельных компьютеров или серверов, — позволяют анализировать огромные массивы данных, моделировать объекты и процессы без дорогостоящих натурных испытаний, разрабатывать и испытывать сложные устройства, открывать новые лекарства, создавать наиболее точные системы прогноза погоды, предсказывать стихийные бедствия и решать целый ряд иных задач. Согласно рейтингу Top-500 (на июнь 2024 г.), США лидируют по числу суперкомпьютеров (171 установка) и совокупной вычислительной мощности.
Главные выводы
- Доминирующие позиции США в области высокопроизводительных вычислений были достигнуты благодаря масштабному и непрерывному госфинансированию, а также объединению государственных и частных ресурсов. Так, в США на протяжении последних 40 лет действует бессрочная федеральная программа передовых компьютерных исследований, в рамках которой создана вычислительная инфраструктура лабораторий под эгидой министерства энергетики.
- Открытие доступа к суперкомпьютерной сети на конкурсной основе для исследователей из промышленности вывело развитие суперкомпьютеров на новый этап. Впервые в Законе о возрождении высокопроизводительных вычислений (High-End Computing Revitalization Act, 2004) высокопроизводительные вычисления признаны инструментом инновационной деятельности бизнеса. Эти инициативы также нашли отражение в Законе о восстановлении и реинвестировании (American Recovery and Reinvestment Act, 2009) как ответ на глобальный финансово-экономический кризис.
- Интеграция ИИ в повестку развития высокопроизводительных вычислений произошла с началом реализации Национальной стратегической компьютерной инициативы (2016), приоритетами которой были определены: объединение двух типов вычислений — моделирование и симуляции с анализом данных, а также переход к следующему поколению вычислений уровня экзафлопс. Центральным элементом этой стратегии стал Экзафлопсный вычислительный проект стоимостью почти 1 млрд долл. В его рамках предполагалось создать три установки экзафлопсного класса, из которых запущены две — Frontier (2021) и Aurora (2023, проект еще не завершен).
- Между тем пока лишь крупные компании и ведущие университеты могут себе позволить высокопроизводительную вычислительную инфраструктуру для работы с ИИ. Чтобы обеспечить доступ для исследователей, студентов, небольших компаний к наиболее современным инструментам создания и доработки ИИ-систем, в США в 2024 г. запустили рассчитанный на два года пилотный проект — Национальный исследовательский ресурс по искусственному интеллекту (NAIRR), который, как предполагается, будет служить платформой для взаимодействия и знакомства с успешными практиками создания ИИ-моделей. В его основе лежит концепция инфраструктуры коллективного пользования, объединяющей в единую экосистему не только вычислительные мощности (суперкомпьютеры, распределенные платформы, сети), но и данные, тестовые полигоны, алгоритмы и инструменты тестирования, сопровождение и поддержку со стороны оператора ресурса. Пользователи NAIRR будут одновременно и его контрибьюторами, а получаемые ими результаты должны быть представлены в форме открытого исходного кода, за исключением малых предприятий.
- Пилотируемая инфраструктура NAIRR представляет собой комбинацию правительственных и корпоративных ресурсов, включая отдельные серверы, кластеры локальных и облачных серверов. В проекте участвуют 13 федеральных ведомств, но главная роль принадлежит министерству энергетики, которое предоставляет основную вычислительную базу при подведомственных ему лабораториях. Сама логика реализации NAIRR во многом восходит к политике Манхэттенского проекта (американского атомного проекта), начатой еще в
1950-х гг. и направленной на объединение исследовательских установок в единую инфраструктуру с помощью внутренней высокоскоростной сети связи. Частные компании могут стать поставщиками Национального ИИ-ресурса по итогам конкурсного отбора. Сегодня свой вклад в проект вносят и 26 организаций, в т.ч. глобальные корпорации AMD, NVIDIA, IBM, Microsoft, Intel, и аффилированные с ними стартапы (OpenAI и др.).
Резюме
Сегодня ИИ востребован практически во всех отраслях экономики и социальной сферы США, что стимулирует и спрос на суперкомпьютеры. С учетом стабильно значительных инвестиций одной из главных задач госполитики в этой области остается формирование эффективной модели использования суперкомпьютерной сети. Государство, обеспечивая доступ для новых категорий пользователей, включая студентов, отдельных исследователей, стартапы и малые компании, не только ускоряет разработку новых решений, но и упрощает выявление наиболее интересных разработок. Не случайно в эти программы вовлечены профильные министерства и ведомства. Одновременно с этим поддерживаются исследования, направленные на преодоление ограничений в области полупроводников, и разрабатываются альтернативные вычислительные парадигмы, среди которых особое место занимают квантовые вычисления.
Источник: Пресс-служба ИСИЭЗ НИУ ВШЭ
Комментарии закрыты.