13 сентября 2024 г.
Генеративный ИИ еще очень молод — на массовый рынок он был выпущен чуть более двух лет назад — поэтому с его применением и развитием много нерешенных вопросов, равно как и с рисками, связанными с новыми инструментами. Наиболее значимым риском принято считать «галлюцинирование».
Галлюцинации ИИ: как эволюционировала проблема
Так называемые «галлюцинации» — выдача в ответ на вопрос абсурдных результатов, которые могут быть очень далеки от реальности или даже противоречить последней — одна из наиболее известных проблем генеративного ИИ. Термин «галлюцинировать» — именно применительно к ИИ — даже был признан «словом года» в 2023 по версии Кембриджского словаря. Заметим, что степень недостоверности при таких галлюцинациях может быть различной: от полной бессмысленности до ложных утверждений и от придуманных фактов до странных логических конструкций.
Наиболее известный пример галлюцинирования — некорректное отображение человеческих рук на изображениях, созданных ИИ. Неправильное количество пальцев, неверное их расположение, изгибы «не в ту сторону» встречались слишком часто. Однако эту проблему можно было просто заметить и дать ИИ задание создать новое изображение.
Были проблемы и посерьезней, причем некоторые не могли быть выявлены человеком за секунды, но способны создать проблемы. Например, в одном из неприятных инцидентов ИИ, используемый для решения юридических вопросов, выдал рекомендации, основанные на прецедентах, которые были «галлюцинациями» — таких судебных решений, как выяснилось, никогда не существовало.
Вероятность появления таких ситуаций существенно ограничивала применение ИИ для прикладных задач: даже для технических, не говоря уже о business critical и тем более о mission critical. Но ситуация развивалась, количество галлюцинаций уменьшалось на наших глазах. Например, летом прошлого года «проблема рук» была горячо обсуждаемой темой, хотя анатомически неверные детали появлялись и на других частях изображений людей.
Багфикс идет, отладку продолжают
«Галлюцинации» ИИ, по сути, отдельные сбои в работе большой программы, которые выявляют в процессе эксплуатации. Ситуация требует вмешательства разработчиков, понимания причин возникновения проблем и исправления выявленных недостатков в процессе отладки продукта. Сложность в том, что в ИИ отсутствует привычный код, до проблемы не доберешься отладчиком, а методы исправления зачастую еще отработаны слабо, а в ряде случаев находятся на этапе формирования, только переходя от математических методов к прикладным инструментам разработки.
Любой программный продукт — как алгоритмический, так и построенный на нейросетях — имеет свой жизненный цикл, которым нужно управлять, как и неизбежными сопутствующими рисками на каждом из этапов цикла. Регулярно возникают ситуации, приводящие к возникновению проблем в силу разных причин — некорректной постановки задач, недооценки рисков и последствий, несовершенства технологий, нарушений протоколов в процессе разработки и т. д — что может приводить к финансовым издержкам, репутационным потерям, конфликтам в юридическом поле, разбирательствам с регуляторами и пр. Для алгоритмического софта соответствующие процессы хорошо известны, а процедуры отлажены. С нейросетями все сложнее, в силу молодости и незрелости технологий многие процедуры, призванные минимизировать риски, пока не отлажены.
Однако проблемы решают по ходу обнаружения, действуя достаточно быстро. Например, попытайтесь вспомнить, когда вы последний раз встречали обсуждение этой проблемы или хотя бы сталкивались с ней самостоятельно? Масштабная и серьезная в техническом плане проблема была решена за считанные дни! Конечно, решены далеко не все проблемы, ИИ иногда продолжает «подглючивать», выдавая странные сбои, причем иногда даже на простейших задачах.
Проблем стало меньше, но про них следует помнить
Ничего принципиально нового в «галлюцинациях» нет, со сбоями программ и необходимостью критически оценивать результаты работы компьютеров сталкивались с самого начала их появления, еще во времена, когда их называли ЭВМ. Важность анализа выдаваемой машинами информации отмечали еще в иногда в шутливой форме «Законов Мэрфи»: «Компьютеры ненадежны, но люди еще ненадежнее» (первый закон ненадежности Джилба). В реальности же это не шутка: результаты работы — все равно, достигнутые компьютерами, людьми, ИИ или всеми ими вместе в ходе совместной деятельности — требуют проверки, хотя бы выборочной.
«Факт, что ИИ способен „галлюцинировать“, напоминает нам, что человеку по-прежнему необходимо использовать навыки критического мышления при использовании подобных инструментов», — отмечает Вендалин Николс, специалист издательства Кембриджского словаря, сообщает «КоммерсантЪ». Заметим, что необходимость критического мышления не вызывает сомнения при использовании на практике любых данных компьютерных систем, в том числе, традиционных. Это еще одна параллель, подчеркивающая преемственность нейросетевых решений и традиционного компьютинга.
Задачи дообучения, или «Не можешь — научим!»
Универсальные модели по понятным причинам имеют ограниченную применимость в практике конкретных бизнес-задач. Большинство ИИ-инструментов, нужных бизнесу, могут быть получены лишь в результате доработок, интеграций, дообучения, а то и создания «с нуля». Все это достаточно сложные задачи: технология во многом новые, специалистов с практическим опытом решения подобных задач пока мало, а также есть специфические проблемы, связанные с ИИ.
«В „Сбере“ мы уже умеем добавлять в GenAI-модели новые модальности, в том числе нестандартные вроде банковских транзакций, — говорит Андрей Белевцев, старший вице-президент „Сбербанка“ и руководитель блока „Технологическое развитие“. — Но нам нужна правильная постановка бизнес-задачи, а также критерии понимания того, решает ли модель поставленную задачу или нет».
Про сложности с внедрением ИИ в бизнес-процессы мы писали, сейчас повторяться не будем. Но пример удачного внедрения привести стоит. Интересен кейс «МегаФона», который для HR-отдела сделал чат-бот «МегаКоллега», позволяющий сотрудникам получать ответы на ключевые вопросы по 150+ различным темам: кадровому учёту, программам мотивации и вознаграждения, административной поддержке, корпоративной культуре и т. д. Все эти знания пришлось добавлять — стандартные модели обо всем этом не знали, во всяком случае, с деталями, имеющими отношение к «МегаФону».
«Планируем продолжать развитие чат-бота, добавлять в его библиотеку знаний новые темы и сделать так, чтобы все сотрудники „МегаФона“ подружились с „МегаКоллегой“», — говорит Роман Ермоленко, директор по корпоративному развитию и управлению персоналом оператора. До внедрения робота специалисты HR-отдела отвечали более чем на 500 вопросов сотрудников в день — это почти 150 тысяч обращений за год — сейчас такая нагрузка существенно снижена, а процесс получения информации стал проще для каждого из 22 тыс. сотрудников «МегаФона».
Модели обучают, модели переучивают
Кроме профильного обучения в нишах и под прикладные задачи активно идут процессы отладки самих генеративных моделей — а они существенно шире, чем борьба с «галлюцинациями», включают, например, закрытие уязвимостей — а также нейросети развивают, проводя дообучение. Работы в этом направлении идут довольно активно: порядка 20% энергопотребления ИИ-моделей приходится на процессы обучения, а остальное — 80% — на генерацию результата, сообщает РБК со ссылкой на данные Schneider Electric. Распределение, подозрительно похожее на «правило Парето», разумеется, может меняться в достаточно широких пределах в зависимости от профиля активности конкретной компании. Например, Amazon Web Services сообщают, что у них на генерацию уходит до 90% потребляемых энергоресурсов, то есть на обучение уходит порядка 10% энергии.
Но процесс развития генеративной модели требует как развития математики, лежащей в основе GenAI, так и новых данных для обучения. Ошибки при развитии моделей могут приводить к снижению качества работы генеративного ИИ. Наиболее очевидная опасная схема — попадание в массивы данных для обучения образцов, сгенерированных ИИ (принцип как у близкородственного скрещивания — в ходе циклов ошибки накапливаются, пока их количество не переходит в качество и не наступает коллапс), но в качестве опасных схем рассматривают и некоторые другие варианты. Чтобы избежать деградации генеративного ИИ, нужно решить ряд технических и организационных проблем, отработать новые форматы и пр. Процессы создания концепций, принципов и технологий «DevOps для GenAI» идут прямо сейчас.
Вместо заключения
Недавно сформированная концепция «Доверенного ИИ» (ДИИ), на первый взгляд, предусматривает отсутствие «галлюцинаций», но это не совсем так. Причины «галлюцинирования» и методы борьбы с ними лежат в области инженерной, а концепция ДИИ, прежде всего про регуляторику: про требования к генеративным моделям соответствовать локальному законодательству, национальным этическим принципам и т. д. Хотя следует признать, что вопросы достоверности выдаваемых результатов и управления рисками ДИИ тоже затрагивает.
Однако кроме положительных моментов концепция ДИИ может нести существенные риски генеративному ИИ как направлению. Но об этом поговорим в другой раз.
Источник: Александр Маляревский, внештатный обозреватель IT Channel News