Проблемы, требующие решения
Преимущества, которые дает применение ИИ на ядерных и радиологических установках, в значительной степени зависят от того, как было выполнено обучение систем ИИ. ИИ сведущ только в тех пределах, в которых представлены обучающие данные для его работы, и если он не располагает правильными исходными данными, им можно манипулировать, чтобы получать ложные показания и результаты. Это остается серьезным препятствием на пути к его применению в сфере физической ядерной безопасности. Даже с учетом последних достижений в технологии ИИ, использовать его в качестве замены человека не представляется целесообразным. Физическая защита, учет и контроль материалов и непосредственные измерения — все эти важнейшие направления работы для обеспечения физической ядерной безопасности требуют участия человека.
Еще одной проблемой, связанной с применением ИИ в сфере физической ядерной безопасности, является понимание того, как и почему моделью ИИ было принято то или иное решение или выдан определенный прогноз. ?Одними из самых значительных проблем с моделями ИИ являются их прозрачность и объяснимость — то есть когда люди могут понять логику предложенных ИИ решений или прогнозов. Часто бывает трудно понять, как эти модели приходят к тому, чтобы представить свои выводы, и это усложняет вопрос о доверии к таким результатам и обеспечении их достоверности, — говорит начальник Секции управления информацией Отдела физической ядерной безопасности МАГАТЭ Скотт Первис. — Это становится особенно проблематичным, когда эти модели заменяют собой датчики, предназначенные для непосредственных измерений, и человеческий опыт, накапливаемый с учетом уникальных характеристик каждой установки. Из-за этого становится практически невозможным дать какие-либо гарантии целостности системы, если нет предварительного глубокого и всестороннего понимания алгоритмов ИИ, чтобы представлять, как и почему принимаются соответствующие решения?.
Руководящие материалы МАГАТЭ по обеспечению компьютерной безопасности в интересах физической ядерной безопасности включают в себя примеры положительной практики, касающейся системы сдержек и противовесов с участием человека, и дают операторам установок рекомендации о том, какие процессы могут быть автоматизированы за счет ИИ, а какие должны и далее оставаться под надзором человека, по крайней мере, до тех пор, пока не будут изучены риски, связанные с этой быстро развивающейся технологией. Они также являются важным ресурсом, который может служить подспорьем для стран при реализации первоочередных мер компьютерной безопасности для обнаружения кибератак, их предотвращения и реагирования на них.
Кроме того, МАГАТЭ разработало ПКИ для поддержки исследовательских работ в области укрепления компьютерной безопасности. Соответствующий ПКИ под названием ?Совершенствование анализа инцидентов в сфере компьютерной безопасности на ядерных установках? объединил усилия исследователей из 13 стран, работающих над совершенствованием средств компьютерной безопасности на ядерных установках, включая методы на основе ИИ, в целях выявления аномалий, являющихся признаком целенаправленных кибератак.