Высокая технологическая сложность искусственного интеллекта приводит к возникновению проблемы «чёрного ящика», способной не только затруднить реализацию традиционных институтов права, но в целом повлиять на уровень доверия к технологии, а также темпы её развития и распространения.

На решение данной проблемы направлен принцип прозрачности, предполагающий ряд организационных мер и требований к самому ИИ, направленных на обеспечение открытости информационных процессов, лежащих в основе алгоритма, а также доступности сведений о системе для заинтересованных лиц.

Автором проведён анализ источников международного права на предмет раскрытия принципа прозрачности в ИИ-сфере. Кроме того, в работе излагаются авторские рекомендации по улучшению существующего механизма обеспечения прозрачности искусственного интеллекта, а также отмечается обратная зависимость степени объяснимости алгоритма и его эффективности. Принцип прозрачности является не только правовой, но и этической основой для использования ИИ, в связи с чем, должен рассматриваться в качестве одного из ключевых элементов правового режима данной технологии.

Ключевые слова: искусственный интеллект, объяснимость, интерпретируемость, принцип прозрачности, проблема «чёрного ящика», правовой режим, цифровая экономика.

NIKITENKO Sergey Viktorovich
Postgraduate student of Saint-Petersburg State University

THE PRINCIPLE OF TRANSPARENCY AS AN INTEGRAL PART OF THE LEGAL REGIME FOR ARTIFICIAL INTELLIGENCE

High technological complexity of artificial intelligence systems leads to the problem of"black box”, which may not only impede the application of traditional legal institutions, but affect the credibility of technology in general, as well as the pace of its development and integration. The principle of transparency is aimed at solving this problem, which imposes a number of organizational measures and requirements for the AI itself, aimed at ensuring the openness of the information processes underlying the algorithm, and the accessibility of the information about the system to the interested parties. The author analyses the sources of international law for the disclosure of the transparency principle in the AI-sphere. In addition, the paper sets out the author’s recommendations to improve the existing mechanism for transparency of artificial intelligence are presented, as well as the inverse correlation between the degree of explainability of the algorithm and its effectiveness is noted. The principle of transparency is not only a legal but also ethical basis for the use of AI, and therefore should be considered as one of the key elements of the technology legal regime.

Keywords: artificial intelligence, explainability, interpretability, transparency principle, black box problem, legal regime, digital economy.

Четвёртая промышленная революция в лице одной из сво­их главных технологий - искусственного интеллекта [8] (далее - ИИ), приводит к неизбежной трансформации и цифровиза- ции общественных отношений во всех сферах жизни общества. Интеллектуальные технологии всё активнее становятся частью актуальной повестки как международного сообщества, так и национального законодателя. Создание интеллектуальных си­стем рассматривается в качестве приоритета научно-техноло­гического развития Российской Федерации (пп. «а», п. 20 Указа Президента РФ от 01.12.2016 г. № 642 «О Стратегии научно-тех­нологического развития РФ»), а развитие самой ИИ-отрасли является предметом Национальной стратегии развития искус­ственного интеллекта на период до 2030 года, утв. Указом Пре­зидента РФ от 10.10.2019 № 490.

Сегодня ведутся активные дискуссии по вопросам этики, стандартов качества и безопасности ИИ, а также обсуждают­ся иные вопросы нормативного регулирования разработки и использования интеллектуальных технологий [9], включая основополагающие вопросы правосубъектности и ответ­ственности за вред, причинённый ИИ-системами. Вместе с тем, на международном и национальном уровнях наблюдает­ся отсутствие комплексного регулирования ИИ-отношений, которое бы учитывало их особенности [5]. Осуществляемая на данный момент нормотворческая деятельность лишена понимания единого подхода, последовательности и целост­ности [18].

Соответственно, для регулирования отношений в ИИ- сфере используются «традиционные» правовые категории и институты, которые далеко не всегда способны учитывать всю специфику технологии. Такая ситуация таит в себе риск (1) нарушения прав человека, вплоть до причинения вреда жизни и здоровью, а также (2) введения государством чрез­мерных ограничительных мер, что способно привести к стаг­нации и упадку технологического развития [2].

Таким образом, мы видим явную необходимость подго­товки специальной нормативно-правовой базы в сфере регу­лирования ИИ-отношений. Правовой режим искусственного интеллекта должен быть основан на ряде специальных прин­ципов международного значения [16], учитывающих особен­ности разработки, создания и использования технологии, что позволит выстроить непротиворечивую и последовательную систему норм. Принцип прозрачности, который некоторые исследователи относят к элементам права человека на полу­чение информации [13], рассматривается нами в качестве одного из основных правовых начал в системе специально­го международно-правового регулирования, посвящённого ИИ.

Обратимся к отражению принципа прозрачности в существующем международном регулировании. Прежде всего, большое внимание данному принципу уделяется в Кодексе этики для разработчиков робототехники, который является Приложением к Регламенту Европейского парла­мента от 16.02.2017 № 2015/2103(INL) «О правилах граждан­ского права в области робототехники» («Civil Law Rules on Robotics») - наиболее проработанного и комплексного акта в ИИ-отрасли. Разумеется, без раскрытия содержания дан­ный принцип не сможет иметь какое-либо регулятивное значение, в связи с чем, европейский регулятор закрепляет ряд пояснений в Рекомендациях относительно содержания предложения комиссии ЕС, которые являются приложени­ем к Регламенту № 2015/2103(INL).

Так, принцип прозрачности реализуется через два ус­ловных направления: (1) организационное и (2) техническое. Относительно организационной части, на разработчиков воз­лагается обязанность обеспечить доступ всем заинтересован­ным лицам к необходимой информации, включая сведения о возможных опасностях технологии для общества или окру­жающей среды, а также должна быть обеспечена возмож­ность участвовать в процедуре принятия ИИ-алгоритмом решений. В свою очередь, с технической стороны принцип прозрачности обуславливает необходимость предоставления доступа к исходному коду, входным данным и информации о конструктивных особенностях ИИ-системы в случае причи­нения вреда, что позволит расследовать инциденты и уста­навливать их причины.

Мы можем обнаружить идентичные по смыслу требова­ния к обеспечению прозрачности в Проекте Регламента Ев­ропейского союза «Об унифицированных правилах регули­рования искусственного интеллекта и внесении изменений в некоторые законодательные акты Союза» от 21.04.2021⁴ (так­же известном как «Artificial Intelligence Act»), направленного на установление общего правового режима ИИ-технологий.

Наибольшее значение данному принципу придаётся в Рекомендации ЮНЭСКО об этических аспектах ИИ (при­нята ЮНЭСКО в ходе 41-й сессии, проходившей в Париже с 9 по 24 ноября 2021 г.) - наиболее глобальному докумен­ту в ИИ-сфере, согласно которому прозрачность выступает обязательным условием для эффективной реализации ин­ститута ответственности за вред, причинённый интеллекту­альными системами (п. 37). Принцип прозрачности тесно взаимосвязан с принципом объяснимости, который направ­лен на обеспечение доступности формы и содержания сведений о работе ИИ-алгоритма, включая исходные данные, информацию о поведении алгоритмической структуры и факторах, влияющих на её работу, а также обязывает предо­ставление разъяснений относительно полученных системой результатов (п. 40). Аналогичным образом, однако, в более лаконичной форме принципы прозрачности и объяснимо- сти закреплены в п. 1.3 и пп. «Ь» п. 1.4 Рекомендации Совета ОЭСР по ИИ № OECD/LEGAL/0449, принятой 22.05.2019 г.^[6]

Обратимся также к специальным правовым институ­там, в частности, процедурам получения согласия на обра­ботку персональных данных и медицинское вмешательство. Специфика регулирования соответствующих отношений, «осложнённых» искусственным интеллектом, позволит нам при помощи индуктивного научного метода расширить по­нимание общеотраслевого принципа прозрачности.

В области персональных данных мы не можем не обра­титься к опыту Европейского Союза. Знаменательным явля­ется Регламент Европейского парламента и Совета Европей­ского Союза № 2016/679 от 27.04.2016 «О защите физических лиц при обработке персональных данных и о свободном об­ращении таких данных, а также об отмене Директивы 95/46/ ЕС (Общий Регламент о защите персональных данных)»^[7], который закрепляет наиболее проработанную систему норм в области персональных данных. Принцип прозрачности не­посредственно предусмотрен в ст. 5 Регламента и реализует­ся, прежде всего, через механизм получения информирован­ного согласия субъекта на обработку персональных данных.

Прозрачность предполагает наличие у субъекта возмож­ности получить как во время, так и перед обработкой данных сведения о данном процессе, перечень которых определён в самом Регламенте (п. 1 ст. 12). Примечательно, что помимо стандартной информации о целях обработки, категории об­рабатываемых данных, сроках хранения и т.д., субъекту дан­ных также должны быть предоставлены сведения о наличии автоматизированного процесса принятия решений, включая сведения о логической схеме ИИ, а также значимости и пред­полагаемых последствиях такой обработки для субъекта (пп. «f» п. 2 ст. 13 Регламента). Отмечается, что такие сведения должны в отчетливо видимой, понятной и разборчивой фор­ме дать субъекту общее представление о предполагаемой об­работке.

Принцип прозрачности находит своё отражение в Кон­венции Совета Европы о защите частных лиц в отношении автоматизированной обработки данных личного характера 1981 г. (ETS № 108) - международном договоре, который на данный момент является единственным обязательным актом международного права в сфере обеспечения конфиденциаль­ности и защиты персональных данных [17]. Интерес для нас представляет редакция данной Конвенции с изменениями, которые вносятся Протоколом от 10.10.2018 (CETS № 223).

Одним из таких нововведений является необходимость по­лучения свободного, информированного и ясного согласия субъекта на обработку персональных данных с соблюдением требований о прозрачности обработки, суть которой заклю­чается в предоставлении субъекту определённой информа­ции о предстоящей процедуре, в том числе: об основаниях и цели предполагаемой обработки, категории обрабатывае­мых данных, получателях данных и др.

Обратимся к институту получения согласия на меди­цинское вмешательство. Так, Всеобщая декларация о биоэти­ке и правах человека, принятая на 18-м пленарном заседании Генеральной конференции ЮНЕСКО 19.10.2005^[10], являясь международным договором рекомендательного характера, в ст. 6 закрепляет требование о необходимости получения со­гласия на медицинское вмешательство в профилактических, диагностических или терапевтических целях, которое долж­но быть, помимо прочего, информированным, что предпо­лагает предоставление соответствующих сведений в адекват­ной и понятной форме.

На международном региональном уровне вопрос по­лучения информированного согласия находит отражение в Конвенции Совета Европы о защите прав и достоинства че­ловека в связи с применением достижений биологии и ме­дицины 1997 г. (ETS № 164), в ст. 5 которой указано общее правило: медицинское вмешательство может осуществлять­ся лишь после того, как лицо, которому предоставлена ин­формация о цели, характере последствиях и рисках вмеша­тельства, даст на это свое информированное согласие.

Более детально содержание принципа прозрачности в указанных актах не раскрывается, однако, по результатам анализа специального регулирования мы можем утверждать, что обозначенный принцип предполагает: (1) предоставле­ние сведений о данных, обрабатываемых ИИ-системой, логи­ческой схеме принятия алгоритмом решений, лицах, у кото­рых есть доступ к системе, о возможных результатах, рисках и значении (влиянии на субъекта) принимаемых решений; (2) понятность и доступность формы и содержания таких све­дений. Таким образом, мы можем включить обозначенный принцип объяснимости в принцип прозрачности без потери или чрезмерного расширения его содержания.

Отдельного внимания заслуживают особенности реали­зации принципа прозрачности в ИИ-отрасли. Прежде всего, интеллектуальные системы обладают низкой интерпретиру­емостью и объяснимостью принятых ими решений (т.н. про­блема «чёрного ящика») [3, 11]. Перед оператором системы возникает трудноразрешимая задача, которая заключается в предоставлении заинтересованному лицу, не обладающему специальными знаниями, информации о процедуре приня­тия решений ИИ-системой - технологически сложного про­дукта, основанного на комплексных знаниях в сфере IT, боль­ших данных и сведений из области применения алгоритма. В некоторых случаях, предоставить обоснование решения, принятого ИИ, подчас не по силам самим разработчикам [12]. Кроме того, оператор ИИ-алгоритма способен лишь загружать исходные данные и регулировать ограниченный круг параметров - остальное находится вне его контроля и заранее задано разработчиками.

Данная проблема приводит к непредсказуемости «по­ведения» ИИ-систем, что создаёт риск нарушения прав че­ловека и причинения вреда. Необъяснимость также снижает доверие к интеллектуальным технологиям, что способно за­медлить темпы внедрения ИИ и привести к стагнации науч­но-технического прогресса [19]. Следствием проблемы «чер­ного ящика» также является предвзятость решений, которая вытекает из возможности алгоритмов на основе анализа больших объёмов данных находить невидимые человеку за­кономерности и установить причинно-следственную связь между двумя не связанными между собой факторами [1, 10]. Примером являются существующие ИИ-проекты, определя­ющие предрасположенность к определённым заболеваниям на основе этнического происхождения, пола, расы человека или иных паттернов, которые со всей очевидностью не могут выступать в качестве объективной причины [7].

Таким образом, от реализации принципа прозрачно­сти зависит, фактически, дальнейшая «судьба» самой техно­логии, что указывает на особую важность соответствующего принципа, который приобретает черты не только правового, но и этического принципа ИИ-отношений.

Полагаем, что решению проблемы «чёрного ящика» будет способствовать закрепление требования о включении в ИИ на этапе разработки функции схематичного описания цепочки операций, которые будут осуществлены или при­вели к полученному результату. Такое описание может быть представлено в виде блок-схемы, демонстрирующей основ­ные вариации решений, к которым алгоритм способен при­йти на определённом этапе своих вычислений. Подобная функция реализована в системе обработки генетической ин­формации «Emedgene» [6]. При этом, должен быть найден баланс между упрощением в объяснении технической части алгоритма и сохранением как можно более полного изложе­ния принципов работы технологии и факторов, которые мо­гут повлиять на полученные результаты.

Кроме того, требования к обеспечению прозрачности должны различаться в зависимости от (1) сферы применения ИИ-алгоритма, (2) субъекта, (3) обеспечиваемого права. На­глядным примером выступает применение ИИ-алгоритмов в медицине. Представляется логичным, что для пациента, не обладающего специальными познаниями, сведения о рабо­те ИИ-алгоритма должны быть представлены в упрощённой форме, в то время как врачу следует предоставить «расши­ренную» версию отчёта с использованием профессиональ­ной терминологии, что позволит более взвешенно оценить решения интеллектуальной системы. Из этого следует кос­венное направление обеспечения принципа прозрачности: предъявление специальных требований к квалификации лиц, выступающих операторами ИИ-систем.

Следует учитывать, что некоторые, вполне логичные на первый взгляд, способы обеспечения прозрачности ИИ не могут быть применимы в силу технических особенностей. Так, наиболее технологически совершенными являются ал­горитмы, основанные на методах машинного и глубокого обучения, архитектуре нейронных сетей. Несмотря на суще­ственный прирост в эффективности таких систем, заранее из­ложить все варианты решений в данном случае невозможно, поскольку алгоритм способен обучаться и выявлять при об­работке данных новые закономерности, не известные челове­ку [1].

Возможность предопределить все решения сохраняется для т.н. экспертных систем, которые являлись технологиче­скими предшественниками ИИ, функционируя исключи­тельно в рамках чётко определённого набора «сценариев» с заранее построенными причинно-следственными цепочками (метод «древа решений»): примерами таких систем являют­ся программы «DXplain» и «MYCIN». Вместе с тем, системы, разработанные на основании указанного метода, отличаются низкой точностью полученных результатов [14]. Таким об­разом, наблюдается обратная зависимость между степенью предопределённости решений ИИ-алгоритма и его эффек­тивностью, что также должно учитываться при разработке комплекса мер по реализации принципа прозрачности.

По результатам анализа источников международного права мы видим, что принцип прозрачности рассматривает­ся в качестве основы для регулирования ИИ-отношений, что указывает на его ключевое значение для всей отрасли. Дан­ный принцип выражается через: (1) открытость самой ИИ- системы, обеспечение возможности принять участие в при­нятии решений на любом этапе, (2) объяснимость механизма работы алгоритма и описание логической схемы, которая привела к вынесению конкретного решения, (3) предоставле­ние соответствующей информации заинтересованному лицу в понятной и адекватной форме.

Реализация принципа прозрачности связана с серьёзны­ми трудностями, вызванными низкой интерпретируемостью ИИ. От решения проблемы «чёрного ящика» зависит прин­ципиальная возможность активного внедрения технологии и темпы её развития. В связи с чем, принцип прозрачности, на­правленный непосредственно на решение данной проблемы, приобретает, помимо правового, также этическое значение.

В целях совершенствования правовых процедур и ин­струментов, обеспечивающих прозрачность ИИ, нами были даны рекомендации о необходимости включения в алгоритм на этапе проектирования функции предоставления отчёта о предстоящих или уже предпринятых действиях и/или реше­ниях, содержание которого должно динамически зависеть от квалификации лица, запрашивающего такой отчёт. Кроме того, нами была отмечена закономерность, имеющая непо­средственное значение для реализации принципа прозрач­ности, а именно: степень интерпретируемости ИИ обратно пропорциональная её эффективности, что приводи нас к вопросу о необходимости создания стандарта, устанавливаю­щего надлежащий баланс между данными факторами.

Полагаем, существует настоятельная потребность меж­дународного сообщества в закреплении на глобальном уров­не специального стандарта, посвящённого исключительно вопросам обеспечения прозрачности искусственного интел­лекта. По нашему мнению, последовательная и эффективная реализация данного принципа должна стать основной зада­чей регулятора в сфере ИИ-отношений, поскольку от «про­зрачности» систем зависит безопасность и масштабы внедре­ния технологии во все сферы жизни общества.

НИКИТЕНКО Сергей Викторович
аспирант Санкт-Петербургского государственного университета