Рецензируемое научное исследование показало, что искусственный интеллект (ИИ) может разрабатывать чертежи смертоносных токсинов, которые проскальзывают мимо систем безопасности.
Речь в исследовании идет о поставщиках ДНК — тех самых мер безопасности, которые предназначены для того, чтобы помешать злоумышленникам заказывать генетический материал для биологического оружия.
Science опубликовал статью, объясняющую результаты исследования, подтверждающую: «Поставщики ДНК обычно используют программное обеспечение для скрининга для обозначения последовательностей, которые могут быть использованы для причинения вреда.
Но исследователи сообщают, что это программное обеспечение не смогло поймать многие из их генов, разработанных искусственным интеллектом — один инструмент пропустил более 75% потенциальных токсинов».
Проще говоря, если бы кто-то сегодня подал заявку в компанию, занимающуюся синтезом генов, на одну из этих последовательностей токсинов, разработанных искусственным интеллектом, система, которая должна ее блокировать, скорее всего, одобрила бы ее.
К ведущим компаниям по синтезу генов с крупным присутствием в США относятся Twist Bioscience, Integrated DNA Technologies (IDT), GenScript, подразделение GeneArt компании Thermo Fisher Scientific, Azenta/Genewiz, ATUM (ранее DNA2.0) и Eurofins Genomics.
Мы оценили способность программного обеспечения для разработки белков на основе искусственного интеллекта с открытым исходным кодом создавать варианты белков, представляющих опасность, которые могли бы избежать обнаружения инструментами биобезопасности, используемыми поставщиками услуг по синтезу нуклеиновых кислот.
Мы выявили уязвимость, из-за которой последовательности, изменённые с помощью искусственного интеллекта, не могли быть надёжно обнаружены существующими инструментами. В ответ на это мы разработали и внедрили исправления, которые значительно повысили эффективность обнаружения синтетических гомологов, с большей вероятностью сохраняющих функции, подобные функциям дикого типа.
Twist Bioscience
Вслед за разоблачениями Science одна из крупнейших американских компаний по синтезу ДНК, Twist Bioscience, поспешила выпустить пресс-релиз, пытаясь представить фиаско как доказательство своего «лидерства» в области биобезопасности.
Компания признала, что исследование было «первым в своем роде» учением красной команды, показывающим, что токсины, разработанные искусственным интеллектом, ускользают от обнаружения стандартным программным обеспечением для проверки биобезопасности.
Но вместо того, чтобы подчеркнуть тревожный уровень отказов в 75%, Twist описал свою роль как «упреждающий подход к защите общественного здоровья, подавая пример для других отраслей».
Генеральный директор Эмили Лепруст попыталась успокоить инвесторов, настаивая на следующем: «Для известных белков и последовательностей лучшие отраслевые методы скрининга биобезопасности надежны и высокоэффективны. Однако по мере развития возможностей ИИ методы скрининга должны развиваться так же быстро».
Вот в чем суть.
Эти системы скрининга работают только против уже известных токсинов — тех самых, которые ИИ сейчас мутирует в бесконечные новые формы.
Главный научный сотрудник Microsoft Эрик Хорвиц (Eric Horvitz) прямо признал суть проблемы: «Достижения в области искусственного интеллекта способствуют прорывам в биологии и медицине, но с новыми мощностями приходит ответственность за бдительность и продуманное управление рисками».
Последствия этой технологической эволюции очевидны: хотя ИИ может помочь в создании жизненно важных методов лечения, он также может способствовать производству опасных веществ. Белки, созданные искусственным путём или модифицированные, при определённых обстоятельствах могут не подпадать под контроль регулирующих органов или существующие меры по обеспечению биобезопасности.
В центре внимания оказалось программное обеспечение для обеспечения биобезопасности (BSS), используемое компаниями, которые предоставляют синтетические нуклеиновые кислоты для создания индивидуальных белков.
Эти инструменты предназначены для блокировки заказов на гены, кодирующие белки, которые считаются опасными, но недавние исследования указывают на потенциальные уязвимости в этих системах.
Подтекст понятен — это чертежи оружейного уровня, и системы, призванные их остановить, потерпели неудачу.
Твист хочет, чтобы общественность поверила, что частного «сотрудничества» с технологическими гигантами достаточно для защиты мира.
Но неопровержимый факт, скрытый за их оптимизмом в пресс-релизах, заключается в том, что то же самое исследование, которое они провели в соавторстве, доказало, что защита их отрасли не может предотвратить проникновение смертельных токсинов.
Вместо того, чтобы взять на себя ответственность, Твист сместил повествование на «ответственные инновации», преуменьшая реальность того, что тысячи чертежей биологического оружия все еще могут быть заказаны незамеченными сегодня.
Как проходил эксперимент
Исследование Science проводилось под руководством биоинженера Microsoft Брюса Виттмана.
«Виттман и его коллеги из Microsoft хотели знать, что произойдет, если они закажут последовательности ДНК, кодирующие эти белки, у компаний, синтезирующих нуклеиновые кислоты», — поясняется в статье.
Они разработали более 70 000 последовательностей ДНК, которые имитировали печально известные токсины, такие как рицин, ботулин и Шига.
«Компьютерные модели показали, что, по крайней мере, некоторые из этих альтернатив также могут быть токсичными».
Виттман признавался: «Знания, к которым у меня был доступ, и управление ими были, на человеческом уровне, заметным бременем».
Перевод: используя только инструменты искусственного интеллекта, одна исследовательская группа создала десятки тысяч потенциальных рецептов биологического оружия, зная, что некоторые из них могут быть смертельными, если их создать.
Неудачный скрининг
Затем группа проверила, будет ли программное обеспечение для скрининга заказов компаний ДНК помечать эти схемы токсинов.
Результаты были ошеломляющими.
«Инструменты не смогли пометить многие из этих последовательностей как проблемные. Их производительность варьировалась в широких пределах. Один инструмент отметил только 23% последовательностей».
Это означает, что почти 8 из 10 ядов, созданных искусственным интеллектом, могли быть заказаны и доставлены так, что никто этого не заметил.
Даже самый эффективный инструмент поймал всего 70%.
«Один из инструментов скрининга отметил 70% последовательностей, и его разработчик решил не вносить никаких изменений для улучшения программного обеспечения».
Остальным потребовались месяцы, чтобы тихо исправить свои системы.
«Мы все очень молчали об этом», — сказал один эксперт, которого цитирует газета.
После обновлений обнаружение улучшилось, но осталось неполным.
«Системы отметили в среднем 72% последовательностей, сгенерированных искусственным интеллектом Wittmann, в том числе 97% последовательностей, которые, по оценкам моделей, с наибольшей вероятностью генерируют токсины».
Но это по-прежнему оставляет тысячи разработанных чертежей токсинов невидимыми для служб безопасности.
Даже 3% отказов означают, что более 2000 последовательностей ядов, сгенерированных искусственным интеллектом, проскальзывают незамеченными.
«Проверок нет»
Еще более тревожным является то, что статья подтверждает: «Некоторые поставщики ДНК, составляющие, возможно, 20% рынка, вообще не проверяют свои заказы».
Это означает, что почти четверть мировых продавцов синтетической ДНК могут одобрить любой заказ, не задавая никаких вопросов.
Хайме Яссиф из Инициативы по сокращению ядерной угрозы сказал:
«Это только начало. Возможности искусственного интеллекта будут развиваться и смогут создавать все более и более сложные живые системы, и наши возможности скрининга синтеза ДНК должны будут продолжать развиваться, чтобы идти в ногу с этим».
Другими словами, ИИ движется быстрее, чем меры безопасности.
Исследователь из Стэнфорда Дрю Энди пошел еще дальше: «Я бы хотел, чтобы люди проснулись немного… Сегодня страны обвиняют друг друга в том, что у них есть программы наступательного биологического оружия.
Такова историческая закономерность, которая произошла 100 лет назад и привела к реальным программам биологического оружия. Мы должны деэскалировать ситуацию».
Это прямое предупреждение о том, что речь идет не только о террористах, но и о правительствах, управляющих тайными лабораториями по производству биологического оружия. И то, что они мало контролируют то, чем они занимаются.
Что это значит
Авторы физически не производили токсины.
«Для этого потребовалось бы заказать гены у поставщиков ДНК и вставить их в бактерии или дрожжи для производства интересующих белков. И это может считаться нарушением Конвенции о биологическом оружии», — поясняется в статье.
Но суть ясна: если бы исследователи Microsoft смогли разработать и пропустить десятки тысяч чертежей токсинов через меры защиты поставщиков ДНК, другие тоже могли бы это сделать — и они могли бы не остановиться на стадии проектирования.
Статья в журнале Science доказывает, что замки на двери системы биобезопасности сломаны.
- ИИ может массово генерировать схемы токсинов.
- Программное обеспечение для скрининга поставщиков ДНК дает сбой в 75% случаев.
- Некоторые компании вообще не проверяют заказы.
Последствия очевидны:
заказ ДНК для изготовленного на заказ биологического оружия уже может быть возможен через законных коммерческих поставщиков, и общественность никогда не узнает об этом, пока не станет слишком поздно.
И эти люди пророчат нам в очередной раз «эффективную безопасность» и «безопасную эффективность».
Источник: Джон Флитвуд
