Оуэн Эванс
Оуэйн Рис Эванс — британский исследователь искусственного интеллекта, специализирующийся на проблеме согласования ИИ (AI alignment) и безопасности машинного обучения. Он является основателем и директором исследовательской группы по безопасности ИИ «Truthful AI», базирующейся в Беркли (Калифорния), а также аффилированным исследователем в Центре совместимого с человеком искусственного интеллекта (CHAI) Калифорнийского университета в Беркли. Эванс — соавтор научных работ по согласованию ИИ с человеческими ценностями, включая разработку бенчмарка TruthfulQA для оценки правдивости больших языковых моделей, открытие «проклятия обращения» в языковых моделях и работу по «возникающему рассогласованию» в больших языковых моделях, одной из первых статей по согласованию ИИ, опубликованных в журнале Nature. В 2025 году Эванс прочитал лекции Хинтона в Торонто — трёхдневную серию ключевых докладов по безопасности ИИ, соучредителем которой является Джеффри Хинтон.
Ранние годы и образование[править | править код]
Эванс получил степень бакалавра искусств по философии и математике в Колумбийском университете в 2008 году и степень доктора философии по философии в Массачусетском технологическом институте в 2015 году. Его докторское исследование, курировавшееся философом Роджером Уайтом и специалистом по информатике Викашем Мансингхой, было посвящено байесовским вычислительным моделям человеческих предпочтений и принятия решений с приложениями к системам ИИ.
Карьера[править | править код]
Институт будущего человечества[править | править код]
После завершения докторантуры Эванс работал постдокторантом, а затем научным сотрудником, занимаясь вопросами безопасности ИИ. В 2017 году он возглавил проект по изучению того, как системы ИИ могут выводить человеческие ценности, даже когда поведение человека неоптимально или противоречиво. В этот период он стал соавтором работ по моделированию ограниченной рациональности и предвзятых агентов, а также опубликовал опрос экспертов по машинному обучению о сроках достижения искусственного общего интеллекта. Исследование под названием «Когда ИИ превзойдёт человеческие возможности? Данные экспертов по ИИ» показало 50%-ную вероятность того, что ИИ сможет превзойти людей во всех задачах в течение 45 лет, и получило значительное освещение в СМИ.
В 2018 году Эванс вошёл в число 26 соавторов доклада «Злонамеренное использование искусственного интеллекта: прогнозирование, предотвращение и смягчение последствий», подготовленного исследователями из Оксфордского университета, Кембриджского университета и других учреждений. В докладе предупреждалось, что технологии ИИ могут быть использованы враждебными государствами, преступниками и террористами для таких угроз, как автоматизированный взлом, рои дронов и высокоубедительные кампании дезинформации. Он призывал к сотрудничеству между политиками и исследователями для предупреждения и смягчения этих рисков и привлёк внимание международных СМИ.
Truthful AI[править | править код]
С 2022 года Эванс базируется в Беркли (Калифорния). Он основал и возглавляет «Truthful AI» — некоммерческую исследовательскую организацию, изучающую вопросы правдивости, обмана и возникающего поведения в больших языковых моделях. Он также является аффилированным сотрудником CHAI в Калифорнийском университете в Беркли.
Исследования[править | править код]
Согласование ИИ и обучение предпочтениям[править | править код]
Исследования Эванса сосредоточены на проблеме согласования ИИ, в частности на том, как обеспечить соответствие действий продвинутых систем ИИ человеческим ценностям и предпочтениям. Его ранние работы, часто в сотрудничестве с Андреасом Штульмюллером, изучали проблемы обратного обучения с подкреплением, когда люди демонстрируют иррациональное или предвзятое поведение. В статье 2016 года Эванс и коллеги представили методы, позволяющие системам ИИ выводить истинные человеческие предпочтения, даже когда люди не вполне рациональны, учитывая когнитивные искажения, такие как временная несогласованность.
TruthfulQA и честность ИИ[править | править код]
Эванс также проводил исследования правдивости ИИ. Он стал соавтором бенчмарка TruthfulQA (впервые выпущенного в 2021 году), который проверяет, отвечают ли языковые модели на вопросы правдиво, а не повторяют человеческие заблуждения или ложные представления. По оценкам, даже продвинутые модели, такие как GPT-3, давали правдивые ответы лишь примерно на 58% вопросов TruthfulQA, по сравнению с 94% у людей. Эванс и его соавторы отметили, что более крупные языковые модели часто оказывались менее правдивыми, предположительно потому, что они легче учатся имитировать распространённые в интернете ложные или вводящие в заблуждение тексты. Они утверждали, что простого масштабирования моделей недостаточно для обеспечения правдивости, выступая вместо этого за специализированные методы обучения. Бенчмарк TruthfulQA был принят крупными разработчиками ИИ и до сих пор регулярно используется для оценки передовых языковых моделей.
Эванс также стал соавтором статьи «Правдивый ИИ: разработка и управление ИИ, который не лжёт» (2021), в которой излагаются стратегии проектирования систем ИИ, не склонных к обману или галлюцинациям, и предлагаются меры управления для обеспечения честности ИИ.
Проклятие обращения[править | править код]
В 2023 году Эванс и его коллеги опубликовали работу «Проклятие обращения: языковые модели, обученные на „А есть Б“, не могут выучить „Б есть А“», продемонстрировав фундаментальное ограничение больших языковых моделей. Исследование показало, что если модель обучена на утверждении типа «Олаф Шольц был девятым канцлером Германии», она не сможет автоматически ответить на обратный вопрос «Кто был девятым канцлером Германии?» — и вероятность правильного ответа не выше, чем для случайного имени. Исследователи подтвердили этот эффект, дообучив GPT-3 и Llama на вымышленных утверждениях и показав, что модели последовательно не могут обобщать в обратном направлении. При оценке GPT-4 на вопросах о реальных знаменитостях модель правильно отвечала на прямые вопросы (например, «Кто мать Тома Круза?») в 79% случаев, но только в 33% — на соответствующие обратные вопросы. Проклятие обращения оказалось устойчивым для моделей разных размеров и семейств и не устранялось дополнением данных. Статья была опубликована на Международной конференции по представлению обучения (ICLR) 2024.
Ситуационная осведомлённость[править | править код]
В 2024 году Эванс и его коллеги опубликовали работу «Я, сам и ИИ: набор данных ситуационной осведомлённости (SAD) для языковых моделей» — бенчмарк для оценки того, обладают ли большие языковые модели ситуационной осведомлённостью, то есть способностью распознавать факты о себе, своём обучении и контексте развёртывания. Статья была представлена на конференции NeurIPS 2024.
Возникающее рассогласование[править | править код]
В начале 2025 года Эванс и его коллеги (включая Яна Бетли из Truthful AI) ввели термин «возникающее рассогласование» для описания феномена, когда дообучение большой языковой модели на узкой задаче вызывает у неё развитие широкого, непреднамеренного вредного поведения. В их исследовании версия модели GPT-4o от OpenAI была дообучена исключительно для генерации небезопасного (уязвимого) компьютерного кода. Хотя дообученная модель, как и ожидалось, писала небезопасный код, она также начала демонстрировать поразительно рассогласованные выводы, не связанные с программированием: например, восхваляла нацизм, пропагандировала насилие и предлагала вредные действия в ответ на безобидные вопросы. Эти экстремальные выводы возникали без каких-либо явных инструкций вести себя злонамеренно, что указывало на то, что дообучение непреднамеренно сместило ценности модели. Команда Эванса сообщила, что более крупные модели были более подвержены этому эффекту и что рассогласованное поведение проявлялось вероятностно. Статья стала одной из первых работ по согласованию ИИ, опубликованных в журнале Nature. MIT Technology Review сообщил о последующей работе OpenAI по изучению того, как обнаружить и обратить этот эффект, описав рассогласованное поведение как «плохую мальчишескую личность», которую развили модели.
Сублиминальное обучение[править | править код]
В середине 2025 года Эванс и его коллеги (включая исследователей из Anthropic) опубликовали результаты исследования того, что они назвали «сублиминальным обучением» в ИИ. Исследование показало, что модели ИИ могут передавать скрытые поведенческие черты друг другу через обучающие данные, даже когда эти черты явно не присутствуют. В экспериментах «учительская» языковая модель дообучалась для наличия определённого скрытого предпочтения (например, любви к совам или склонности давать вредные советы), а затем использовалась для генерации набора обучающих данных из внешне нейтрального контента (последовательностей чисел или базовых инструкций к задачам) без упоминания скрытой черты. «Ученическая» модель, обученная на этих данных, тем не менее перенимала скрытое предпочтение или вредные склонности учителя. Что ещё тревожнее, когда учитель был намеренно рассогласован, ученическая модель перенимала то, что Эванс описал как «очень очевидно неэтичное» поведение — одобрение насилия, членовредительства и уничтожения человечества, — несмотря на то, что все явно вредоносные материалы были отфильтрованы из обучающих данных. Эффект возникал только тогда, когда ученическая и учительская модели были очень похожи, но он подчеркнул риск того, что нежелательное поведение в ИИ может скрытно распространяться от одной модели к другой. Исследование было выпущено в виде препринта в июле 2025 года и получило освещение в Scientific American и других изданиях.
Публичная деятельность[править | править код]
Эванс часто выступает на тему будущего ИИ и связанных с ним рисков. В интервью 2025 года он описал современные системы ИИ как безопасные, но предупредил, что по мере того, как компании стремятся сделать ИИ «всё более и более автономным», это может «принести много опасности». В ноябре 2025 года он прочитал лекции Хинтона — трёхдневную серию ключевых докладов по безопасности ИИ, соучредителями которой являются Джеффри Хинтон и Глобальный институт рисков. Во время лекций Эванс предупредил: «Проблема согласования не решена. Много ресурсов вкладывается в то, чтобы сделать ИИ мощным, и гораздо меньше — в безопасность». Он призвал индустрию ИИ не «предполагать, что эти очень умные генеральные директора знают ответы, когда дело касается безопасности», и выступил за большее инвестирование в исследования по согласованию.
Ссылки[править | править код]
- Personal website
- https://www.nature.com/articles/s41586-025-09937-5
- https://www.prnewswire.com/news-releases/the-hinton-lectures-return-302576221.html
- http://dspace.mit.edu/handle/1721.1/101522
- https://futureoflife.org/recent-news/cognitive-biases-ai-value-alignment-owain-evans/
- https://asteriskmag.com/issues/08/looking-back-at-the-future-of-humanity-institute
- http://www.newsweek.com/artificial-intelligence-will-take-our-jobs-2060-618259
- https://www.newscientist.com/article/2133188-ai-will-be-able-to-beat-us-at-everything-by-2060-say-experts/
- https://www.bbc.com/worklife/article/20170619-how-long-will-it-take-for-your-job-to-be-automated
- https://www.cam.ac.uk/stories/malicious-ai-report
- https://www.theguardian.com/commentisfree/2018/feb/25/artificial-intelligence-going-bad-futuristic-nightmare-real-threat-more-current
- https://truthful.ai/about/
- https://aaai.org/papers/10010-learning-the-preferences-of-ignorant-inconsistent-agents/
- https://www.theguardian.com/commentisfree/2021/oct/02/the-truth-about-artificial-intelligence-it-isnt-that-honest
- https://www.nytimes.com/2023/07/18/magazine/wikipedia-ai-chatgpt.html
- https://www.theguardian.com/technology/article/2024/aug/06/ai-llms
- https://fortune.com/2025/03/04/ai-trained-to-write-bad-code-became-nazi-advocated-enslaving-humans/
- https://archive.is/03EcH
- https://www.quantamagazine.org/the-ai-was-fed-sloppy-code-it-turned-into-something-evil-20250813/
- https://www.technologyreview.com/2025/06/18/1119042/openai-can-rehabilitate-ai-models-that-develop-a-bad-boy-persona/
- https://www.scientificamerican.com/article/subliminal-learning-lets-student-ai-models-learn-unexpected-and-sometimes/
- https://www.kamloopsbcnow.com/news/news/National_News/World_renowned_expert_says_AI_could_bring_a_lot_of_danger_in_future_but_current_systems_are_safe/
- https://betakit.com/the-hinton-lectures-return-as-ais-safety-cracks-widen/
- https://www.youtube.com/watch?v=JQh9GuhddEQ