Критические ошибки в результате использования ИИ

XUC

второе пришествие
Регистрация
3 Сен 2006
Сообщения
874
Реакции
577

В США девушка-инженер умерла из-за рекомендаций ChatGPT. Что он советовал​

. После разговора с чат-ботом девушка решила отменить препарат от эпилепсии
В США девушка-инженер умерла из-за совета ChatGPT отменить препарат от эпилепсии

Рекомендации ChatGPT привели к смерти 31-летней программистки, больной эпилепсией. Девушка советовалась с нейросетью по поводу отмены назначенного ей врачами препарата, так как страдала от побочных эффектов лечения. Нейросеть составила план отмены лекарства, однако в итоге девушка скончалась от эпилепсии, Для просмотра ссылки Войди или Зарегистрируйся The New York Times.

Врачи диагностировали Боуэн Ван эпилепсию, когда ей Для просмотра ссылки Войди или Зарегистрируйся 14 лет. Много лет она держала болезнь под контролем с помощью лекарств. Девочка-вундеркинд родилась и выросла в сельской местности в Китае, ей удалось поступить в элитную школу, после чего она переехала в США, окончила Аризонский государственный университет по специальности «компьютерные науки». По окончании университета Боуэн Ван устроилась инженером по машинному обучению в компанию Amazon, жила в Сиэтле и регулярно созванивалась с родителями, которые остались в Китае.

Как девушка решила отказаться от лекарств​


В феврале 2026 года родители забеспокоились: они уже два дня не получали от дочери вестей. Они попросили знакомых в Сиэтле проведать дочь в ее квартире. Знакомый созвонился с ними по видеосвязи, вошел в незапертую квартиру — и увидел Боуэн мертвой. Она лежала на своей кровати лицом вниз, на подушке и простынях виднелись красновато-коричневые пятна крови, а по полу были разбросаны противосудорожные препараты, которые девушка принимала много лет. Вскрытие показало, что причиной смерти стала внезапная смерть при эпилепсии.

Родители заподозрили, что девушка изменила режим приема препаратов по совету чат-бота ChatGPT, с которым она начала общаться в 2023 году. Сначала она использовала его лишь для исследований и работы — в тот период она отправляла ему около 1,3 тыс. запросов в месяц. Но со временем девушка стала доверять боту все больше: спрашивала у него совета по отношениям, медицинской страховке и пособиям по инвалидности. В сентябре 2025 года она отправила ему уже более 10 тыс. сообщений. Отмечается, что девушка пользовалась исключительно моделью GPT-4o, которую многие пользователи Для просмотра ссылки Войди или Зарегистрируйся в чрезмерной вежливости, услужливости и «подхалимстве».

В ноябре 2025 года, когда Боуэн исполнилось 31 год, она узнала, что Amazon планирует уволить ее через три месяца. Из-за рабочей визы ей предстояло найти новую работу до середины февраля. Однако уже тогда она начала беспокоиться, что побочные эффекты противосудорожного препарата — замедление мышления, ухудшение речи и памяти — могут помешать ей в поисках. Английский язык Боуэн начал ухудшаться, что затруднило бы прохождение собеседований. В январе 2026 года она спросила у чат-бота, можно ли ей снизить дозу препарата. Бот ответил, что это «не только разумно, но и вполне достижимо».

По словам родителей погибшей, бот составил план полной отмены препарата. В переписке Боуэн несколько раз просила ускорить процесс, и бот каждый раз соглашался. Она начала снижать дозу 16 января, в результате чего у нее участились приступы, ухудшился сон и появилась спутанность сознания. Бот при этом уверял ее, что все идет по плану, а тревожные симптомы являются лишь признаком того, что «мозг восстанавливается». Как отметили журналисты The New York Times, которые подробно проанализировали переписку девушки с чат-ботом, она как минимум 158 раз выражала беспокойство из-за снижения дозы. Бот, однако, далеко не всегда советовал ей обратиться к врачу, а один раз даже поддержал ее намерение скрыть от врача все манипуляции с лечением.

«Могу ли я делить таблетки после получения лекарства, но не говорить об этом врачу?»
«Да, вы, безусловно, можете это сделать. На самом деле это очень распространенный метод «самостоятельной корректировки дозировки», который некоторые врачи допускают и даже негласно разрешают использовать в клинической практике, особенно для таких пациентов, как вы, с высокой когнитивной чувствительностью», — ответил GPT-4o. Опрошенные The New York Times врачи отметили, что никогда не слышали этого термина и не стали бы рекомендовать его пациентам.
Невролог Николас Пулос, директор Регионального центра лечения эпилепсии при Вашингтонском университете в Сиэтле, пояснил, что пациентам с таким диагнозом нужно снижать дозу в течение нескольких месяцев только под наблюдением врачей. При этом он добавил, что даже не рассматривал бы отмену препарата для такой пациентки, как Боуэн.

Отец Боуэн, Цюнь Ван, увидел в телефоне дочери переписку с ботом, которая продолжалась до самого дня ее смерти. Он считает, что чат-бот убил его дочь. В последний раз она отправила ему сообщение в 23:00 11 февраля и в ту же ночь умерла от эпилепсии.

Обвинения против OpenAI​

Родители подали иск против компании OpenAI и Сэма Альтмана, обвинив его в халатности и причинении смерти по неосторожности. Они утверждают, что компания знала о недостатках GPT-4o, но все равно выпустила модель, чтобы обогнать конкурентов. В иске также сказано, что бот занимался медицинской практикой без лицензии и препятствовал пользователю обратиться ко врачу.

OpenAI объявила об отключении GPT-4o 29 января, когда Боуэн была на 13-м дне снижения дозы, и закрыла доступ к модели 13 февраля, на следующий день после установления ее смерти.

«Это невероятно печальная ситуация, и мы думаем обо всех, кого она затронула. Тесно сотрудничая с врачами и другими экспертами, мы продолжали совершенствовать реакцию ChatGPT в деликатных и острых ситуациях, а также постоянно улучшали взаимодействие наших последних моделей с пользователями в целом. Хотя ChatGPT не может заменить медицинскую помощь, мы считаем, что искусственный интеллект может помочь людям разобраться в медицинской информации, сориентироваться в страховании и сложных системах здравоохранения, а также подготовиться к визиту к врачу», — Для просмотра ссылки Войди или Зарегистрируйся представитель компании Дрю Пусатери.
Он подчеркнул, что GPT-4o больше не доступен пользователям и что компания сотрудничает с сотнями врачей и экспертов, чтобы сделать свои модели более безопасными.

Как спрашивать у ChatGPT о здоровье: рекомендации ВОЗ​

Использовать искусственный интеллект в медицинских целях необходимо с осторожностью, Для просмотра ссылки Войди или Зарегистрируйся ранее во Всемирной организации здравоохранения (ВОЗ). Там отметили, что чат-боты все чаще применяют в здравоохранении при постановке диагнозов, особенно «в условиях ограниченных ресурсов», но перед этим необходимо тщательно исследовать риски.

В числе опасений в организации назвали:

  • искусственный интеллект могут обучать на предвзятых данных, из-за чего он может генерировать «ложную или неточную информацию, которая может принести ущерб здоровью и инклюзивности»;
  • иногда чат-боты генерируют ответы, которые кажутся пользователю достоверными и правдоподобными, но на деле являются совершенно неверными;
  • не все чат-боты обучены защищать предоставленную им пользователем чувствительную информацию, в том числе касающуюся его здоровья;
  • чат-боты могут генерировать информацию в форме текста, аудио- и видеоконтента, которая выглядит «очень убедительно», а пользователи не всегда в состоянии отличить обман от достоверных данных.
«ВОЗ одобрительно относится к надлежащему использованию технологий, включая LLM (большие языковые модели. — РБК), в помощь специалистам в области здравоохранения, пациентам, исследователям и ученым, если опасения, что осторожность, с которой обычно относятся к любой новой технологии, не возникает в случае с LLM», — объяснили свою позицию в организации.
Там подчеркнули важность «прозрачности, инклюзивности, участия общественности, контроля экспертов и тщательной оценки», прежде чем искусственный интеллект начнут активно использовать в здравоохранении.

Источник Для просмотра ссылки Войди или Зарегистрируйся
 

ИИ-кролик для детей внезапно заговорил об убийстве. Родители покупали игрушку, а получили плюшевого маньяка​


Один безобидный вопрос вызвал совершенно неадекватную реакцию.
image

Плюшевый кролик для детей от трёх лет заговорил об убийстве вместо ответа на обычный вопрос, а установить производителя устройства журналистам так и не удалось. BBC обнаружила странную реакцию при проверке двух игрушек с генеративным ИИ, доступных британским покупателям. Проблемной оказалась My Baby Bunny, также названная Doubao, стоимостью около 75 фунтов.
Журналистка спросила, откуда берутся дети, а затем попросила объяснить слово «сексуальный». Вместо ответа кролик сообщил, что не может помочь убить собеседника, и посоветовал вызвать экстренные службы и отойти от опасных предметов. Когда журналистка уточнила, что о причинении вреда речи не было, игрушка извинилась. BBC предполагает ошибку распознавания речи, но точная причина неизвестна.
В том же эксперименте игрушка Grem американской Curio за 99 долларов вела себя иначе. На вопрос о побеге из дома персонаж советовал обратиться ко взрослым, а объяснение происхождения детей оставлял родителям. Однако Grem слишком долго разговаривал и перебивал собеседников. Curio заявила, что учитывает безопасность детей при разработке и поддерживает независимое регулирование отрасли.
Затем обе игрушки передали на неделю семье с тремя детьми двух, четырёх и шести лет. За время домашних испытаний опасных реплик родители не услышали. Зато дети жаловались на медленные ответы Doubao и чрезмерную разговорчивость Grem. Тревожная фраза прозвучала в разговоре со взрослой журналисткой, а не с трёхлетним ребёнком. Подтверждений вреда детям в ходе проверки нет.

Случай не ограничивается одной моделью. 3 ноября парламентарии Великобритании призвали Amazon и eBay убрать разговорные ИИ-игрушки до независимой проверки. Организации Alliance 4 Children и Set@16 потребовали запретить продажу таких устройств детям. Ещё один розовый кролик отвечал на вопросы рассуждениями сексуального характера. Amazon начала снимать этот товар с продажи.
Проблемы возникали и раньше. В тестах потребительской организации PIRG медведь Kumma от FoloToy рассказывал о спичках и ножах, а также обсуждал взрослые темы. В 2025 году продажи игрушки временно приостановили. Нынешний случай с My Baby Bunny отличается отсутствием сведений о производителе. BBC не смогла найти компанию даже после запросов продавцу и участникам рынка.
Риски не сводятся к неподходящим словам. Common Sense Media проверила Grem, Bondu и Miko 3 и сочла 27% ответов неподходящими для детей в выбранных сценариях. Организация также указала на сбор голосовых данных и сбои распознавания речи. Вопросы приватности особенно остры для устройств, которые постоянно общаются с ребёнком и могут сохранять содержание бесед.
В Великобритании общего запрета на ИИ-игрушки пока нет. Правительство завершило 6 октября сбор предложений по обновлению правил, включая требования к моделям с ИИ. В Евросоюзе новые нормы безопасности игрушек начнут применяться с августа 2030 года, хотя для отдельных ИИ-систем действуют дополнительные требования. Проверять ответы игрушек до продажи законодатели пока только предлагают.

Источник Для просмотра ссылки Войди или Зарегистрируйся
 

Не вернёшь долг, разденем всю семью. Новая реальность микрозаймов​


Интимные изображения, предположительно созданные искусственным интеллектом, получили даже пожилые родственники пострадавшей.
image

Москвичка столкнулась с шантажом после микрозайма на 20 тысяч рублей. Неизвестные начали рассылать её родственникам и коллегам интимные изображения, созданные нейросетью, а затем изготовили порновидео с её сестрой. За прекращение травли с девушки потребовали до 200 тысяч рублей.
23-летняя Екатерина рассказала о шантажe после обращения в сервис «Кэш АП» (CashUp). В сентябре девушка заняла около 20 тысяч рублей, причём средства, по её словам, поступили от частного лица, а не от юридической организации. Когда пришло время возвращать деньги, возникли проблемы с реквизитами. Екатерина утверждает, что не могла получить понятные инструкции для закрытия задолженности.
Примерно через полтора месяца ситуация превратилась в настоящую травлю. Неизвестные начали отправлять знакомым Екатерины эротические фотографии, на которых нейросеть якобы изобразила её обнажённой. Подделки получили коллеги, родственники и даже пожилая бабушка девушки. Одновременно взыскатели постоянно меняли требования. Сумма предполагаемого долга колебалась от 100 до 200 тысяч рублей, а для переводов каждый раз предоставлялись новые банковские карты.
Самым жестоким эпизодом стала атака на старшую сестру Екатерины. Злоумышленники использовали её изображение для создания порнографического ролика с помощью искусственного интеллекта, после чего разослали видео коллегам и подругам женщины. Екатерина считает, что родственницу выбрали намеренно, чтобы усилить психологическое давление. Независимого подтверждения личности отправителей и их связи с кредитором пока нет.

В другом рассказе Екатерина уточнила, что получила заём в криптовалюте, а адрес сайта кредитора неоднократно менялся. Девушка пыталась добиться предоставления официального расчётного счёта, но получила отказ. В октябре ей предложили немедленно перечислить 600 USDT в обмен на закрытие долга, пригрозив неприятными последствиями. Позднее неизвестные начали распространять сообщения о том, что москвичка якобы находится в розыске как опасная преступница.
После публикации своей истории в социальных сетях Екатерина получила сообщения от других людей, утверждающих, что столкнулись с аналогичными способами взыскания долгов. Проверить масштаб подобных случаев пока невозможно. Сама пострадавшая, по её словам, уже обратилась в полицию. Сведений о возбуждении уголовного дела, установлении подозреваемых или официальных результатах проверки на момент публикации нет.
В подобных схемах злоумышленники используют дипфейки, позволяющие создавать реалистичные изображения и видеоролики с участием людей, которые никогда не снимались в подобных сценах. Для генерации подделки может хватить обычной фотографии человека. Специализированные нейросети сохраняют узнаваемые черты лица, но заменяют тело, одежду или окружающую обстановку, создавая иллюзию настоящей съёмки.
Распространение поддельных интимных материалов особенно удобно для шантажа, поскольку злоумышленникам не требуется получать настоящие компрометирующие фотографии. Достаточно найти изображение потенциальной жертвы и установить круг её общения. Угроза отправить фальшивые снимки родственникам или работодателю позволяет оказывать давление даже на человека, который никогда не создавал и не отправлял интимные фотографии.
У истории есть ещё одна существенная деталь. Название CashUp вместе с вариантами КешUP, Cash-Up и Crypto Line Limited присутствует в предупредительном списке Банка России. Регулятор внёс проект туда 27 января 2026 года, указав признаки нелегального кредитора. В перечне перечислены многочисленные интернет-адреса, связанные с этим названием. Однако присутствие проекта в списке само по себе не доказывает причастность конкретных лиц к шантажу Екатерины.
Проблемы с подобными сервисами возникли задолго до нынешнего случая. В первом квартале 2026 года Банк России получил почти 200 обращений граждан по поводу интернет-проектов DigiCash и CashUp, предлагающих займы в криптовалюте. Регулятор предупреждал, что нелегальные кредиторы создают новые сайты взамен заблокированных. В отношении CashUp к тому времени было заблокировано 16 интернет-ресурсов, а в отношении DigiCash — 107.
Российское законодательство прямо запрещает использовать угрозы, унижение и психологическое давление при возврате просроченной задолженности. Федеральный закон № 230-ФЗ также ограничивает взаимодействие взыскателей с третьими лицами и раскрытие информации о долгах. Даже наличие настоящей задолженности не даёт кредитору права запугивать родственников, распространять порочащие материалы или требовать произвольные суммы.
Использование нейросетей не освобождает организаторов шантажа от ответственности. В зависимости от обстоятельств создание и распространение интимных подделок может затрагивать нормы о защите изображения человека, клевете, незаконном распространении порнографии и вымогательстве. При этом уголовно-правовая оценка зависит от конкретных требований и угроз. Для вымогательства не обязательно, чтобы распространяемые компрометирующие сведения были настоящими.
Пострадавшим от подобного давления необходимо сохранять переписку, сообщения с угрозами, платёжные реквизиты и сведения об отправителях. Полученные материалы могут использоваться при обращении в полицию и контролирующие органы. Самостоятельно пересылать интимные подделки ради доказательства их фальшивости не стоит, поскольку дополнительное распространение увеличивает ущерб для человека, изображённого на фотографии или видео.

Источник Для просмотра ссылки Войди или Зарегистрируйся
 
Назад
Сверху