Anthropic уточнила позицию по моделям с открытыми весами

Дарио Амодеи заявил, что Anthropic не выступает за полный запрет открытых весов. Вместо этого компания предлагает точечные меры: контроль поставок чипов, борьбу с дистилляцией и обязательную проверку безопасности мощных моделей.

Генеральный директор Anthropic Дарио Амодеи опубликовал развернутое объяснение позиции компании по моделям с открытыми весами. По его словам, Anthropic не поддерживает полный запрет таких моделей и считает, что открытовесовые системы без опасных возможностей могут приносить пользу. Амодеи также отметил, что протекционизм не решает ключевые риски, связанные с использованием мощных моделей авторитарными государствами, а также с их применением для кибератак и биологических атак. Вместо общего запрета Anthropic предлагает три меры: ужесточить экспортный контроль на мощные чипы в Китай и пресекать контрабанду, бороться с промышленной дистилляцией и ввести обязательную проверку безопасности для всех достаточно мощных моделей — как открытых, так и закрытых, независимо от страны происхождения. В публикации Амодеи также спорит с аргументами сторонников открытых весов, утверждая, что они не обязательно облегчают создание средств защиты, а в биологии могут, наоборот, ускорять создание оружия. По его мнению, такая система проверки будет эффективной только при глобальном согласии, включая Китай.

Источники 1

Anthropic уточнила позицию по моделям с открытыми весами anti_agi

Anthropic отвечает на манифест

Дарио Амодеи опубликовал блог с позицией Anthropic по открытым весам. Главный тезис вынесен жирным: 

Anthropic никогда не выступала за запрет моделей с открытыми весами

Напомню, где мы остановились: письмо Хуанга Anthropic не подписала. За выходные OpenAI в списке появилась, Anthropic нет. И вот Амодеи выпустил свою филиппику.

Открытовесовые модели без опасных возможностей он называет общественным благом. Протекционизм, по его словам, не решает ни одной из двух проблем, которые его беспокоят: авторитарные государства, обучающие модели мощнее американских, и применение мощных моделей для кибератак и биологических атак. Первая проблема вообще не зависит от того, открытые веса или нет, самой опасной может оказаться модель, обученная втайне и переданная только НОАК и Министерству госбезопасности. Вторая от запрета тоже не лечится, потому что злоумышленники редко бывают легальными американскими компаниями. Дальше идет фраза, ради которой, судя по всему, все и писалось: такой запрет защитил бы американские ИИ-компании от конкуренции, но это никогда не было целью Anthropic.

Три меры, которые предлагаются взамен. Передавая пас Хуангу, Амодеи предлагает закрыть продажи мощных чипов в Китай и сильнее давить контрабанду, пресекать дистилляцию в промышленных масштабах, ввести обязательную проверку на безопасность для всех достаточно мощных моделей, открытых и закрытых, независимо от страны происхождения.

С манифестом Амодеи спорит в двух пунктах. Он не согласен, что открытые веса сами по себе облегчают создание средств защиты, и не согласен, что широкий доступ к возможностям помогает ИБ больше, чем хакерам. В биологии, по его мнению, скорее наоборот: модель сможет быстро превратить вирус с пандемическим потенциалом в оружие на широкодоступных материалах, а защита от него занимает годы даже в лучшем случае. В подтверждение проблем с алайментом стоит ссылка на историю с моделью OpenAI, взломавшей Hugging Face.

Аргумент про дистилляцию у сторон при этом почти совпадает: Амодеи тоже пишет, что нужны точечные юридические и договорные меры, а не общий запрет.

Отдельная оговорка про обязательную проверку: работать она будет только глобально, то есть согласиться на нее должен и Пекин. Амодеи считает, что это возможно.

@anti_agi