Новость

Дарио Амодеи объяснил позицию Anthropic по открытым весам

1 источник

Все новости

Глава Anthropic Дарио Амодеи изложил позицию компании по открытым весам: он считает их полезными, но только для моделей без опасных возможностей. При этом он предложил обязательное тестирование достаточно мощных моделей на кибер-, био- и alignment-риски перед релизом, независимо от того, открытые они или закрытые.

Глава Anthropic Дарио Амодеи опубликовал пост, в котором прокомментировал дискуссию вокруг открытых весов. Он подчеркнул, что компания не выступала за запрет, а сами открытые веса назвал общественным благом, но с важной оговоркой: они допустимы только для моделей без опасных возможностей. Амодеи предложил, чтобы достаточно мощные модели перед релизом проходили обязательное тестирование на кибер-, био- и alignment-риски. По его мнению, это требование должно распространяться как на открытые, так и на закрытые модели, тогда как небольшие модели стартапов и академических институтов можно освободить от такой проверки. Также он высказался за ограничение продажи чипов Китаю и против промышленной дистилляции.

Источники 1
  • Дарио Амодеи объяснил позицию Anthropic по открытым весам Нейроканал 
    Дарио Амодеи написал пост с позицией Anthropic по открытым весам. Повод в том, что в США обсуждают запрет американским компаниям пользоваться китайскими открытыми моделями, NVIDIA собрала против запрета открытое письмо, а Anthropic обвинили в лоббировании запрета ради своего бизнеса. Ответ такой: за запрет мы никогда не выступали, открытые веса это общественное благо.

Но в тексте есть занятная оговорка, открытые веса это круто, но только если это модели «без опасных возможностей», а решать, какие опасные, предлагается обязательным тестированием на кибер-, био- и alignment-риски, через которое должны проходить перед релизом все достаточно мощные модели, открытые и закрытые. Мелкие модели стартапов и академии освобождаются. Плюс не продавать Китаю чипы и давить промышленную дистилляцию.

Всё в целом предсказуемо, каждый топит за свою повестку. Для NVIDIA очевидно, что чем больше открытых моделей тем лучше, видеокарты же всем нужны. Для производителей моделей открытость скорее вредна, но явно выступить против будет очень непопулярный ход, особенно после релиза Kimi K3.

@neuro_channel