Новость

Тест Тьюринга для Fable 5: сможет ли флагманская модель Anthropic прикинуться человеком?

1 источник

Все новости

Anthropic решила проверить модель Claude в бенчмарке Fable 5 на тесте Тьюринга. В материале также напомнили историю самого теста и прогноз Тьюринга о возможностях машин.

Anthropic объявила о проведении теста Тьюринга для своей флагманской модели Claude с использованием бенчмарка Fable 5. Вопрос формулируется просто: сможет ли ИИ-модель прикинуться человеком? Тест Тьюринга, предложенный Аланом Тьюрингом в 1950 году в статье «Computing Machinery and Intelligence», представляет собой имитационную игру, в которой судья переписывается с человеком и машиной и пытается определить, кто есть кто. Тьюринг считал, что если машину невозможно отличить от человека, то вопрос о «мыслящих машинах» теряет смысл. Он предсказал, что к 2000 году машина с памятью около 128 мегабайт сможет обмануть среднего судью в 30% случаев за пять минут беседы. Anthropic проверяет, насколько близка к этому порогу современная модель Claude. Подробности теста и результаты обещают опубликовать позже.

Источники 1
  • Тест Тьюринга для Fable 5: сможет ли флагманская модель Anthropic прикинуться человеком? Habr AI 
    Тест Тьюринга для Fable 5. Сможет ли флагманская модель Anthropic прикинуться человеком?

Про тест Тьюринга слышали все, и почти все представляют его как какой-то экзамен: есть машина, есть список вопросов, машина отвечает — и либо проходит, либо нет. Так вот, ничего этого не существует. Ни списка, ни методики, ни проходного балла.

Тест Тьюринга — это концепция из статьи «Computing Machinery and Intelligence», которую Алан Тьюринг опубликовал в 1950 году, причем не в инженерном журнале, а в философском Mind. За основу он взял салонную игру тех лет: судья переписывается записками с мужчиной и женщиной в соседней комнате и пытается угадать, кто есть кто. Тьюринг предложил посадить на одно из мест машину. Сам вопрос «может ли машина мыслить» он считал бессмысленным спором о словах и заменил его проверяемым экспериментом: если по переписке машину не отличить от человека — какая, собственно, разница.

Вопросы в статье есть только для примера — про сонеты, арифметику и шахматы. Зато есть прогноз: к 2000 году машина с памятью в миллиард бит сможет обманывать среднего судью в тридцати процентах случаев за пять минут беседы. Миллиард бит — это около 128 мегабайт. Флешку с такой памятью вы сегодня просто не найдёте в продаже.

Важно понимать, из какого мира писалась эта статья. Компьютер 1950 года — махина размером с комнату, и спор о «мыслящих машинах» шел в понятиях той эпохи: оппоненты Тьюринга возражали, что машина никогда не напишет сонет от переполняющих чувств, не пошутит, не устыдится. Душа — человеку, арифметика — машине. Это казалось очевидным, и весь дальнейший спор строился вокруг этой границы. Читать далее

#fable #тьюринг #тест #anthropic #claude #сравнение #галлюцинация #густман #ии #системный_промпт | @habr_ai