Новость

LLM уступают людям в разнообразии научных идей, но не в их качестве

1 источник

Все новости

Учёные Йельского и Чикагского университетов выяснили, что LLM генерируют исследовательские идеи не хуже людей, но их спектр уже. Модели чаще опираются на связывание существующих работ, чем на разнообразные подходы.

Новое исследование учёных Йельского университета и Чикагского университета показало, что большие языковые модели (LLM) отличаются от исследователей-людей не качеством, а диапазоном генерируемых научных идей. В работе проанализировали 11 683 опубликованные статьи, а затем на основе одного и того же массива предыдущих работ и LLM, и люди создавали новые исследовательские идеи. Авторы сравнили мотивации и методы, предложенные LLM, с теми, что встречаются в работах, написанных людьми. Если человеческие идеи охватывают более широкий набор исследовательских паттернов — например, объяснение механизмов, проверку на неудачу и разработку систем, — то LLM чаще сосредотачивались на связывании отдельных фрагментов предыдущих работ. По данным исследования, 12,1% человеческих идей были в основном направлены на соединение предыдущих исследований, тогда как среди идей, сгенерированных LLM, этот подход встречался в 47,1%–64,2% случаев. Дополнительные этапы рассуждений эту тенденцию не снизили.

Источники 1
  • LLM уступают людям в разнообразии научных идей, но не в их качестве AI Post 
    A new study by Yale and the University of Chicago has found that large language models (LLMs) differ from human researchers in the range, not the quality, of research ideas they generate. The research involved analyzing 11,683 published papers and using the same body of prior work as a basis for both LLMs and humans to create new research ideas.

Researchers compared the motivations and methods suggested by LLMs with those found in human-authored papers. While human ideas covered a broad set of research patterns—such as mechanism explanations, failure tests, and system development—LLMs narrowed in on linking separate pieces of prior work.

Data showed 12.1% of human ideas focused mainly on connecting prior research, but LLM-generated ideas took this approach 47.1% to 64.2% of the time. Additional reasoning steps did not reduce this tendency.

📰 @aipost