MIT и IBM Research представили датасет ChartNet для понимания графиков

Исследователи из MIT и IBM Research предложили ChartNet — мультимодальный датасет для обучения моделей анализу и интерпретации графиков. Он нацелен на улучшение работы визуально-языковых моделей с графиками.

Исследователи из MIT и IBM Research представили ChartNet — мультимодальный датасет для обучения моделей анализу и интерпретации графиков. Авторы отмечают, что современные визуально-языковые модели пока справляются с этой задачей лишь частично, в том числе из-за нехватки масштабных и разнообразных наборов данных для обучения и тестирования. ChartNet описывается как решение, которое должно помочь моделям лучше понимать графики, используемые в научных, деловых и политических материалах. В исходном материале также говорится о разборе устройства датасета и оценке его эффективности.

Источники 1

MIT и IBM Research представили датасет ChartNet для понимания графиков Habr AI

Как научить ИИ понимать графики: разбираем новый набор данных ChartNet от MIT

Привет, Хабр! Меня зовут Павел, я ML-инженер и исследователь в области ИИ. Недавно наткнулся на исследование, посвященное проблеме понимания графиков визуально-языковыми моделями (Vision-Language Model, VLM), и решил подробнее разобраться в этой теме.

В наши дни большое количество научных, деловых и политических данных представляется в формате графиков, однако современные VLM решают задачу их анализа лишь частично. Одна из главных причин этого — отсутствие масштабных и разнообразных наборов данных для обучения и тестирования.

Исследователи из MIT и IBM Research предложили оригинальное решение — ChartNet, мультимодальный датасет для обучения моделей анализу и интерпретации графиков. Разберемся, как он устроен и насколько эффективен. Читать далее

#chartnet #понимание_графиков #мультимодальные_модели #vision_language_models #датасеты_для_ии #анализ_графиков #компьютерное_зрение #машинное_обучение #mit #ibm_research | @habr_ai