Как научить ИИ читать таблицы: с помощью SpreadsheetLLM
Большие языковые модели (LLM), оказывается, могут не всё. В частности, у них возникают сложности с пониманием таблиц, а это серьезно ограничивает применение того же ChatGPT в бизнесе, потому что условный Excel – это рабочая лошадка очень многих организаций.
Команда исследователей Microsoft представила инструмент SpreadsheetLLM, первый эффективный метод кодирования, предназначенный для раскрытия возможностей LLM в задачах понимания и анализа электронных таблиц. Изначально опробовали простой подход к сериализации, который включал адреса ячеек, значения и форматы. Однако столкнулись с ограничениями на токены LLM, что делало решение непрактичным.
Чтобы решить эту проблему, была разработана инновационная платформа кодирования SheetCompressor, которая эффективно сжимает электронные таблицы. Она состоит из трех модулей: сжатие на основе структурных якорей («пояснения» для LLM), преобразование обратного индекса и агрегация с учетом формата данных (таблица преобразуется в формат JSON).
В результате повышается производительность в задаче обнаружения таблиц, превосходя первый подход на 25,6%. Более того, точно настроенный LLM с SheetCompressor имеет среднюю степень сжатия 25×, но при этом достигает выдающихся значений показателя F1-мера в 78,9%, что по словам авторов работы превосходит лучшие существующие модели на 12,3%.
Понятно, что это пока «бумага», а не коммерческое решение, но если оно рабочее, то и практической реализации ждать недолго.
Специалистов отсылаем к первоисточнику, там десятки ссылок на другие работы, а также набор приложений с расчетами, описанием экспериментов и результатов тестов.
Большие языковые модели (LLM), оказывается, могут не всё. В частности, у них возникают сложности с пониманием таблиц, а это серьезно ограничивает применение того же ChatGPT в бизнесе, потому что условный Excel – это рабочая лошадка очень многих организаций.
Команда исследователей Microsoft представила инструмент SpreadsheetLLM, первый эффективный метод кодирования, предназначенный для раскрытия возможностей LLM в задачах понимания и анализа электронных таблиц. Изначально опробовали простой подход к сериализации, который включал адреса ячеек, значения и форматы. Однако столкнулись с ограничениями на токены LLM, что делало решение непрактичным.
Чтобы решить эту проблему, была разработана инновационная платформа кодирования SheetCompressor, которая эффективно сжимает электронные таблицы. Она состоит из трех модулей: сжатие на основе структурных якорей («пояснения» для LLM), преобразование обратного индекса и агрегация с учетом формата данных (таблица преобразуется в формат JSON).
В результате повышается производительность в задаче обнаружения таблиц, превосходя первый подход на 25,6%. Более того, точно настроенный LLM с SheetCompressor имеет среднюю степень сжатия 25×, но при этом достигает выдающихся значений показателя F1-мера в 78,9%, что по словам авторов работы превосходит лучшие существующие модели на 12,3%.
Понятно, что это пока «бумага», а не коммерческое решение, но если оно рабочее, то и практической реализации ждать недолго.
Специалистов отсылаем к первоисточнику, там десятки ссылок на другие работы, а также набор приложений с расчетами, описанием экспериментов и результатов тестов.