Исследовательская лаборатория OpenAI разработала модель искусственного интеллекта, которая резюмирует книги произвольной длины. Доработанная версия GPT-3 сначала делает выжимки небольших разделов, а затем обобщает их в короткий пересказ.
We want our AI systems to be aligned with human intentions.
This is especially important as tasks get more difficult to evaluate.
To develop techniques to address this problem, we trained a model to summarize books. https://t.co/NDnUtcjXFX
— OpenAI (@OpenAI) September 23, 2021
Для создания модели разработчики объединили обучение с подкреплением с рекурсивной декомпозицией задач, которая процедурно разбивает сложную задачу обобщения длинного фрагмента текста на более простые. Такое разложение позволяет людям быстро оценивать работу модели, используя выжимки меньших частей книг. Благодаря этому алгоритм может кратко излагать книги любой длины, от десятков страниц до сотен или тысяч.
Выжимка из книги «Алиса в Стране Чудес», составленная искусственным интеллектом. Данные: OpenAI.
OpenAI обучил модель на подмножестве книг художественной литературы в наборе обучающих данных GPT-3, которые в среднем содержали более 100 000 слов. Для ее оценки исследователи лаборатории взяли 40 самых популярных произведений 2020 года, поручили двум людям прочитать каждое из них и написать пересказ. Затем испытуемых попросили оценить резюме как модели, так и друг друга.
По словам исследователей, программа успешно создавала тексты «на уровне книги», содержащие большую часть важной информации. Однако она иногда генерировала неточные утверждения из-за отсутствия контекста, признали в OpenAI. Более того, краткое изложение модели часто воспринималось как список событий из книги, а не как связное резюме из-за ограничений алгоритма декомпозиции задачи.
«Эта работа — часть наших текущих исследований по согласованию передовых систем искусственного интеллекта, что является ключом к нашей миссии [создания общего ИИ]», — написали исследователи OpenAI в блоге.
В организации также сообщили, что не планируют делать модель общедоступной или открывать исходный код.
Напомним, в августе OpenAI представила ИИ-инструмент Codex для автоматического написания кода.
В июле OpenAI выпустила Python-подобный язык программирования Triton для разработки нейросетей.
В июне исследователи из организации обнаружили способ улучшить «поведение» языковой модели GPT-3 в отношении этических, моральных и социальных ценностей.
Источник: Источник
