ИИ-лаборатория OpenAI создала новую версию языковой модели GPT-3, которая производит меньше оскорбительных выражений, дезинформации и ошибок в целом, используя проблему контроля искусственного интеллекта.
We've trained GPT-3 to be more aligned with what humans want: The new InstructGPT models are better at following human intent than a 100x larger model, while also improving safety and truthfulness. https://t.co/rKNpCDAMb2
— OpenAI (@OpenAI) January 27, 2022
Для создания модели под названием InstructGPT исследователи задействовали обучение с подкреплением с обратной связью от человека. Для этого они наняли 40 экспертов, которые оценивали ответы GPT-3 на ряд заранее написанных запросов, таких как «Напишите историю о мудрой лягушке по имени Юлий» или «Напишите креативную рекламу следующего продукта для размещения на Facebook».
Ответы, которые по мнению жюри больше соответствовали очевидному намерению составителя подсказки, получили высокие баллы. Оскорбительные, насильственные и прочие недопустимые результаты эксперты отметили как неуместные.
Обратную связь от жюри разработчики использовали в качестве вознаграждения в алгоритме обучения с подкреплением, который тренировал InstructGPT сопоставлять ответы на подсказки.
В OpenAI обнаружил, что пользователи предпочитают ответы InstructGPT GPT-3 более чем в 70% случаев.
Исследователи также сравнили версии новой модели разного размера. Они выяснили, что ответы InstructGPT с 1,3 млрд параметров предпочитают больше, чем тексты GPT-3 со 175 млрд параметров. Это означает, что контроль над ИИ может быть простым способом улучшить языковые модели, а не просто увеличить их размер, считают в организации.
«Это первый раз, когда проблема контроля искусственного интеллекта применяется к реальному продукту», — сказал один из руководителей группы контроля ИИ в OpenAI Ян Лейке.
Однако, по словам исследователей, InstructGPT по-прежнему допускает простые ошибки, иногда выдавая неуместные или бессмысленные ответы. Например, если дать ей подсказку, содержащую ложь, она воспримет ее как истину.
OpenAI сделала InstructGPT моделью по умолчанию для пользователей API. GPT-3 по-прежнему доступна, но в организации не рекомендуют ее использовать.
Ранее OpenAI пыталась смягчить предвзятость и токсичность базовой модели. Несмотря на достигнутый прогресс, разработчики признали наличие ряда нераскрытых вопросов и общих проблем при адаптации GPT-3 к обществу.
Напомним, в ноябре 2021 года OpenAI обучила языковую модель решать математические задачки.
В сентябре исследователи лаборатории научили GPT-3 генерировать короткие выжимки из художественных книг.
Источник: Источник
