Данная работа задает два вопроса: 1. Может ли художник внедрить свои знания в большую языковую модель? 2. Может ли большая языковая модель генерировать изображения по запросу неквалифицированного пользователя на уровне, который бы удовлетворил художника? Для получения ответов на поставленные вопросы автор работы - художник - создает “креативного ИИ-агента” и проводит эксперимент под названием “Тест Гутенберга”. В широком смысле, “Тест Гутенберга” представляет собой новый методологический подход к тестированию и оценке творческих способностей искусственного интеллекта. В практическом плане “Тест Гутенберга” предоставляет методологический каркас, который заставляет художника оценивать художественные артефакты, созданные ИИ-агентом, которого разработал сам художник. В отличие от других тестов на творчество ИИ, “Тест Гутенберга” ориентирован не только на анализ артефактов (output), но в большей степени на гибкость взаимодействия с моделями на входе (input). Таким образом, “Тест Гутенберга” предоставляет возможность наблюдать за внедрением творческих процессов в нейросетевую модель в более широком контексте. Методологическая новизна и научная ценность “Теста Гутенберга” заключаются в подходе к оценке творческой способности ИИ, основанном не на объективных недостижимых критериях, а на субъективном суждений самого художника - автора ИИ агента. Первая часть работы посвящена исследованию процесса создания инструкций и базы знаний, а также рассмотрению широкого спектра вопросов, связанных с внедрением творческих знаний и реалиями больших языковых моделей. Вторая часть работы сосредоточена на тестировании агента и анализе полученных результатов.
Данная работа является второй частью “Теста Гутенберга”, в которой исследуется способность созданного художником ИИ-агента воспроизводить творческие процессы. В первой части эксперимента автор-художник создавал “творческого ИИ-агента”, состоящего из трех “искусственных личностей”, каждая из которых обладает своими уникальными специализациями, знаниями и биографическими деталями. В этой работе рассматривается практическая часть “Теста Гутенберга”, в ходе которой креативный ИИ-агент проходит испытание на способность воспроизводить творческие процессы, заложенные художником. «ИИ-агент» передаётся пользователю, не обладающему творческими навыками, который использует его для создания генеративных изображений. Помимо тестирования в различных сценариях, агент проверяется на способность генерировать артефакты в “оригинальном” художественном образе. В заключительной части эксперимента сгенерированные изображения передаются художнику, создателю ИИ-агента, для анализа и оценки. Заключительная часть статьи посвящена анализу и интерпретации механизмов, задействованных в процессе создания и оценки творческих работ, а также возможностям воспроизведения сгенерированных артефактов нецифровыми способами. Эксперимент демонстрирует как возможности, так и ограничения больших языковых моделей в области творчества, предоставляя совокупную оценку «воспроизводимости» творческих процессов в рамках нейросетевых моделей.