S.V. MILOVIDOV Artistic features of computer artworks creating with machine learning technology

ARTISTIC FEATURES OF COMPUTER ARTWORKS CREATING WITH MACHINE LEARNING TECHNOLOGY
Research article
UDC 7.01+7.038.53
DOI: 10.28995/2227-6165-2022-4-36-48
Author: Milovidov Stanislav Vyacheslavovich, PhD student, Art and Design School, HSE University (Moscow, Russia), e-mail: smilovidov@hse.ru
ORCID ID: 0000-0003-1406-5406
Summary: This article has analyzed the artworks, the general creative principles, and approaches connected with machine learning and neural networks. The idea that the computer can replace humans for deciding routine, algorithmic, and even analytical tasks, has raised the question about the uses of machines for creative jobs. This process forms new possibilities, non-obvious images, themes, and expressions, which require the addition and refinement of the classification of computer art. As a result, artists have found another system for describing reality represented in the artworks. From 2018-2021 many artists such as Mario Klingemann, Gene Kogan, Vadim Epstein, Anna Ridler, and Memo Akten used machine learning in their art practice. Their artworks in this genre have been to the biennales or many contemporary art exhibitions in Austria, the USA, Russia, Switzerland, Germany, etc.
Keywords: computer art, generative art, artificial intelligence, machine learning, neural network, glitch art, video art

ХУДОЖЕСТВЕННЫЕ ОСОБЕННОСТИ ПРОИЗВЕДЕНИЙ КОМПЬЮТЕРНОГО ИСКУССТВА, СОЗДАННЫХ С ИСПОЛЬЗОВАНИЕМ ТЕХНОЛОГИЙ МАШИННОГО ОБУЧЕНИЯ
Научная статья
УДК 7.01+7.038.53
DOI: 10.28995/2227-6165-2022-4-36-48
Автор: Миловидов Станислав Вячеславович, аспирант, школы дизайна, Национального исследовательского университета «Высшая школа экономики» (Москва, Россия), e-mail: smilovidov@hse.ru
ORCID ID: 0000-0003-1406-5406
Аннотация: В статье анализируются произведения, а также общие для них принципы и подходы к творчеству, связанные с использованием компьютерных технологий, в частности машинного обучения и нейронных сетей. Стремление к автоматизации не только рутинных и алгоритмизированных процессов, но и аналитических задач, закономерно подводит человека к вопросу об использовании компьютера и интеллектуальных систем в решении задач творческих. В этой связи возникают новые возможности, неочевидные образы, темы и выразительные средства, которые требуют дополнения и уточнения классификации компьютерного искусства. Внедрение машинного обучения в творческие практики художников, работающих в этом направлении (Марио Клингеманн, Джин Коган, Вадим Эпштейн, Анна Ридлер, Мемо Актен) произошло в 2018‑2021 годах с появлением нейронных сетей. Сегодня их работы, а также других авторов, экспериментирующих в данном направлении, можно все чаще встретить на различных биеннале и выставках современного искусства в Австрии, США, России, Швейцарии, Германии и других стран.
Ключевые слова: компьютерное искусство, генеративное искусство, искусственный интеллект, машинное обучение, нейронные сети, глитч-арт, видео-арт

For citation:
Milovidov S.V. “Artistic features of computer artworks creating with machine learning technology.” Articult. 2022, no. 4(48), pp. 36-48. (in Russ.) DOI: 10.28995/2227-6165-2022-4-36-48

download pdf

За последние несколько лет технологии машинного обучения и нейронные сети стали неотъемлемой частью компьютерного искусства, превратившись из своеобразного аттракциона или эксперимента в инструмент художественного творчества. Сегодня работы, созданные с помощью нейронных сетей, можно увидеть не только на фестивалях компьютерного искусства, как например ArsElectronica (Австрия), и профильных выставках конференций по информационным технологиям – SIGGRAPH и NeuroIPS (США), CGevent (Россия), но также подобные произведения стали неотъемлемой частью многих площадок, работающих с медиаискусством и сайнс-артом в Карлсруэ, Монреале, Линце, Ванкувере и других городах мира. В России, к примеру, за 2021 год ни одна экспозиция лаборатории Art&Science в Государственной Третьяковской галерее не обошлась без арт-объектов, созданных с помощью нейронных сетей или технологий машинного обучения. Подобные проекты стартовали в Эрмитаже в Санкт-Петербурге, не говоря уже о специализированных выставочных пространствах Москвы, таких как Мультимедиа арт музей, галереи «ГРАУНД Солянка», «Ходынка», «Электромузей», «Краснохолмская» и другие.

Развитие подобных интеллектуальных систем привело к возникновению новых способов работы с изображением. К началу 2010-х годов XXI века в работах Л. Мановича [Манович, 2017], Ф. Галантера [Galanter, 2008], А.С. Мигунова и С.В. Ерохина [Мигунов, Ерохин, 2010] компьютер осмыслялся как инструмент художника, работающего с программным кодом, интерфейсами, аппаратным обеспечением. Исследователями анализировались произведения в основном генеративного искусства, в частности эволюционного¹, для изучения которых, к примеру, Ф. Галантер предлагал использовать теорию сложных систем (complexism) [Galanter, 2008], а российские исследователи А.С. Мигунов и С.В. Ерохин предпринимали попытки формализовать представления об «эстетичности» подобных произведений, используя такие параметры как: сбалансированность, симметрия и единство [Мигунов, Ерохин, 2010, c. 152-156]. Впоследствии серия научных и технических прорывов, связанных с разработкой технологий глубокого машинного обучения (Deep Learning) и нейронных сетей (алгоритмы BERT и GPT), активизировала в научных кругах и публицистике дискуссию об «искусстве искусственного интеллекта» и «креативных машинах». В её рамках поднимаются вопросы о философских основаниях сознания, статусе машины как агента, критических перспективах алгоритмизации различных сфер общественной жизни [Forbes, 2020; Galanter, 2020] и «автоматизации эстетического выбора» [Мигунов, Ерохин, 2010, с. 150; Manovich, 2022].

То, что сегодня называется искусственным интеллектом в различных публикациях, – это широкий спектр специальных программ и алгоритмов, включающих в себя как нейронные сети, так и иные технологии машинного обучения, а также различное компьютерное оборудование. Они позволяют манипулировать пространством изображений, текста, музыки и любого другого медиаконтента, который может быть закодирован и представлен в форме цифровых данных. Подобные возможности анализировались в работах Л. Мановича и являются одним из основных принципов новых (цифровых) медиа [Манович, 2017, с. 14-15]. По его мнению, меняются и принципы творческой деятельности, где непрерывное мышление человека‑творца и его интенции проявляются в виде «последовательности дискретных операций с числовыми параметрами» [Manovich, 2022, с. 36]. Таким образом, возникает возможность своего рода формализации творческого процесса, что заметно облегчает манипуляцию отдельными его элементами, интеграцию с практиками других художников и, главным образом, автоматизацию.

В данном случае революционным для информационных технологий стало появление различных видов нейронных сетей – алгоритмов, способных к обучению, то есть обладающих возможностью устанавливать взаимосвязи между различными объектами и видами данных, а затем формировать своеобразную логику взаимодействия с ними, которая в некоторых прикладных областях знания может даже превосходить человеческий интеллект. В результате, как отмечает Л. Манович, возникают художественные формы, которые человеку представляются бессмысленными. Такая позиция во многом обусловлена ограничениями тела и сознания. Подобные сгенерированные компьютером объекты не обнаруживают, на первый взгляд, признаков заложенной в них системы, смысла и непредсказуемы в отличие от искусства, созданного человеком, но при этом они также не являются случайными, а обладают своей особой логикой, осмысление которой в рамках современного искусства находится ещё в процессе становления [Manovich, 2019, c. 8-9].

Таким образом, в процессе изучения эволюции компьютерного искусства в контексте прогресса в области информационных технологий обнаруживается поворот, связанный с распространением нейронных сетей и внедрением их в художественную практику. В этой связи актуальным становится вопрос, как появление нового инструмента отразилось в практиках художников работающих с компьютерным искусством на рубеже второго и третьего десятилетий XXI века, что, в свою очередь, требует уточнения и дополнения существующих классификаций практик компьютерного искусства. Тем более, что на сегодняшний день технологии машинного обучения и интеллектуальные системы уже преодолели несколько различных этапов своего развития, каждый из которых породил новый инструментарий для работы с изображением и свежие темы и поводы для его осмысления.

Визуальные паттерны генеративно-состязательных нейронных сетей

Появление нового визуального образа, который определяет новый поворот в компьютерном искусстве, и впоследствии будет прочно ассоциироваться с нейронными сетями, связан, в первую очередь, с алгоритмом DeepDream, созданным программистом Google А. Мордвинцевым [Mordvintsev и др., 2015]. Изначально данное техническое решение носило прикладной характер и предназначалось для тестирования процессов обучения нейронных сетей. Однако именно в нем впервые появился галлюцинирующий видеоряд, в котором приближающиеся объекты оказываются как будто бы не тем, чем представлялись ранее. Например, изображение глаза, двигаясь из глубины экранного пространства к зрителю, незаметно как в сновидении превращается в причудливую птицу, а затем растворяется, становясь уже вроде бы каким-то иным «аномальным существом, возникающим из психоделии данных» [Blas, Wyman, 2017], черты которого угадываются, но достоверно сказать, что изображено, не представляется возможным.

Этот визуальный ряд породил множество художественных экспериментов, которые шли в ногу с развитием нейросетевых технологий и глубокого машинного обучения. С первых работ художники, работающие с компьютерной графикой и генеративным искусством, оценили потенциал новых алгоритмов, предназначенных для создания изображений и их обработки, и в дальнейшем стали адаптировать инновации к конкретным художественным практикам. Например, в 2016 году американский программист и медиахудожник Джин Коган использовал две нейронные сети в рамках своеобразного видеоарт эксперимента, в ходе которого одна нейронная сеть (Deep Dream) генерировала поток видеоизображения, а другая (Densecap) – распознавала возникающие в процессе объекты. По словам художника, это видео показывает возможное будущее, в котором несколько нейронных сетей соревнуются и пытаются обмануть друг друга. В нем поднимается проблема распознавания «дипфейков» и «генеративных текстов», которая стала обсуждаемой, начиная с 2020 года, и получила развитие в нейронных сетях, обученных распознавать генеративные объекты и подделки [Kogan, 2016].

Другой пример – работы мексиканского художника Родриго Переса Эстрады, где частой темой для экспериментов является трансформация различных изображений с помощью алгоритма Deep Dream, при этом он добивается необычных визуальных эффектов. В видео-работе «Inquilinos Observantes» («Наблюдательные арендаторы»), рассматривая на первый взгляд обычное растение, уже через несколько секунд зритель обнаруживает скрытые в листве множество глаз, устремленных на него. Взгляд изначально будто бы скользит по изображению, не рискуя натолкнуться на встречный интерес, но обнаруживает образы, возвращающие взгляд зрителю, смотрящие на него в ответ [Фишман, 2016].

Закономерным продолжением стало внедрение генеративно-состязательных сетей (GAN). Их архитектура состоит из двух частей – нейронных сетей – одна из которых генерирует образы, а другая отбраковывает не соответствующие поставленной задаче. Параллельно эта технология получила широкую известность в связи с появлением огромного количества дипфейков, которые наводнили Интернет в 2021 году. Одновременно нейронные сети внедрялись в творческий процесс художников, начиная с создания различных стилизаций под живописные полотна известных мастеров. Однако такой подход представляет собой скорее своего рода аттракцион, эффект которого заключен в самом факте создания такой работы компьютерной программы, подобно рисункам слона из Мельбурнского зоопарка [English и др., с. 471]. Также нейронные сети стали популярным инструментом для создания произведений, связанных с видео- и 3D‑мэппингом, а также критикой внедрения машинного обучения в общественную жизнь. Последние обращают внимание зрителя на ошибки, предвзятость и рациональность компьютерных систем, которые уже граничат с дискриминацией и ущемлением прав человека [Forbes, 2020, c. 4-5].

Однако арт-эксперименты пошли и по иному пути. Так же как появление фотографии и кинематографа стало одним из факторов, который способствовал появлению авангарда, новые генеративные технологии также представляют собой вызов этим видам искусства. Теперь для получения изображения предмета или некой реальности не нужны ни реальность, ни сам предмет, ни даже его образ в воображении художника. В этот момент возникает предложенный ещё Ж. Бодрийаром симулякр симуляции, основанный на «информации, моделировании, кибернетической игре, – полнейшая операциональность, гиперреалистичность» [Бодрийяр, 1981, c. 163]. В его основе алгоритмы машинного обучения, представляющие собой модель самопознания человека. Нейронные сети в общем смысле заимствует принцип, существующий в центральной нервной системе человека. При этом подобные программы не соотносятся ни с оригиналом – мозгом человека, ни являются его улучшенной копией, обусловленной приростом интеллектуальных возможностей, а функционируют в рамках операций с математическими моделями.

Продолжая мысль учёного, можно обнаружить, что изображения, созданные нейронными сетями, также не являются проекцией или воображаемым относительно реального, так как программист, обучая алгоритм заранее, может только предполагать, какой будет результат, но не знает этого в точности. В свою очередь, художник использует этот эффект, преодолевая собственную субъективность по отношению к произведению. Таким образом, изображение становится не проекцией воображаемого автора, а антиципацией реального, то есть попыткой предугадать представление о предмете до акта его восприятия.

Так как ничто более не отличает модель от реальности, сама реальность становится обстоятельством, обнаруживающим симулякр. Этот процесс, с одной стороны, выражается в создании алгоритмов, способных выявлять дипфейки и следы работы нейронных сетей, а с другой – становится благодатной почвой для такого направления в искусстве как глитч-арт, в рамках которого художники проявляют цифровую природу различных объектов и процессов через эстетику сбоя, глюка или неисправности, обнажающих программное и алгоритмическое тело машины, подчёркивая дихотомию природы и техники. Глитч-арт является продолжением авангардно-модернистских практик по сознательному взаимодействию с чистыми формами и проявлениями медиума, а эффекты сбоя или помехи практически всегда становятся пугающими, вызывающими стресс и неприятие для зрителей, подрывая их визуальные ожидания (Э. Жагун-Линник [Жагун-Линник, 2021, c. 73, 122], А. Шульгин и О. Горюнова [Goriunova, Shulgin, 2008, с. 110-119]).

Основной массив художественных произведений этого направления, где нейронные сети используются в качестве инструмента – это видео-работы. Так арт-объект немецкого медиахудожника М. Клингеманна «Воспоминания прохожих I» (2019) представляет собой две видеопанели, подключённые к компьютеру, который находится внутри деревянной тумбы между ними. Так эта работа была представлена на выставке в Берлине. В Москве в 2021 году эта работа была представлена всего лишь на одном экране, но можно представить её реализацию с помощью любого числа видеопанелей, любой конфигурации. Это подчеркивает, что суть работы не инсталляция из экранов, тумб и компьютеров, а сам алгоритм генерации изображений.

На экранах в режиме реального времени нейросетью генерируются портреты мужчин и женщин, при этом машина обучена на массиве данных, содержащих несколько тысяч живописных полотен периода XVII-XIX веков. Как отмечает К.Ю. Бохоров, эти портреты вызывают «странное чувство, описываемое метафорой “зловещей долины”², как будто имеешь дело с образом-Франкенштейном… механическим сопоставлением частей, по каким-то неясным признакам ассоциированных друг с другом» [Бохоров, 2021, с. 247]. Действительно, принцип работы нейронной сети состоит как раз в выявлении в наборе данных (dataset) общих признаков объекта и правил их сопряжения между собой в изображениях, а затем их выделение и реконструирование из информационного потока. При этом лицо является важным коммуникативным инструментом, и восприятие человека крайне чувствительно к его даже незначительным изменениям. По словам самого художника, в этой работе его интересовало исследование границ: «насколько далеко мы можем отклониться от “нормального”, воспринимая изображение все еще в качестве портрета и как долго искусственный интеллект в замкнутой системе может давать неожиданные результаты» [Сердечнова, 2020].

Другой пример – арт-объект британской художницы А. Ридлер «Proof of Work: The Shell Record» (2021). Произведение состоит из нескольких частей, одной из которых стала видео-работа. Для её создания художница собрала вручную набор данных, состоящий из различных раковин, собранных на берегах реки Темзы, затем нейросеть, обученная на этом массиве, сформировала из них бесконечный уникальный видеоряд. На белом фоне экрана каждая раковина-образ (всего их сорок) постоянно видоизменяется, становясь двустворчатой, прямоугольной, дисковидной, трапециевидной или любой другой существующей, а также и несуществующей в природе формы. Каждый раз, растворяясь и возникая в новом объекте, они становятся точкой притяжения взгляда зрителя. Внимание переходит от одного элемента к другому, которые представляют собой отдельные элементы, участвующие в построении визуального ряда (рис. 1).

_{^{Рис. 1. Анна Ридлер. Proof of Work: The Shell Record, 2021.}}

В работе А. Ридлер бесконечные ряды сгенерированных нейронной сетью раковин приобретают метафорическое значение, так как за их образом скрывается развитие социальных отношений. Раковина становится маркером времени и частью истории Лондона и реки Темзы, контекста товарно-денежного обмена в истории региона и человеческой цивилизации в целом: от ракушки как украшения, денежного эквивалента и ритуального предмета до системы криптовалют и блокчейна – генеративный видеоряд также представлен в формате NFT (рис. 2).

_{^{Рис. 2. Анна Ридлер. Proof of Work: The Shell Record, 2021.}}

Работы российского медиахудожника Вадима Эпштейна под названиями «Субкультурная генетика» (2019), «Terminal Blink» (2020), «Китеж» и «Призраки» (2021) также созданы с помощью обученной на определённом наборе данных нейронной сети. Машина создаёт изображения, в основе которых могут быть совершенно разные наборы данных: лица людей, палехская роспись, раковины или сочетания разных датасетов. В результате возникает причудливый видеоряд с характерными текучими метаморфозами. Элементы фона, не воплотившиеся в предмете, с одной стороны, характеризуются абстрактностью, неустойчивостью, зыбкостью, а с другой – имеют все ещё строгую математическую зависимость от сформированного нейросетью паттерна или модели объекта. Их структура случайна и бессмысленна для наблюдателя, но закономерна для машины. Л. Манович описывает этот процесс как разрушение «мета-шаблона человеческой культуры» [Manovich, 2019, c. 6-8].

Человек на протяжении всей своей истории создает арт-объекты, которые обладают единым мета-паттерном, то есть определённым стилем, позволяющем проводить их классификацию и объединять в группы. Когда компьютер учится извлекать паттерны из художественных работ, он следует тем же путем, что и человек вырабатывает некие принципы, по которым он различает стили. Однако логика выявления тех или иных признаков может быть как похожей на человеческую, так и быть совершенно иной. [Manovich, 2019, c. 6-8]. В связи с этим современные программы и алгоритмы, зачастую, воспринимаются аудиторией как «чёрные ящики», так как устойчивость социотехнической сети скрывает формирующее их коллективное действие, гетерогенную природу и структурные элементы, от внешнего наблюдателя. Однако, когда в моменты сбоев и поломок «чёрные ящики распахиваются», обнажается коллективное действие акторов сети и вклад каждого элемента в конструируемое социотехническое пространство. Этим обусловлено стремление художников, работающих с машинным обучением, к направлению глитч-арт.

Описывая эти процессы, американский художник и исследователь Дж. Кейтс вводит термин «грязные новые медиа» («dirty new media») [Жагун-Линник, 2020], противопоставляя его отношению к машине как воплощению абсолютной рациональности. По его мнению, не существует ничего идеального, и любой объект, будь то человек или машина, рано или поздно ломается или совершает ошибки. Таким образом, неисправность позволяет машине выйти за пределы собственных правил и алгоритмов и таким образом сформировать собственное персональное высказывание, на своём языке, исходя из доступных возможностей восприятия окружающей действительности [Packer, 2014]. Таким же образом воспринимается и творческий акт человека, как преодоление установленных культурой и обществом правил, границ и установок с целью выразить индивидуальное.

Внутрикадровый монтаж в генеративных видео-работах с использованием нейронных сетей.

Любопытный поворот произошёл в компьютерном искусстве в 2021 году. Алгоритмы машинного обучения сделали возможным перевод текстовой информации в графическую с помощью нейронных сетей. Такая возможность появилась в связи с разработкой так называемых «фундаментальных моделей» (foundation models), обученных на наборах данных в более чем двенадцать миллиардов семантических пар, что позволяет использовать их для интерпретации информации на естественном языке. Этот технологический сдвиг не остался без внимания медиахудожников, экспериментирующих с нейронными сетями, таких как Р. Мердок, К. Краусон, М. Актен, В. Эпштейн, С. Ломнитц, Дж. Шейн и других.

Одним из примеров такого подхода стал видео-арт объект «За всем следят машины благодати и любви» британо-турецкого медиахудожника М. Актена (рис. 3). В основе видеоряда, который сгенерировала нейронная сеть, лежит одноименное стихотворение Р. Бротигана «All Watched Over by Machines of Loving Grace» 1967 года. На экране возникает изображение (селфи) самого М. Актена, которое программа видоизменяет таким образом, что уже через полминуты от его лица остаются узнаваемыми только отдельные черты. В принципах построения изображения, метаморфозах и текучих трансформациях можно узнать визуальную образность нейросетевого алгоритма DeepDream.

_{^{Рис. 3. Мемо Актен. За всем следят машины благодати и любви, 2021.}}

В произведении М. Актена подобные метаморфозы, основанные на тексте стихотворения, порождают фантастические образы природно-технологических химер. От эпизода к эпизоду перед зрителем складывается некая картина, однако сцены монтируются не через склейку, а внутрикадрово. При этом фокус задает движение не камеры, а самого изображения. Периодически зрителю удается зафиксировать эпизоды-картины, в которых угадывается композиция из знакомых объектов: смартфонов, кабелей, цветов, панельных домов, оленей, кровеносных сосудов и т.д. Зритель оказывается в мире техно-природных симбионтов, где электрические кабели произрастают на поле как сельскохозяйственные культуры, а их плодами становится электрический сигнал; кибернетические олени сосуществуют в лесу наравне с такими же кибернетическими цветами, а кровеносные сосуды питают смартфоны, интегрированные в биологические сети нервных окончаний.

Стихотворение Р. Бротигана пронизано технологической утопией, которая закономерно переносится нейронной сетью на произведение М. Актена. Однако художник сознательно избегает дихотомии (утопия/антиутопия, природа/технология), присущей Бротигану, который рассуждал о гармонии этих сущностей, обожествляя технологический уклад современной цивилизации, но в терминах середины XX века. Актен поднимает вопрос о том, что технология – это неотъемлемая часть природы человека, так как возникновение разума есть результат действия природных сил – преимущество, появившееся в ходе эволюции и ставшее причиной возникновения цивилизации. По его мнению, «технология – это человек, а отказ от технологии – это отказ от человечности. Поэтому мы должны принять не только технологии, но и все человечество, всю природу, включая технологии» [Актен, 2021].

Другой пример – видеоработы В. Эпштейна «Tronie» и «Jabberwoсky»³. Название последней отсылает к «Алисе в Зазеркалье» Льюиса Кэрролла и переводится на русский язык как «Бармаглот». Этот персонаж используется для описания чего-то неописуемо неприятного, упоминается в одном из стихотворений в книге, которое изобилует выдуманными словами и, в сущности, бессмысленно.

В генератор нейронной сети «текст‑видео» было загружено стихотворение на английском языке. Машина, основываясь на тексте каждой строфы, создала трёхмерные изображения, а затем сформировала из них видеоряд, плавно интерполируя от строфы к строфе. В процессе работы обученного алгоритма проявляются призрачные фигуры и лица, строения и другие фантастические объекты, затем они снова растворяются в пиксельных пейзажах в гибридном гипнотическом танце. Все это сопровождается чтением самого стихотворения в исполнении Бенедикта Камбербетча.

Взгляд зрителя фокусируется на лицах, людях и их окружении, перемещаясь от одного к другому сообразно траектории экранного движения. При этом сами изображения варьируются от близких к человеческим до монструозных, сохраняющих лишь общие антропоморфные черты. Получившиеся в итоге образы абстрактны и аперсональны, как и стихотворение Кэрролла. Они несут скорее эмоциональную нагрузку, нежели повествовательную, а в графическом стиле (цветовая гамма и визуальные ассоциации) угадываются аллюзии с текстом.

Внимание зрителя фокусируется на образе внутрикадровым движением через встречный взгляд, который запускает биологические коммуникационные механизмы. Как отмечает российская исследовательница видеоарта А.Д. Першеева, в «неперформативных» видео-работах происходит не столько действие, сколько пребывание или метаморфоза, пластическое преображение объекта. Действие приобретает смысл в его длительности, а метаморфозы формируют ощущение прозрачности медиума [Першеева, 2020, c. 144, 180‑183]. Особенность внутрикадрового монтажа в подобных работах заключается в иллюзорности экранного движения. Как в ряде зрительных фокусов невозможно с точностью сказать, перемещается ли камера, или движение – это свойство всего виртуального пространства. При этом фокус на объекте задается метаморфозами и преобразованиями ткани этого виртуального пространства.

В процессе создания подобных работ происходит обратная связь получившегося изображения или видеоряда и воображения художника, при которой машина создаёт образы на тему, заданную им, а сознание затем находит логические взаимосвязи в получившемся визуальном ряде. Впоследствии похожую работу проделывает и зритель по отношению к изображению, созданному программой, но имея в своем арсенале уже эстетический выбор художника. Темой работ этого направления часто становятся наиболее абстрактные понятия (депрессия, счастье, любовь и т.д.), визуализация которых оказывается наиболее трудноуловимой, зыбкой, текучей, неоднозначной и сновидческой. Воплощение подобных образов всегда требует особых творческих усилий, а машинное восприятие окружающей действительности лишено ассоциативных предрассудков и способно устанавливать взаимосвязи между абсолютно любыми понятиями и предметами.

Представление информации в цифровом виде – это, в сущности, превращение её в текст программного кода, где слова в тексте программы одновременно являются действиями, набором письменных инструкций, с помощью которых можно создать цифровую копию любого артефакта (изображения, звука, видео и так далее) [Кузнецов, 2015]. Таким образом, в виртуальном пространстве любое изображение – это математическая функция, связывающая яркость конкретного пикселя с его координатами – местоположением на экране. Такое математическое выражение одновременно огромный массив данных и в терминах французского социолога Б. Латура – запись. Подобная форма представления визуальной информации лишена не только человеческих ограничений, но также, на первый взгляд, и образности, конструируя репрезентацию как пазл по законам математической логики. В свою очередь, по Б. Латуру, обучение, в том виде как его реализуют современные школы, университеты и другие образовательные институции – это навык «манипуляции с записями и выстраивания их в каскады», а машинное обучение представляет собой способ автоматизации этого процесса для машины с использованием алгоритмов. По его мнению, «верный путь науки неизбежно состоит в создании тщательно ведущихся картотек в институтах, стремящихся мобилизовать больше ресурсов и в большем масштабе» [Латур, 2017, с. 119, 137].

Современные подходы в машинном обучении получили широкое распространение в прикладных сферах информационных технологий, предоставляя новые возможности в работе с «большими данными» (bigdata)⁴, что существенно расширяет масштаб и ускоряет мобилизацию ресурсов. Разработчики быстро сориентировались, что компьютер может обрабатывать огромные массивы информации и находить в них те самые взаимосвязи, корреляции и закономерности, недоступные человеку, делая их при помощи математического аппарата и алгоритмов мобильными и неизменными. Таким образом, просеивая массивы больших данных, астрономы находят новые объекты во Вселенной, физики ЦЕРНа элементарные частицы на Большом адронном коллайдере, а экономисты контролируют бизнес-показатели огромной распределённой сети предприятий. Б. Латур объясняет этот процесс, используя понятие каскада «неизменно упрощающихся записей, который позволяет производить более строгие факты по более высокой цене», создавая «макро-акторов» [Латур, 2017, c. 123, 141]. В этом суть автоматизации обработки цифровых данных.

Работая с графическими нейронными сетями, пользователь каждый раз формирует свой собственный каскад записей. В данном случае, считывая введённый пользователем текст-триггер, компьютер формирует огромный массив записей-математических функций, которые в виртуальном пространстве из элементарных частиц-пикселей возвращают объект на экране. Для дизайна и иллюстрации семантическая согласованность текстовой информации и визуальной создает неизменяемую мобильность между описанием воображаемого образа художником и его репрезентацией на экране. В прикладных сферах это ключевое свойство, создающее преимущество, но справедливо ли оно для искусства?

Для ответа на этот вопрос стоит вернуться к тезису Л. Мановича о том, что машинные генеративные работы всегда заключают в себе логику, даже если ни зритель, ни художник не могут её самостоятельно обнаружить и, таким образом, произведения им кажутся бессмысленными. Подобные алгоритмы превращаются в «макро-акторов», объединяя в сети взаимосвязей математический записи сотен миллионов наборов данных, а так как внутренняя логика их функционирования не в полной мере понятна и предсказуема, то открывается путь к «мистификации», которая становится богатой почвой для искусства. Художник, в свою очередь, пытается сделать видимыми новые объекты, использовать нейронные сети как инструмент, для того чтобы проявить «скрытый мир» алгоритмической эстетики [Латур, 2017].

Заключение

Использование нейронных сетей привносит новые уникальные формы и визуальный ряд в современное компьютерное искусство, становясь частью художественной практики на рубеже второго и третьего десятилетий XXI века. У художника и зрителя появляется возможность интуитивно почувствовать границы возможностей вычислительных машин, которые, как и любая технология, обладают собственными свойствами и правилами, начиная с базовых конструкций программного кода (циклы, ветвление, последовательности), устоявшихся архитектур аппаратной части компьютера и операционных систем [Hobbs, 2021]. Все эти структуры и составляющие их элементы образуют особые нелинейные гиперпространства, основанные на информации и данных, которые становятся новой средой для искусства.

Начиная с алгоритма DeepDream (Мордвинцев, 2015), изображению, созданному с помощью нейронных сетей, присущи ряд специфических особенностей, которые формируют стилевую общность подобных работ, делают почерк работы машины узнаваемым. В первую очередь это связано с принципом построения композиции нейронной сетью, который отличается от привычного для человеческого мышления. По мнению художников, этот процесс скорее похож на выращивание некой органической структуры, чем на строительство объекта из отдельно составляющих его элементов согласно какому-то плану. Соответственно для того, чтобы изображения выглядели правдоподобно, существует различные подходы к оптимизации работы нейронной сети, при этом возникают различные искажения, сбои и артефакты: асимметрия, переливы цвета, шум. Алгоритм сосредотачивается на главном изображаемом объекте, в то время как фон может содержать некие условные морфирующие текстуры, которые связаны с центральной темой, но обусловлены неспособностью машины к абстрагированию за её пределы.

Обращение художников к формату видео в своих произведениях обусловлено необходимостью продемонстрировать именно специфичность машинного «интеллекта» как инструмента. Но для того чтобы показать процессы, происходящие внутри нейронных сетей, художникам необходимо либо продемонстрировать работу алгоритма во всей его полноте на каждом этапе генерации изображения, либо сознательно изменять параметры – вносить хаос в алгоритмические процессы. Второй подход характерен для глитч-арта как направления компьютерного искусства. К примеру, художники запускают процессы, противоположные понятию обучения, – разрушение сформировавшихся шаблонов и установок, которые создают образы и объекты, похожие, но точно ими не являющиеся, тем самым обозначая границу реального и нереального. Метаморфозы, которые разворачиваются на экране, представляют собой иллюстрацию процесса поиска машиной заданного образа, формирования взаимосвязей, правил и шаблонов, что, в свою очередь, тесно связано с понятием ошибки, её поиска и исправления.

Следующий этап, начавшийся в 2021 году, связан с текстуализацией художественной практики с использованием алгоритмов трансформации текста в изображение. В этом случае текстовое описание становится промежуточным этапом между воображением художника и воплощением образа на экране. При этом результат оказывается в значительной степени усреднен, так как невозможно вместить все детали внутри текста. Процесс создания изображения превращается в своеобразный диалог с машиной, в ходе которого отбраковывается не один десяток полученных результатов, а исходное описание уточняется. При этом разработки новых технических решений и алгоритмов не стоят на месте и в 2022 году в художественные практики начинают внедряться новые изобразительные средства, такие как генеративно-состязательные сети третьего поколения (StyleGAN3) и второе поколение алгоритмов преобразования текста в изображение (DALL-E 2, Midjourney, StabilityAI).

Однако качественный технологический рывок в работе с изображением привел к расширению области применения подобных программ в прикладных сферах музыки, кинематографа, видеоигры, мультипликации и так далее. При этом оптимизация работы с текстом с целью устранения композиционных недостатков сделала генерацию изображений близкой к концепт-арту, который работает скорее с идеей, нежели с формой. В то же время, на первый взгляд, со стороны художественного сообщества инновации не вызвали такого ажиотажа как в случае с нейронными сетями предыдущих поколений. В этой связи в данный момент сложно сказать, что перед нами – новый этап развития художественной практики компьютерного искусства или существенное расширение возможностей существующей тенденции к текстуализации художественных практик в этом направлении.

Снижение интереса со стороны художников – это результат воздействия нескольких факторов. Во-первых, значительная роль в популяризации алгоритмов перевода текста в изображение сыграла политика компании OpenAI, которая выпустила программу, одновременно закрыв доступ к ней и к программному коду для большинства пользователей. Этот факт подстегнул интерес к продукту и спровоцировал независимых программистов и художников создавать собственные аналогичные алгоритмы. При этом каждая из таких программ, как например «Афантазия» В. Эпштейна, оказалась по-своему уникальной.

Во-вторых, появление подобных программ актуализировало новый виток дискуссии о роли искусственного интеллекта в искусстве, которая напрямую касается трудной проблемы человеческого сознания. Современная философия, нейрофизиология, психология и другие науки предпринимают попытки обнаружить новую материальность, недоступную человеку физически, так как пространство восприятия структурировано природой сознания. Таким образом, первые попытки прикоснуться к нечеловеческому требуют создания социотехнических гибридов – естественного и искусственного интеллектов, например, художника и нейронной сети. И несовершенство алгоритмов первого поколения даёт гораздо более широкие возможности для художественного поиска в этом направлении, чем отшлифованная технология более поздних программных версий.

ИСТОЧНИКИ

1. Актен М. New Elements. Цифровая материальность. Laboratoria Art&Science Foundation URL: https://laboratoria.art/new-elements/ (дата обращения 05.01.2022)

2. Сердечнова Е. Художник Марио Клингеманн: «Я боюсь людей больше, чем машин» // Культура, 2020. №3 URL https://portal-kultura.ru/articles/exhibitions/326778-khudozhnik-mario-klingemann-ya-boyus-lyudey-bo... (дата обращения 04.12.2021)

3. Фишман Р. Как работает нейронная сеть: Deep Dream // TechInsider, 2016. URL: https://www.techinsider.ru/technologies/212091-kak-rabotaet-neyronnaya-set-deep-dream/ (дата обращения 30.12.2020)

4. Blas Z., Wyman J. Im here to learn so:)))))) // ZKM. Center for Art and Media Karlsruhe. 2017. URL: https://zkm.de/en/im-here-to-learn-so (дата обращения 20.01.2022)

5. Hobbs T. The importance of generative art // Tylerxhobbs, 2021. URL: https://tylerxhobbs.com/essays/2021/the-importance-of-generative-art?fbclid=IwAR2xFKWmyQJQyvaPM9tN1VLdBlxJ9XKbcZHqgInNX4lus6v7io1ykVyC_OE (дата обращения 13.05.2021)

6. Kogan G. Deepdream + Densecap // genekogan.com, 2016 URL: https://vimeo.com/173062236 (дата обращения 19.09.2022)

7. Mordvintsev A., Christopher O., Mike T. Inceptionism: Going Deeper into Neural Networks // Google AI Blog. June 17, 2015. https://ai.googleblog.com/2015/06/inceptionism-going-deeper-into-neural.html (дата обращения 20.01.2022)

8. Packer R. Glitch Expectations: A Conversation with Jon Cates, 2014. URL: https://hyperallergic.com/134709/glitch-expectations-a-conversation-with-jon-cates/ (дата обращения 05.01.2022)

ЛИТЕРАТУРА

1. Бодрийяр Ж. Симулякры и симуляции / Перевод с французского А. Качалова. – Москва: Издательский дом «ПОСТУМ», 2015.

2. Бохоров К.Ю. Алгоритмическая апофения и эстетизация данных // Художественная культура. 2021. №3 (38). С. 242-255.

3. Жагун-Линник Э.В. Возобновление авангардно-модернистских стратегий и этические аспекты в глитч-манифестах // Вестник Московского государственного университета культуры и искусств. 2020. № 6(98). С. 93-104

4. Жагун-Линник Э.В. Глитч-арт как феномен современной культуры : специальность 24.00.01 «Теория и история культуры» : диссертация на соискание ученой степени кандидата культурологии / Российский Государственный Гуманитарный Университет. – Москва, 2021.

5. Кузнецов А.Г. Латур и его «Технолог»: вещи, объекты и технологии в акторно-сетевой теории // Социология власти. 2015. №1. C. 55-89.

6. Латур Б. Визуализация и познание: изображая вещи вместе // Философско-литературный журнал «Логос». 2017. №2 (117). С. 95-156.

7. Манович Л. Теории софт-культуры. – Нижний Новгород: Ласточка, 2017.

8. Мигунов А.С., Ерохин С.В. Алгоритмическая эстетика. – Санкт-Петербург: Алетейя, 2010.

9. Першеева А. Видеоарт. Монтаж зрителя. – Москва: Пальмира, 2020.

10. English M., Kaplan G., Rogers L.J. Is painting by elephants in zoos as enriching as we are led to believe? // PeerJ journal. 2014. Vol. 2. DOI: 10.7717/peerj.471

11. Forbes A. Creative AI: From Expressive Mimicry to Critical Inquiry // Artnodes, 2020, Num. 26, pp. 1-10. DOI: 10.7238/a.v0i26.3370.

12. Galanter P. Complexism and the Role of Evolutionary Art // The Art of Artificial Evolution. Springer Berlin, Heidelberg, 2008. – P. 311-332

13. Galanter, P. “Towards Ethical Relationships with Machines That Make Art”. Artnodes, 2020, Num. 26, pp. 1-9. DOI: 10.7238/a.v0i26.3371

14. Goriunova O., Shulgin A. Software Studies: A Lexicon / ed. Matthew Fuller. − Cambridge, Mass: MIT Press, 2008.

15. Manovich L., Arielli E. Artificial Aesthetics: A Critical Guide to AI, Media and Design, Lev Manovich and Emanuele Arielli, 2022.

16. Manovich L. Defining AI Arts: Three Proposals // AI and Dialog of Cultures, exhibition catalog, Hermitage Museum, Saint-Petersburg, 2019.

SOURCES

1. Akten M. New Elements. Digital Materiality. Laboratoria Art&Science Foundation URL: https://laboratoria.art/en/new-elements/ (accessed 05.01.2022)

2. Blas Z., Wyman J. “Im here to learn so:))))))” ZKM. Center for Art and Media Karlsruhe. 2017. URL: https://zkm.de/en/im-here-to-learn-so (accessed 20.01.2022)

3. Fishman R. “Kak rabotaet nejronnaya set': Deep Dream.” [How the neural network works: Deep Dream]. TechInsider, 2016 URL: https://www.techinsider.ru/technologies/212091-kak-rabotaet-neyronnaya-set-deep-dream/ (accessed 30.12.2020)

4. Hobbs T. “The importance of generative art.” Tylerxhobbs, 2021. URL: https://tylerxhobbs.com/essays/2021/the-importance-of-generative-art?fbclid=IwAR2xFKWmyQJQyvaPM9tN1V... (accessed 13.05.2021)

5. Kogan G. “Deepdream + Densecap.” genekogan.com, 2016 URL: https://vimeo.com/173062236 ( accessed 19.09.2022)

6. Mordvintsev A., Christopher O., Mike T. “Inceptionism: Going Deeper into Neural Networks.” Google AI Blog. June 17, 2015. https://ai.googleblog.com/2015/06/inceptionism-going-deeper-into-neural.html (accessed 20.01.2022)

7. Packer R. Glitch Expectations: A Conversation with Jon Cates, 2014. URL: https://hyperallergic.com/134709/glitch-expectations-a-conversation-with-jon-cates/ (accessed 05.01.2022)

8. Serdechnova E. Khudozhnik Mario Klingemann: “Ya boyus' lyudei bol'she, chem mashin.” [Artist Mario Klingemann: "I'm more afraid of people than machines"]. Kul'tura [Kultura], 2020, №3 Available at: https://portal-kultura.ru/articles/exhibitions/326778-khudozhnik-mario-klingemann-ya-boyus-lyudey-bo... (accessed 04.12.2021)

REFERENCES

1. Baudrillard J. Simulacres et Simulation. Éditions Galilée (French) & Semiotext(e) (English), 1983,

2. Bokhorov K.Yu. “Algoritmicheskaya apofeniya i estetizaciya dannyh.” [Algorithmic Apophenia and Aestheticization of Data]. Hudozhestvennaya kul'tura [Art & Culture Studies], 2021, no.3 (38), pp. 242-255.

3. English M., Kaplan G., Rogers L.J. “Is painting by elephants in zoos as enriching as we are led to believe?” PeerJ journal, 2014, vol. 2. DOI: 10.7717/peerj.471

4. Forbes A. “Creative AI: From Expressive Mimicry to Critical Inquiry.” Artnodes, 2020, num. 26, pp. 1-10. DOI: 10.7238/a.v0i26.3370.

5. Galanter P. “Complexism and the Role of Evolutionary Art.” The Art of Artificial Evolution. Springer Berlin, Heidelberg, 2008. Pp. 311-332.

6. Galanter P. “Towards Ethical Relationships with Machines That Make Art.” Artnodes, 2020, num. 26, pp. 1‑9.

7. Goriunova O., Shulgin A. Software Studies: A Lexicon. Cambridge, Mass, MIT Press, 2008.

8. Kuznetsov A.G. “Latour and his “technologist”: things, objects and technology in actor-network theory” [Latour and his “Technologist”: Things, Objects and Technologies in Actor-Network Theory]. Sotsiologiya vlasti [ Sociology of Power], 2015, no. 1, pp. 55-89.

9. Latour B. “Vizualizacija i poznanie: izobrazhaja veshhi vmeste” [Visualisation and Cognition: Drawing Things Together]. Logos, 2017, no. 2 (117), pp. 95-156.

10. Manovich L., Arielli E. Artificial Aesthetics: A Critical Guide to AI, Media and Design, Lev Manovich and Emanuele Arielli, 2022.

11. Manovich L. “Defining AI Arts: Three Proposals.” AI and Dialog of Cultures, exhibition catalog, Hermitage Museum, Saint-Petersburg, 2019.

12. Manovich L. Theories of Software Cultures. Nizhnii Novgorod, Lastochka, 2017.

13. Migunov A.S., Erokhin S.V. Algoritmicheskaya ehstetika [Algorithmic aesthetics]. Saint-Petersburg, Aleteiya, 2010.

14. Persheeva A. Videoart. Montazh zritelya [Video art. Mounting by viewer]. Moscow, Pal'mira, 2020.

15. Zhagun-Linnik E.V. “Vozobnovlenie avangardno-modernistskih strategij i eticheskie aspekty v glitch-manifestah” [The Renewal of Avant-garde and Modernist Strategies and Ethical Aspects in the Glitch Manifestos]. Vestnik Moskovskogo gosudarstvennogo universiteta kul'tury i iskusstv [Bulletin of the Moscow State University of Culture and Arts], 2020, no. 6(98), pp. 93-104

16. Zhagun-Linnik E.V. Glitch-art kak fenomen sovremennoi kul'tury, Dr. philos. sci. diss. Moscow [Glitch art as a contemporary cultural phenomenon, Dr. philos. sci. diss. Moscow], Russian State University for the Humanities, 2021.

СПИСОК ИЛЛЮСТРАЦИЙ

Рис. 1. Анна Ридлер. Proof of Work: The Shell Record, 2021.

Источник: Личный фотоархив автора.

Рис. 2. Анна Ридлер. Proof of Work: The Shell Record, 2021.

Источник: Личный фотоархив автора.

Рис. 3. Мемо Актен. За всем следят машины благодати и любви, 2021.

Источник: Личный фотоархив автора.

СНОСКИ