Ю.В. КАЛАЙКОВА Проявления мультимодальности в дизайне

ПРОЯВЛЕНИЯ МУЛЬТИМОДАЛЬНОСТИ В ДИЗАЙНЕ
УДК 7.01+7.012
Автор: Калайкова Юлия Владимировна, старший преподаватель кафедры культурологии и дизайна Уральского федерального университета (620002, Екатеринбург, ул. Мира, 19), e-mail: pictaplasma@gmail.com
ORCID ID: 0000-0002-2789-306X
Аннотация: В статье рассмотрены различные проявления мультимодальности в дизайне в рамках социальной семиотики и теории дискурса, описаны свойства симультанности и холистичности мультимодальных дизайн-текстов в социокультурном контексте. Исследование мультимодальности дизайна происходит в трёх направлениях: вглубь семиотической структуры дизайн-продукта и психических процессов его восприятия; вширь – в многочисленных формах организации взаимодействия участников коммуникации; во времени – в аспектах культурного цитирования. Автор выделяет и описывает структурную, цитатную, априорную мультимодальность, а также мультимодальное взаимодействие. Априорность мультимодального восприятия, конвенциональность мультимодальных дизайн-текстов рассматриваются как инструменты достижения целей дизайн-коммуникации.
Ключевые слова: дизайн-текст, социальная семиотика, дискурс дизайна, холистичность, симультанность, интермедиальность, структурная мультимодальность, цитатная мультимодальность, априорная мультимодальность, мультимодальное взаимодействие

VARIATIONS OF MULTIMODALITY IN DESIGN
UDC 7.01+7.012
Author: Kalaikova Yuliya Vladimirovna, senior lecturer, Department of Cultural Studies and Design, Ural Federal University (19, Mira str., Yekaterinburg, Russia, 620002), e-mail: pictaplasma@gmail.com
ORCID ID: 0000-0002-2789-306X
Summary: The article is devoted to variations of design multimodality within the framework of social semiotics and discourse theory, describing the simultaneity and holism of multimodal design texts in a socio-cultural context. The article gives a detailed analysis of multimodality in three directions: deep into the semiotic structure of the design product and the mental processes of its perception; in breadth – in numerous forms of organizing the interaction of communication participants; in time – in aspects of cultural citation. The author identifies and describes structural, citation, a priori multimodality and multimodal interaction. The a priori nature of multimodal perception and conventionality of multimodal design texts is considered as tools for achieving the goals of design communication.
Keywords: design text, social semiotics, design discourse, holistic, simultaneous, intermediality, structural multimodality, quotation multimodality, a priori multimodality, multimodal interaction

Ссылка для цитирования:
Калайкова Ю.В. Проявления мультимодальности в дизайне / Ю.В. Калайкова // Артикульт. 2021. 41(1). С. 6-18. DOI: 10.28995/2227-6165-2021-1-6-18

скачать в формате pdf

Введение

Дизайн в постмодернистском видении мира можно рассматривать как мультимодальное «текстосложение», работу с текстами, контекстами и значениями. Большинство исследований мультимодальности в дизайне посвящены анализу семиотической структуры креолизованных дизайн-текстов, однако мультимодальность может быть обнаружена не только в самом продукте дизайна, но и в каналах и средствах дизайн-коммуникации [Вавилова и др., 2016, с. 46]. Исследователи дизайна с позиций социальной семиотики делают акцент на визуальном текстосложении, описывают множественность художественных кодов, проблему значений и интерпретаций, – мы, в свою очередь, хотим обратить внимание на многообразие проявлений мультимодальности в дизайне, дать более объёмное представление о дизайне с позиций социальной семиотики и теории дискурса.

Под дизайн-текстом мы понимаем согласованный с контекстом целостный знаковый комплекс, воздействие которого усиливается посредством его активного воспроизводства [Gualberto, Kress, 2019, с. 3].

Дизайн-текст также является формой реализации дизайн-дискурса [Романова, 2016, с. 83]. Дизайн-дискурс – это завершённый или незавершённый акт коммуникативного действия, комплексное коммуникативное событие и его оформленный результат, проектируемый дизайнером и интерпретируемый пользователями в определённом временном, пространственном и культурном контексте. Дизайн-текст предстаёт как сообщение, которое передаётся в процессе дизайн-коммуникации. Модусами такого сообщения могут выступать письменная и устная речь, последовательность изображений, видео и анимация, фотография, жесты, голос, взгляд, позы, форма и фактура, а также принадлежность дизайн-текста к разным стилям, эпохам, авторам.

Значения мультимодальных дизайн-текстов реализуются одновременно несколькими семиотическими кодами [Kress, van Leeuwen, 2006, с. 177]. Мультимодальность дизайн-текста может быть выражена динамически через видео и анимацию, в виде микроанимации на сайте; интерактивно, в виде сайтов и сложных интерактивных систем: мобильных приложений, операционных систем, интерактивных панелей, crm-систем и др.; графически, в виде иллюстраций, фотографий, веб-иконок и символов дорожных знаков. Однако, как мы вскоре убедимся, любой дизайн-текст является воплощением мультимодальности. Данный факт заставляет задуматься о смысле дизайн-текстов, а дизайнеру встать перед выбором использования комплекса и характера представления модальностей для усиления коммуникативного воздействия.

Рассматривая дизайн как коммуникативный акт, мы делаем акцент на активной позиции пользователей и других стейкхолдеров (проектной команды, клиентов и заказчиков, партнеров, СМИ и др.) в процессе создания и интерпретации дизайн-текстов. Модернистское представление дизайна «форма следует за функцией» здесь переходит в новый концепт – «функция следует за формой», где наличествующие продукты и процессы могут быть использованы по-новому, в новых ситуациях, с новыми требованиями. Например, использование массовых открытых онлайн-курсов предполагает большую свободу и ответственность преподавателей и студентов за результаты обучения – они адаптируют готовый дизайн под себя и тем самым становятся разработчиками собственных методов обучения [Kress, Selander, 2012, с. 265].

Методология и методика исследования

Основу исследования составляет мультимодальный подход социальной семиотики, ориентированный на выявление смыслов различных модусов, сводящий все смыслообразующие семиотико-дискурсивные ресурсы в единую дескриптивно-аналитическую область. В рамках социосемиотики как трансдисциплинарного направления были использованы инструментарии разных социогуманитарных наук: теории дизайна, искусствоведения, культурологии, философии, лингвистики, психологии и дискурс-анализа.

В рамках коммуникативных, дискурсивных и функционально-стилистических подходов дизайн выступает как текст, контекст и дискурс. Мультимодальный дизайн-текст существует как смысловая единица в определённом контексте, находящем выражение посредством дискурса, обеспечивающего непосредственное переживание знаково-эпистемической деятельности. В дизайн-дискурсе задаются контекстуальные координаты – лингвистические, ситуационные, культурные. Дискурс, основанный на прошлом знаковом опыте, представляет собой проектирование будущего опыта на материале непосредственно переживаемой знаковой коммуникации.

Материалом исследования послужили продукты графического дизайна и веб-дизайна: печатная продукция, рекламные сообщения, интерактивные системы, – а также трёхмерные формы промышленных изделий.

Описание исследования

Дизайн, использующий художественные средства выразительности, можно до некоторой степени отождествить с художественным искусством. Несмотря на постепенно возрастающие возможности социосемиотического инструментария в интерпретации произведений искусства, в том числе изобразительного, исследования мультимодальности в дизайне немногочисленны. 

Существующие научные работы можно условно разделить на два направления: в первом рассматривается дизайн, явленный как текст, в рамках семиотики культуры [Лаврентьева, 2008; Жердев, 2010; Черневич, 1975]; во втором дизайн понимается как дискурс, где пользователь предстаёт как активный субъект продуцирования образов, а креолизованный продукт дизайна, фактура которого состоит из двух негомогенных частей – вербальной (текстовой) и невербальной (иллюстрации, фотографии, графики и др.), обладает свойствами персуазивности [Yassine, 2014; Ledin, Machin, 2019; Kress, Van Leeuwen, 2006; Hansen, Machin, 2013].

Исследователи второго направления используют теорию и методологию социальной семиотики и инструментарий мультимодального дискурс-анализа. Некоторые авторы рассматривают мультимодальность продуктов дизайна с учётом социально-политического контекста в рамках концепции критического мультимодального дискурс-анализа, где мультимодальные дизайн-тексты представляют собой мощный инструмент социального воздействия, а дизайнер, следовательно, обладает властью [Гомез, 2010, с. 55]. 

Говоря о мультимодальности в дизайне, следует отметить работы Г. Кресса, который исследует мультимодальные дизайн-тексты с точки зрения смыслообразования и трансляции значений. Г. Кресс описывает шаблоны визуальных структур, репрезентирующих окружающий мир, делая упор на особенностях восприятия разнородных элементов как единого образа, на отношении понимаемого и воспринимаемого [Kress, Van Leeuwen, 2006, с. 47]. Например, ситуации, когда порядок размещения письменного текста и изображения в макете значительно меняет смысл сообщения [там же, с. 43].

Отдельного внимания заслуживает авторская методология семиотического дискурсивного моделирования Г. Н. Лолы, теоретической основой которой является социальная семиотика неопрагматистской направленности [Лола, 2016, с. 43]. Мультимодальность дизайна здесь разворачивается не «горизонтально» (в «классическом» определении множественности способов передачи сообщения: в самом распространённом варианте – «текст» + «изображение»), а «вертикально»: одновременно «вглубь» продукта дизайна и «вовне» – к социокультурному контексту, провозглашая дизайн как практику очерчивания границ, производящих смыслы. Образ дизайн-продукта понимается здесь как принципиально незавершённая, становящаяся структура, состоящая из образа-семиотической модели, образа-дискурсивной модели и послания. В семиотической модели образ предстаёт как целостное смысловое образование, как завершённое единство; в дискурсивной модели – как смысловое образование, открытое для интерпретаций с разворачиванием разрушенной целостности в дискурс; в послании – как процесс производства смыслов, программирование образа продукта дизайна на самонастройку и саморазвитие [там же, с. 54].

Структурная мультимодальность

Во второй половине XX в. в академическом языке появилась большая группа понятий, призванных описать особенности усложняющейся медиакоммуникации – семиотического комплекса, работающего как единое целое: трансмедиальность, интермедиальность, интрамедиальность, мультимодальность, поликодовость, гибридность, полисемичность, креолизованность и др. [Кожемякин, 2019, с. 5]. Даже прототипический текст с репрезентативным семиотическим пространством (письма, статьи в энциклопедиях, интервью, рецепты и т. д.) сегодня считается не языковым, а мультимодальным, что объясняется всё большей интеграцией изображений, а также систематическим текстовым дизайном [Баах, 2019, с. 3].

Применительно к дизайну понятия мультимодальность, мультиканальность или мультимедийность (где под «медиумом» обычно понимается изображение, текст, звук) выражают «холистичность, симультанность и неразрывность формирования значения с помощью всего комплекса модусов его передачи» [Загидуллина, 2019, с. 184].

Под свойством холистичности понимается полная содержательная и формальная целостность и завершённость мультимодальных дизайн-текстов, не сводимая к сумме составляющих его языковых и неязыковых модальностей. В основе холистического подхода – проблема качественного своеобразия мультимодальных дизайн-текстов как целого, вопросы соотношения частей и целого, приоритета одних частей по отношению к другим, появления у отдельных модальностей как частей целого новых качеств, закономерностей и свойств, не присущих им в разобщённом состоянии.

В данном аспекте заключена методологическая сложность изучения мультимодальных дизайн-текстов: каким образом возможно определить границу целостности? Возможно ли «расщепление» целостного дизайн-текста до отдельных модусов с целью его анализа; до какой степени, до каких элементарных частиц возможно данное «расщепление»: необходимо ли проанализировать колористику, формально-композиционные качества изображения как целого и/или свойства отдельно изображённых объектов?

С распространением сопутствующих письменному тексту фотографии, графики и иллюстрации в печатной и рекламной продукции, книгах и интерактивных системах, исследователей всё больше интересует семиотическая структура дизайн-текстов. К данной проблематике обращался ещё Р. Барт, задаваясь вопросом: «избыточно ли изображение по отношению к тексту, дублирует ли оно информацию, содержащуюся в тексте, или же, напротив, текст содержит дополнительную информацию, отсутствующую в изображении?» [Барт, 1994, с. 303]. Письменный текст может существенно изменить тональность «прочтения» изображений, а характер изображения, в свою очередь, оказать значительное влияние на интерпретацию текста. Например, две таблички с надписью «Спасибо, что не курите», на одной из которых изображена перечеркнутая сигарета, на другой – изображение руки с зажжённой сигаретой, могут быть восприняты по-разному (рис. 1). В первом случае тактичный посыл выразит законное требование, во втором – введёт в заблуждение адресата сообщения.

_{^{Рис. 1. Таблички с надписью «Спасибо, что не курите!». Иллюстрация автора.}}

В свойстве холистичности кроется предпосылка креативности, творческой продуктивности: «... по заданным свойствам частей и их взаимодействиям нельзя правильным образом получить выводы о свойствах системы в целом» [Саймон, 2004, с. 104]. Однако продукт дизайна, рассматриваемый как система мультимодальных элементов, может быть весьма прост, «кажущаяся его сложность может быть отражением сложности окружающей его среды» [там же, с. 66].

Цитатная мультимодальность

Под симультанностью в дизайне понимается одновременная репрезентация текстов-модулей в пространстве единого дизайн-текста, отражающая взгляды дизайнера на актуальные способы достижения эффективной дизайн-коммуникации, основанной на различных синтетических приёмах [Петров, 2010, с. 10]. Симультанность мультимодальных дизайн-текстов предполагает, с одной стороны, огромный потенциал для обновления языка дизайна, с другой – неизбежное подчинение процесса дизайн-проектирования глобальным социальным, политическим и культурным процессам. Данный аспект относится к полю исследования мультимодальности в его тесной связи с культурой, а именно культурными образцами, где утверждается, что современное человеческое мышление – цитатное, а дизайн – цитатная деятельность, в основе которой лежат механизмы подражания, копирования, заимствования, интерпретации, адаптации, обработки, переработки, дублирования, комбинирования, авторской адаптации и др.

Таким образом, симультанность как свойство дизайн-текстов неразрывно связана с явлением интермедиальности (интертекстуальности) – впитыванием и объединением элементов других текстов в едином мультимодальном дизайн-тексте, существующем в рамках одной культуры, в частности, «глобальной культуры» [Исагулов, 2019, с. 38].

Интермедиальность мультимодальных дизайн-текстов может быть классифицирована следующим образом:

1. Художественная интермедиальность – взаимодействие художественных кодов в медиальном многообразии форм: «музыкальность», «пластичность», или, как в примере, «театральность» интерактивных систем (рис. 2).

_{^{Рис. 2. Главная страница онлайн-ресурса для просмотра восточноевропейских фильмов с субтитрами. Дизайнер Alex Romaniukha.}}

2. Нормативная интермедиальность – создание образа продукта дизайна на материале «классических» образов, где объект-первоисточник выступает как образец. Например, использование «образа реального переключателя» в дизайне переключателя на экране компьютера или другого устройства в интерактивной системе (рис. 3, 4). Как следствие, происходит создание «метаязыка дизайна» – целостного многоозначающего пространства в системе культуры.

_{^{Рис. 3. Фотография клавишного выключателя Rexant с витрины интернет-магазина Wildberries.}}

_{^{Рис. 4. UI переключатель. Иллюстрация автора.}}

3. Цитатная интермедиальность – содержание одного медиума цитирует содержание иного медиума, выступающего как референт. Происходит создание новых художественных образов в продукте дизайна через диалог культур посредством ссылок. Например, использование композиции, цвета и пластики советского конструктивистского плаката в оформлении раздела веб-сайта компании, посвящённому социальным инвестициям (рис. 5).

_{^{Рис. 5. Презентация концепции веб-сайта компании «Алпром», страница социальных инвестиций. Дизайн-студия aic.}}

Мультимодальность, явленную через интермедиальность культуры, мы назовём цитатной. В отличие от структурной мультимодальности, находящейся в семиотической структуре дизайн-текста, цитатная мультимодальность разворачивается во времени – в аспектах культурного цитирования.

Априорная мультимодальность

Анализ границ мультимодальности в дизайне ещё более усложняется, когда речь идёт о проявлениях мультимодальности, основанных на опытном знании человека – совокупности чувственных восприятий, приобретённых человеком в процессе взаимодействия с внешним миром. Такая мультимодальность может быть выражена во взаимосвязи визуального и телесного, когда «визуальность» мира формируется собственными телесными процессами. Такой тип связи описан в исследованиях телесно-ориентированного подхода и концепции «телесно воплощённой симуляции», где тело зрителя и его активность задают условия для восприятия экранных образов [Деникин, 2017, с. 117].

Когда письменный текст, воспринимаемый визуально, «слышится» посредством внутренней речи с одновременным продуцированием новых визуальных образов, мы можем говорить о связи визуального и аудиального. Например, разнообразные сочетания шрифтов с соответствующим цветовым решением могут дать новые тональности прочтения письменного текста (рис. 6).

_{^{Рис. 6. Иллюстрация восприятия манеры произношения в зависимости от использованных шрифтов на примере оформления слова «Hello». Гарнитуры: System, Myriad Pro, French Script MT, Kitten Fat. Иллюстрация автора.}}

Одновременные ощущения движения, невесомости, полёта, тесноты при созерцании динамических визуальных и аудиальных образов указывают на союз визуального, аудиального и проприоцептивного. Ощущение «кислинки» при созерцании изображения лимона, восприятии слова «лимон» возникает во взаимодействии визуального, аудиального и вкусового. 

Мы указываем на процесс оперирования смыслами, отсутствующими в воспринимаемых модальностях, но существующими в области опытного знания. На данный аспект обратил внимание У. Эко при описании восприятия образа как поликодовой структуры, оформленной на основании имеющегося опыта; в качестве примера он проанализировал восприятие холода, «идущего» от изображения кружки пива [Эко, 2006, с. 156].

Интерпретируя положения теории бихевиоризма, можно предположить, что благодаря механизму условного рефлекса человек может «видеть или слышать стимулы, которых нет»: он может воспринять (увидеть, услышать или почувствовать) образ не только в случае, когда ему показывают данный образ, но и тогда, когда ему предъявляют стимул, часто сопровождающий предъявление образа: «Звонок на обед не только вызывает слюноотделение, но и заставляет “увидеть пищу”» [Саймон, 2004, с. 56].

Человек может ментально сконструировать визуальный, аудиальный или кинестетический образ на основе некоторых стимулов, которые могут не иметь непосредственной связи с предъявляемым образом. Это справедливо и для проявляемых человеком эмоциональных реакций, обусловленных стимулами, присутствующими при возникновении положительных или отрицательных событий, что в значительной степени определяет, как человек впоследствии будет относиться к тем или иным образам. Исходя из теоретических положений поведенческой психологии, мы можем утверждать, что человек «видит», «слышит», «ощущает» намного больше непосредственно предъявляемых ему стимулов.

Подобное проявление мультимодальности мы назовём «априорной», где мультимодальный образ является заранее целостно сконструированным в памяти реципиента. Здесь кроются существенные возможности мультимодального воздействия дизайнера на пользователя.

Мультимодальное взаимодействие

Отдельно следует упомянуть актуальные в настоящий момент исследования явления «мультимодального взаимодействия», при котором интерактивная система предоставляет пользователю несколько режимов ввода и вывода данных с учётом временных и семантических комбинаций различных модальностей. Пользователь, с одной стороны, может ввести данные посредством нескольких «модальностей» (помимо клавиатуры и мыши – это синтез речи, письменный ввод, прикосновение, жесты, взгляд, движение головы и тела), с другой стороны, получить информацию о системе в «мультимодальном» формате (письменный текст, синтез речи, смарт-графики и др.). Интерактивная мультимодальная система, как правило, сочетает в себе визуально-тактильную (через дисплей, клавиатуру и мышь) и голосовую модальности (распознавание речи, синтез речи и звука) [Hoste, Dumas, Signer, 2011].

Например, при взаимодействии пользователя с интерактивной приставкой воспроизведение видео выполняется при помощи пульта, а поиск по каталогу осуществляется посредством голосовых команд. Основной принцип такого взаимодействия – упрощение ввода и вывода информации с расчётом когнитивной нагрузки и пониманием ожиданий пользователей.

Сложность мультимодального взаимодействия состоит в том, что оно трансформирует наше видение временной и пространственной организации: исследования мультимодально-обусловленного взаимодействия сосредоточены на изучении множества одновременно протекающих сложных форм интеракции [Mondada, 2016, с. 341]. Это создаёт проблемы для изучения и тестирования мультимодального взаимодействия, включающего в себя анализ языка, движений тела, вербально-визуальных и других сенсорных кодов.

Интенциональность как предпосылка восприятия мультимодального дизайн-текста

В основе дизайн-дискурса лежит коммуникативная интенция – намерение дизайнера донести до пользователя репрезентативную интенцию и вызвать у него определённую реакцию. Так как продукты дизайна зачастую выполняют прикладную, вспомогательную функцию, обеспечивая потребности маркетинга, сферы информационных технологий, СМИ, политической агитации и др., в основе дизайн-дискурса будет лежать интенция сферы-заказчика: интенция побуждения к покупке, интенция информирования, интенция убеждения, интенция развлечения, интенция познания и др.

Интенциональность мы понимаем, с одной стороны, в модусе желательности, селективности, заинтересованности пользователя в восприятии объекта дизайна, с другой – как способность продукта дизайна отражать коммуникативное намерение дизайнера, достижение поставленной им цели. В обоих представлениях интенциональность являет собой две взаимообусловленные части единой интенции дизайнера: интенция пользователя получает свое продолжение в интенции дизайнера, выражающейся в продукте дизайна, то есть в творимом им дискурсе.

В рамках дизайна интенциональность можно трактовать как явление, задающее коммуникативную установку и определяющее сверхзадачу коммуникации. На этой основе дизайнер формирует стратегию своей будущей коммуникации через продукт дизайна – план воздействия на потребителя, избранный в соответствии с целеустановкой.

Проблема интенциональности как возможности иметь различные убеждения в отношении одного и того же объекта связана с проблемой двойной контингенции (двойной зависимости) взаимодействия. С одной стороны, стимулом для коммуникации является выбор, сделанный на основе потребностей одного из участников коммуникации (заказчика); в свою очередь, реакция другого участника будет зависеть как от посылаемого стимула, так и от потребностей другого участника (пользователя). Как мы можем предположить, восприятие и реакция партнёров по коммуникации не определяются однозначно. На практике же мы видим примеры эффективного взаимодействия между дизайнером и пользователем. Каким образом в условиях крайней неопределённости осуществляется данное взаимодействие? 

Во-первых, дизайнер создаёт прецедент – удовлетворение потребностей заказчика через удовлетворение потребностей пользователя. Без того хитрую цепочку отношений усложняет формат удовлетворения данных потребностей через дизайн-текст [Gualberto, Kress, 2019, с. 3].

Во-вторых, вследствие двойной контингенции, описанной выше, «коммуникация не может существовать как без отвлечения от частного в конкретных ситуациях, так и без стабильности значения, которую могут гарантировать только «конвенции», соблюдаемые обеими сторонами… » [Парсонс, 2002, с. 437]. Вдобавок двойная зависимость «предполагает нормативную ориентацию действий» в общей для всех участников коммуникации символической системе [там же]. Иными словами, общаясь в системе «заказчик-дизайнер-пользователь», участники коммуникации придерживаются формальной и содержательной конвенциональности общей символической системы, действующей по заранее установленным правилам – внешние символы порождают общие или взаимодополняющие образы.

Культура определённого социума задаёт эталоны – ценностные ориентации, используемые в оценке продуктов дизайна. Дизайн-коммуникация при этом является необходимым условием для производства культурных образцов: «… как источник для создания значения и конструирования опыта. Тексты принадлежат языковой системе и детерминированы ситуационным контекстом, чья семиотическая структура, в свою очередь, детерминирована контекстом культуры» [Гаврилова, 2016, с. 104].

Сделаем вывод, что опытное знание пользователя-реципиента когерентное семиотическому содержанию мультимодального дизайн-текста, является необходимой предпосылкой полноценного восприятия продукта дизайна. В данном аспекте особенно важным является исследование роли обобщённых символических средств общения и культурных ценностей в проектировании мультимодальных дизайн-текстов.

Полученные результаты

Рассмотрение многообразия проявлений мультимодальности в дизайне расширяет рамки традиционных подходов в исследовании дизайна на основе положений социальной семиотики и теории дискурса. Мультимодальные составляющие дизайн-текста функционируют с учётом определённых социокультурных факторов, а также личностных характеристик реципиентов, их потребностей, эмоций и опыта. Мультимодальный дизайн-текст соотнесён с культурой, привязан к контексту, однороден, актуален, обладает определённой жанровой принадлежностью.

Мультимодальность дизайна может быть обнаружена как в самом продукте дизайна, так и в каналах и средствах дизайн-коммуникации. В продукте дизайна как сложном семиотическом объекте через мультимодальность выражены характеристики материального воплощения различных медиа и знаков – текстов, изображений, анимации и др. Ключевой семиотической формой мультимодальных дизайн-текстов является изображение (фотография, иллюстрация), объединённое с другими семиотическими формами, в основном с текстом. Рассмотрение продукта дизайна как мультимодального текста предполагает исследование роли обобщённых символических средств общения в проектировании дизайн-коммуникации. 

Контекст в широком смысле понимается нами как выражение опыта переживания, любой фактор – семиотический, культурный, психологический, влияющий на интерпретацию дизайн-текстов. Контекст можно условно разделить на внешний (ситуативные условия коммуникации) и внутренний – психологические факторы и весь прежний опыт участников взаимодействия, влияющий на процесс коммуникации. Контекст позволяет дополнить семиотический анализ мультимодальных продуктов дизайна социологическим, историческим, культурологическим исследованием.

Практикуемый дизайн-дискурс определяется контекстом и обеспечивает непосредственность переживания опыта. Дискурс является феноменом широкого плана, включающим социальные, культурные и исторические факторы, а также особенности конкретного интерактивного контекста.

Мультимодальный дизайн-текст, существующий в сознании автора, и текст, воспринимаемый реципиентом, не идентичны. Восприятие и понимание дизайн-текстов представляют собой воспроизводство личностных смыслов, порождаемых собственным опытом пользователя. Послание дизайнера и восприятие пользователя имеют область пересечения, границы которой определяются качеством семиотического дизайн-текста, а также совпадением концептуальных систем дизайнера и пользователя, воплощённым в конвенциональных знаках.

Мультимодальное взаимодействие, в свою очередь, – это предоставление одновременно нескольких модальностей для взаимодействия пользователя с объектом дизайна, одновременность использования разных ресурсов, таких как мимика, позы, жесты, взгляд, движения тела, а также использование фонетики, лексики и грамматики для организации взаимодействия участников коммуникации. 

Таким образом, исследование дизайна может быть связано, во-первых, с анализом семиотической структуры мультимодальных дизайн-текстов, во-вторых, с изучением внешних условий коммуникации (доступность, информативность, ситуативность), в-третьих – с учётом психологических особенностей восприятия продуктов дизайна и опыта участников взаимодействия (интенциональность, интермедиальность).

Выводы по результатам исследования

В результате исследования были выделены следующие проявления мультимодальности дизайна:

1. «Структурная мультимодальность» – мультимодальность дизайн-текста, состоящего из нескольких различных модусов передачи значения (изображение, текст, анимация, форма и др.);

2. «Цитатная мультимодальность» проявляется в цитировании элементов различных текстов, существующих в рамках одной культуры или разных культур, в том числе «глобальной культуры», в едином мультимодальном дизайн-тексте: мультимодальность, явленная через интермедиальность культуры;

3. «Априорная мультимодальность» – мультимодальное восприятие объекта, выраженного в одной или нескольких модальностях, основанное на прошлом опыте пользователя. Обусловливает ментальную реконструкцию визуальных, аудиальных, чувственных образов на основе предъявляемого стимула. Повышает ценность субъективного восприятия пользователя, его опыта, ставит фокус на изучении преимущественно прагматики коммуникативного акта в дизайне.

Отдельно отметим «мультимодальное взаимодействие» как одновременное существование нескольких модальностей для взаимодействия пользователя с продуктом дизайна.

Для эффективного восприятия мультимодального дизайн-текста образное содержание продукта дизайна должно соответствовать образному опыту и актуальным целям воспринимающего субъекта. Нами были выделены следующие закономерности восприятия мультимодального дизайн-продукта:

1. Чем выше композиционная, смысловая и стилистическая сложность мультимодального дизайн-текста, тем большая степень когнитивной активности пользователя требуется для его восприятия.

2. Чем выше уровень рецепторной подготовленности воспринимающего субъекта, его психологических, социальных, культурных, интеллектуальных установок, тем активнее протекает процесс восприятия дизайн-текста. Информация, полученная в прошлом опыте, является необходимой предпосылкой активного восприятия.

3. Чем целенаправленнее деятельность по восприятию мультимодального дизайн-текста, тем выше мера активности такого восприятия.

Для достижения коммуникативного успеха следует учитывать психологические и физиологические особенности восприятия мультимодальных дизайн-текстов, индивидуальный опыт дизайнера и пользователя, обусловливающие параметры проектирования и интерпретации сообщения. Разные модальности могут усиливать, дополнять или изменять смысл всего сообщения, однако значение мультимодального дизайн-текста выявляется через личный опыт, варьируется в зависимости от контекста. Интересы, потребности, эмоциональное состояние пользователя и контекст коммуникации также определяют избирательность восприятия информации пользователем, его интенциональность.

ЛИТЕРАТУРА

1. Баах Ю.В. Визуальная коммуникация и ее связь с языком // Электронный научно-методический журнал Омского ГАУ, 2019. – № 3 (18). – С. 4.

2. Барт Р. Риторика образа // Барт Р. Избранные работы: Семиотика. Поэтика. – Москва: Издательская группа «Прогресс», «Универс», 1994. – С. 297-318.

3. Вавилова Ж.Е., Хусаинов А.Ф., Якубова Д.Д., Паркалов А.В. Мультимодальность в коммуникативной ситуации // Исторические, философские, политические и юридические науки, культурология и искусствоведение. Вопросы теории и практики. Тамбов: Грамота, 2016. – № 3(65). – Ч. 1. – C. 49-52.

4. Гаврилова М.В. Социальная семиотика: теоретические основания и принципы анализа мультимодальных текстов // Политическая наука, 2016. – № 3.– С. 101-117.

5. Гомез Д. Дизайн, власть, новые медиа и дискурс (Перевод Е. Кожемякина) // Современный дискурс-анализ, 2010. – №2–2. – С. 55-62.

6. Деникин А.А. Телесно-ориентированный подход при анализе произведений экранного искусства // Знание. Понимание. Умение, 2017. – № 2. – С. 115-131.

7. Жердев Е.В. Метафора в дизайне. – Москва: Архитектура-С, 2010.

8. Загидуллина М.В. Мультимодальность: к вопросу о терминологической определенности // Знак: проблемное поле медиаобразования, 2019. – № 1 (31). – С. 181-188.

9. Исагулов Н.В. Интермедиальность как зонтичный термин: попытка классификации // Культура слова, 2019. – № 1 (2). – С. 28-39.

10. Кожемякин Е.А. К Вопросу о методологии анализа мультимодальных текстов // Тексты нового века. Материалы Межрегионального круглого стола, 2019. – С. 5-7.

11. Лаврентьева Е.А. Текст и контекст в графическом дизайне: актуальные проблемы и тенденции визуализации текста // автореферат дис. ... кандидата искусств. / Моск. гос. худож.-пром. ун-т им. С.Г. Строганова. – Москва, 2008.

12. Лола Г.Н. Дизайн-код: методология семиотического дискурсивного моделирования. – Санкт-Петербург: ИПК Береста, 2016.

13. Парсонс Т. О структуре социального действия. – Изд. 2-е. – Москва: Академический Проект, 2002.

14. Петров М.А. Симультанность в искусстве. Культурные смыслы и парадоксы. – Москва: Индрик, 2010.

15. Романова Н.Ю. Узловые концепты дискурса дизайна // Русский язык как иностранный и методика его преподавания, 2016. – № 27. – С. 82-88.

16. Саймон Г. Науки об искусственном: Пер с англ. Изд. 2-е. – Москва: Едиториал УРСС, 2004.

17. Черневич Е.В. Язык графического дизайна. – Москва: Всесоюзный научно-исследовательский институт технической эстетики, 1975.

18. Эко У. Отсутствующая структура. Введение в семиологию. – Санкт-Петербург: Симпозиум, 2006.

19. Gualberto C., Kress G. Social Semiotics, 2019. – Pp. 1–9.

20. Hansen A., Machin D. Researching Visual Environmental Communication // Environmental Communication: A Journal of Nature and Culture. 2013. – 7 (2). – Pp. 151-168.

21. Hoste L., Dumas B., Signer B. Mudra: A Unified Multimodal Interaction Framework // Proceedings of the 13th international conference on multimodal interfaces. PublisherACM Press, 2011. – Pp. 97-104.

22. Kress G., Selander S. Multimodal design, learning and cultures of recognition // The Internet and Higher Education, 2012. – 15 (4). – Pp. 265-268.

23. Kress G., T. Van Leeuwen. Reading Images: The Grammar of Visual Design. – London: Routledge, 2006.

24. Ledin P., Machin D. Doing critical discourse studies with multimodality: from metafunctions to materiality // Critical Discourse Studies. 2019. – 16 (5). – Pp. 497-513.

25. Mondada L. Challenges of multimodality: Language and the body in social interaction // Journal of sociolinguistics, 2016. – 20 (3). – Pp. 336-366.

26. Yassine S. Multimodal Design of EFL Textbooks: A Social Semiotic Multimodal Approach // Anglisticum Journal, 2014. – 02 (12). – Pp. 335-341.

REFERENCES

1. Baakh Yu. Vizualnaya kommunikaciya i ee svyaz s yazykom [Visual communication and its connection with language]. In: Elektronnyj nauchno-metodicheskij zhurnal Omskogo GAU [Electronic scientific and methodological journal of Omsk State Agrarian University]. 2019. # 3 (18). P. 4.

2. Barthes R. Ritorika obraza [The Rhetoric Of The Image]. In: Izbrannye raboty: Semiotika. Poetika [Selected works: Semiotics. Poetics]. Moscow, Izdatel'skaja gruppa “Progress”, “Univers”, 1994. Pp. 297-318.

3. Chernevich E. Yazyk graficheskogo dizajna [Language of graphic design]. Moscow, Vsesoyuznyj nauchno-issledovatelskij institut tekhnicheskoj estetiki, 1975.

4. Denikin A. Telesno-orientirovannyj podhod pri analize proizvedenij ekrannogo iskusstva [Body-oriented approach in the analysis of works of screen art]. In: Znanie. Ponimanie. Umenie [Knowledge. Understanding. Skill]. 2017. # 2. Pp. 115-131.

5. Eco U. Otsutstvuyushchaya struktura. Vvedenie v semiologiyu [The Absent Structure: Introduction to Semiotics]. St. Petersburg, Symposium, 2006.

6. Gavrilova M. Socianaya semiotika: teoreticheskie osnovaniya i principy analiza multimodalnyh tekstov [Social semiotics: theoretical foundations and principles of analysis of multimodal texts]. In: Politicheskaya nauka [Political Science]. 2016. # 3. Pp. 101-117.

7. Gomez D. Design, power, new media and discourse. In: Sovremennyj diskurs-analiz. 2010. № 2–2. Pp. 55-62.

8. Gualberto C., Kress G. Social Semiotics. 2019. Pp. 1–9.

9. Hansen A., Machin D. Researching Visual Environmental Communication. In: Environmental Communication: A Journal of Nature and Culture. 2013. 7 (2). Pp. 151-168.

10. Hoste L., Dumas B., Signer B. Mudra: A Unified Multimodal Interaction Framework. In: Proceedings of the 13th international conference on multimodal interfaces. PublisherACM Press. 2011. Pp. 97-104.

11. Isagulov N.V. Intermedialnost kak zontichnyj termin: popytka klassifikacii [Intermediality as an umbrella term: an attempt at classification]. In: Kultura slova [Culture of the word]. 2019. # 1 (2). Pp. 28-39.

12. Kozhemyakin E. K Voprosu o metodologii analiza multimodalnyh tekstov [On the question of the methodology of analysis of multimodal texts]. In: Teksty novogo veka. Materialy Mezhregional'nogo kruglogo stola [Texts of the New Century. Materials of the Interregional Round Table]. 2019. Pp. 5-7.

13. Kress G., Selander S. Multimodal design, learning and cultures of recognition. In: The Internet and Higher Education. 2012. 15 (4). Pp. 265-268.

14. Kress G., T. Van Leeuwen. Reading Images: The Grammar of Visual Design, London, Routledge, 2006.

15. Lavrenteva E. Tekst i kontekst v graficheskom dizajne: aktualnye problemy i tendencii vizualizacii teksta [Text and context in graphic design: actual problems and trends in text visualization]. abstract of thesis. ... a candidate of arts. Moscow, Moscow State Stroganov Academy of Design and Applied Arts. 2008.

16. Ledin P., Machin D. Doing critical discourse studies with multimodality: from metafunctions to materiality. In: Critical Discourse Studies. 2019. 16 (5). Pp. 497-513.

17. Lola G. Dizajn-kod: metodologiya semioticheskogo diskursivnogo modelirovaniya [Design code: methodology of semiotic discourse modeling]. Saint-Petersburg, IPK Beresta, 2016.

18. Mondada L. Challenges of multimodality: Language and the body in social interaction. In: Journal of sociolinguistics. 2016. 20 (3). Pp. 336-366.

19. Parsons T. O strukture socialnogo dejstviya [About the structure of social action]. Moscow, Akademicheskij Proekt, 2002.

20. Petrov M. Simultannost v iskusstve. Kulturnye smysly i paradoksy [Simultaneity in art. Cultural meanings and paradoxes]. Moscow, Indrik, 2010.

21. Romanova N. Uzlovye koncepty diskursa dizajna [Nodal concepts of design discourse]. In: Russkij yazyk kak inostrannyj i metodika ego prepodavaniya [Russian as a foreign language and methods of teaching it]. 2016. # 27. Pp. 82-88.

22. Simon G. Nauki ob iskusstvennom [The Science of Design: Creating the Artificial]. Moscow, Editorial URSS, 2004.

23. Vavilova, Zh., Khusainov, A., Yakubova, D., Parkalov, A. Multimodalnost v kommunikativnoj situacii [Multimodality in a communicative situation]. In: Istoricheskie, filosofskie, politicheskie i juridicheskie nauki, kul'turologija i iskusstvovedenie. Voprosy teorii i praktiki [Historical, philosophical, political and legal sciences, cultural studies and art history. Questions of theory and practice]. 2016. # 3 (65). Part 1. Pp. 49-52.

24. Yassine S. Multimodal Design of EFL Textbooks: A Social Semiotic Multimodal Approach. In: Anglisticum Journal. 2014. Vol. 02 (12). Pp. 335-341.

25. Zagidullina M. Multimodalnost: k voprosu o terminologicheskoj opredelennosti [Multimodality: on the issue of terminological certainty]. In: Znak: problemnoie pole issledovaniya [Sign: the problem field of media education]. 2019. # 1 (31). Pp. 181-188.

26. Zherdev E. Metafora v dizajne [Metaphor in design]. Moscow, Arhitektura-S, 2010.

СПИСОК ИЛЛЮСТРАЦИЙ

Рис. 1. Таблички с надписью «Спасибо, что не курите!». Иллюстрация автора.

Рис. 2. Главная страница онлайн-ресурса для просмотра восточноевропейских фильмов с субтитрами. Дизайнер Alex Romaniukha.

Источник: https://easterneuropeanmovies.com

Рис. 3. Фотография клавишного выключателя Rexant с витрины интернет-магазина Wildberries. Источник: https://www.wildberries.ru/catalog/13199000

Рис. 4. UI переключатель. Иллюстрация автора.

Рис. 5. Презентация концепции веб-сайта компании «Алпром», страница социальных инвестиций. Дизайн-студия aic.

Источник: https://dribbble.com/shots/4136968-Aluminum-Concept-in-the-style-of-Russian-constructivism

Рис. 6. Иллюстрация восприятия манеры произношения в зависимости от использованных шрифтов на примере оформления слова «Hello». Гарнитуры: System, Myriad Pro, French Script MT, Kitten Fat. Иллюстрация автора.