Sonification: How Everyday Physical Activity “Sounds”?

Abstract

Сонификация физической, в том числе ежедневной активности является интенсивно развивающейся областью научных исследований. Данный проект сконцентрирован на комплексном способе использования алгоритмической музыки с наличием сюжетной и композиционной структур – музификации. За основу берутся способы параметрической сонификации данных – наиболее широко используемой техники, преобразующей многомерное пространство данных в звук. Различные значения физической активности, полученные с помощью трекера активности Xiaomi Mi Band, в ходе изучения сонификации как практической и творческой области науки и искусства, позволили провести несколько экспериментов, ставящих целью озвучить данные фитнес-браслета таким образом, чтобы в пределах полученной музыкальной композиции отобразить ежедневную активность нескольких пользователей. В рамках исследования рассматривались разные способы преобразования значений фитнес-браслета в музыкальные параметры; ключевой целью являлось достижение баланса между понятным для слушателя отображением звуковой информации и музыкальной «привлекательностью» акустического результата. Были апробированы несколько вариантов параметрического мэппинга, трансформирующих четырёхмерное пространство значений трекера активности в многомерное пространство музыкальных параметров – от различных вариантов четырёхмерного до шестимерного. Последний подход в итоге показался наиболее убедительным с точки зрения целей, поставленных в настоящем проекте. Ключевые слова: сонификация, параметрический мэппинг, интерактивность, звуковое отображение информации.