시각·촉각 변환 기술 기반 음악 감상·교육·저작 프로그램 서비스
광주과학기술원(GIST)은 융합기술학제학부 소속 홍진혁(연구책임자)·김경중·이지현 교로 구성된 ‘팀 지스트(team GIST)가 지난달 청각장애인의 음악경험을 위한 리빙랩(Living Lab, 생활 실험실)을 성공적으로 운영했다고 12일 밝혔다.
팀 지스트 연구팀은 청각장애인 비영리 콘퍼런스 및 청각장애인 복지관에서 청각장애인의 음악 향유를 지원하는 체험부스를 마련하고, 연구 성과물에 대한 실증 서비스를 실시했다. 지난달 4일 청각장애인(농·난청인)과 비청각장애인이 함께 어울리는 비영리 콘퍼런스 ‘2023 소통이 흐르는 밤’에 참가해 시민 120여명과 함께 청각장애인을 위한 연구 성과물을 공유했다.
또 지난달 6~16일까지 약 2주간 시립 서대문농아인복지관, 같은 달 18~24일까지 약 1주간 복지관 내 청각장애인 이용자를 대상으로 리빙랩(부스 및 아카데미 운영)을 운영해 5개 성과물에 대한 실증을 모두 성공적으로 마쳤다.
현장 실증 리빙랩에서는 수어 노래 콘텐츠 제작을 위해 소리를 보고 만지고 느끼고 만들어 보는 음악 도구인 멀티모달 신디사이저와 음악보다 시각 중심의 햅틱 제작 도구인 멀티미디어 햅틱 디자인 도구 등 연구 성과물이 선보였다.
또 다양한 소리 캐릭터와 함께하는 음악 교육 및 악기 연주 프로그램인 비즈 스테이즈(Viz-stage) 음악 교육 도구와 가사가 있는 노래를 수어 댄스로 생성해 주는 ‘AI 수어 댄서’, 시·촉각을 통해 음악을 즐기는 댄스 게임인 ‘댄스 with 저스트댄스’ 도 인기를 끌었다.
복지관을 찾은 청각장애인들은 ‘팀 지스트’ 부스의 다양한 프로그램을 직접 체험하며 기존 음악을 대체 감각으로 이해해 음악 가사를 수어로 변환해 수어 음악을 만들기도 했다.
또 햅틱 진동 팔찌를 착용하고 화면에 나오는 댄서의 춤을 따라 하는 게임에도 참여하며 능동적으로 음악을 즐기는 시간을 가졌다.
홍진혁 교수는 “이번 실증은 실제 복지관을 찾아가 청각장애인 이용자를 대상으로 연구 성과물이 현장에서 어떻게 활용될 수 있는지를 생생하게 경험할 수 있는 좋은 기회가 되었다”며 “특히 청각장애인 사용자가 단순히 음악을 수동적으로 전달받는 것이 아니라 수어를 통한 음악 저작 및 감상 활동으로 음악을 좀 더 친숙하게 적극적으로 즐길 수 있다는 피드백이 많아서 뿌듯했다”고 말했다.
한편 팀 지스트는 2021년 6월부터 올해 말까지 ’청각장애인의 음악 향유를 위한 음악·댄스 실감가시화 기술 개발(주관기관:GIST, 공동연구기관:씨케이머티리얼즈랩, 한국과학기술원(KAIST), 세종대학교, 핸드스피크) 과제를 수행하고 있다. 연구 성과물을 지속적으로 발전시키고 확장하는 데 주력할 계획이다.
최근 청각장애인을 위한 전문적인 재활 치료 센터를 보유한 ‘소리의원’과 양해각서(MOU)를 체결하고 이번 과제의 성과물이 실제 현장에서 지속적으로 실증되고 업데이트되는 것을 목표로 긴밀히 협력할 예정이다.
/윤종채 기자 yjc@namdonews.com