<예언자들>은 각 분야에서 연구 중인 KAIST 교수들이 특정 시점을 전제로 미래를 예측해 쓰는 가상의 에세이입니다. 그저 공상 수준이 아니라 현재 연구 성과와 미래의 실현 가능성을 정교하게 조율하기에, <예언자들>은 스프 구독자들에게 짧게는 10년, 길게는 50년 이상 과학이 내다보는 미래를 미리 살펴볼 수 있게 할 것입니다.    우리의 미래 모습을 그려 볼 수 있는 쉬운 방법 중 하나는 SF 영화를 찾아보는 것이 아닐까 생각한다. 필자가 초등학교 시절 보았던 <Electric Dreams>라는 SF영화에는 AI와 첼리스트가 함께 연주하는 장면이 나오는데 (참고 영상1), AI가 사람처럼 음악을 이해하고 표현하는 것을 꽤 직관적으로 묘사하고 있다. 첼리스트가 맨 처음에 악기 조율을 위한 음을 연주하는데, AI는 그 소리를 듣고 음계를 이해하고 그 위의 음을 신시사이저 톤으로 반응한다. 그다음으로는 첼리스트가 바흐의 <미뉴엣 (Minuet in G major, BWV Anh.114)> 첫 소절 멜로디를 연주하는데, 엄마의 말에 아기가 따라 하듯이 AI는 같은 멜로디를 이내 따라서 연주한다. 그리고, 단순히 따라 반복하는 것을 넘어, 멜로디를 즉흥적으로 변주한다. 그 후로는 첼리스트와 함께 서로 멜로디와 화음을 합주하고, 멋있는 리듬 반주도 추가한다. 최근 급속히 발전하고 있는 AI 기술은 이러한 영화 속의 음악 연주 장면을 가능하게 할 뿐만 아니라, 우리가 일상적으로 듣는 음악 감상, 아티스트의 음악 창작에 이르기까지 여러 음악 분야에 광범위하게 적용되고 있다. 그렇다면, 이러한 “음악하는 AI”는 앞으로 얼마나 더 발전하고, 우리와는 어떻게 지내게 될까? 음악을 설명하고 추천과 검색까지 해주는 AI 요즘 음악 감상은 대부분 음악 스트리밍 앱이나 유튜브 등을 통해서 하고 있는데, 그러한 음악 서비스는 과거에 감상했거나 “좋아요”를 표시한 기록을 바탕으로 추천한 음악을 첫 화면에 보여준다. 워낙 많은 곡이 존재하다 보니, 사용자는 대체로 그중에서 선택하게 되고 가끔씩 마음에 드는 곡을 발견하기도 한다. 앞으로 더 똑똑해질 음악 AI는 장르, 무드, 악기, 음색, 화성, 멜로디, 리듬 등 음악적인 특징, 곡과 앨범에 대한 시대적인 맥락, 아티스트 개인에 대한 정보, 해당 곡을 듣는 사용자 정보 등 종합적으로 분석하여 감상자에게 추천해줄 것이다. 그리고 감상자가 원한다면 그 분석 결과를 추천 이유와 함께 설명해 줄 것이다. 예를 들어, 당신은 “미디엄 템포의 보사노바 리듬”과 “특정 코드 진행 (예를 들어, The Girl from Ipanema에 나오는 첫 소절 코드 진행)”을 가지고 “맑은 음성의 여성 보컬”로 연주된 음악을 자주 듣기 때문에, AI는 이러한 특징을 가진 곡을 추천할 수 있을 것이다. 그리고, 그러한 설명에 감상자가 “피아노 반주”, “저녁 한강 노을에 어울리는” 같은 특징 조건을 추가하면 이에 맞게 다시 음악을 검색해서 추천해 줄 것이다. 나만을 위한 뮤직비디오와 콘서트 최근 음악 감상 방식의 변화 중 하나는 음악과 어울리는 이미지 또는 영상이 음악과 함께 등장한다는 것이다. 음악 플레이리스트의 “섬네일(thumbnail)” 이미지나 음악 재생 중 등장하는 이미지가 감성을 더욱 끌어올리기 때문이다. 즉, 음악은 앞으로 청각적 감상을 떠나서 시청각의 공감각 “경험”을 하는 매체로 발전한다고 볼 수 있는데, AI는 이러한 음악적 공감각 경험을 풍부하게 제공하는 역할을 할 것으로 생각한다. 최근 등장한 텍스트 입력 기반의 이미지 생성 AI의 발전을 볼 때, 음악에 어울리는 이미지 생성은 이제 어려운 일이 아니며, 앞으로는 뮤직비디오나 콘서트와 같이 음악을 위한 영상을 생성하는 방향으로도 발전할 것이다. 예를 들어, 카이스트의 어느 남학생은 원슈타인의 <적외선 카메라>에 대해 “카이스트 앞 갑천 야경을 배경으로, 소프트한 니삭스를 입고 있는 여자 친구와 손깍지 끼고 데이트하는 장면을, 몽환적인 스타일의 뮤직비디오를 만들어줘”라는 명령어로 자신만의 뮤직비디오를 만들 수 있을 것이다 (참고 영상2). 또 다른 이는 피아니스트 조성진이 연주하는 쇼팽 <녹턴 Op. 9. No.2> 연주 음원에 대해 “뉴욕 카네기 홀에서 연주하는 조성진 콘서트를 VR 영상으로 만들어줘”라는 명령어로 어느 각도와 거리에서든 볼 수 있는 VR 콘서트 감상을 할 수도 있을 것이다 (참고 영상3). 이러한 AI 생성에는 이미지 및 영상 기술이 주요하게 사용되지만, 감성적 이미지 생성과 연관된 음악적인 특징 분석이나 영상 속 연주자의 움직임과 음악을 서로 동기화하기 위해서는 음악 AI 기술도 함께 사용되어야 한다.     나의 악기 연주 도우미 서두에서 소개하였듯이, AI는 음악 연주를 함께 하는 연주자로서 다양한 방식으로 음악 연주를 도와줄 것이다. 연주 중 악보를 대신 넘겨주는 것은 기본이고, 고독한 음악 연습을 도와주는 페이스 메이커 또는 반주자 역할을 할 수 있을 것이다. 특히, 반주자가 항상 필요한 성악이나 바이올린 등의 솔로 연주는 AI가 나의 연주 템포에 맞게 따라오면서 반주하고, 피아노의 경우는 내가 오른손 멜로디를 연주하면, AI가 왼손 부분 연주를 대신 줄 수 있을 것이다.(참고 영상4) 더 나아가, 나의 연주 기록을 분석하여 자주 틀리는 부분과 표현력이 부족한 부분 정리하여 보고해주며, 대가의 연주와 나의 연주가 얼마나 차이가 나는지, 빠르기, 셈여림, 음 길이 등 여러 가지 표현 요소를 분석하여 시각적으로 보여줄 수 있을 것이다. 올해 4월 대전예술의전당에서 열린 <하이든 아벤트> 공연에서는 우리 연구실에서 개발한 AI 피아니스트인 VirtuosoNet가 인간 피아니스트와 함께 하이든의 피아노곡을 번갈아 가면서 연주하고, 인간 트럼펫 연주자의 피아노 반주를 하는 무대 공연을 선보인 적이 있는데 (참고 영상5, 6), 앞으로는 AI 연주자와 인간 연주자가 함께 합주하는 무대가 새로운 음악 공연의 형식으로 등장할 것으로 생각한다. 함께 작곡하고 원하는 사운드를 만들어 주는 AI 음악 창작은 음악적 아이디어가 최종 음원으로 만들어지기까지 작곡, 연주, 믹싱, 마스터링 등 여러 과정을 통해서 이루어진다. AI는 각각의 창작 과정에서 다양한 방식으로 공동 창작자의 역할을 할 것이며, 기존 음악 창작에서 비효율성을 개선하고 새로운 아이디어와 영감을 제공하는 역할을 할 것이다. 작곡의 경우는 글쓰기와 매우 비슷한 방식이 될 것으로 생각되는데, 작곡가가 만든 짧은 멜로디에 대해 AI가 다음에 등장할 멜로디를 생성해주거나, 비슷한 여러 개의 멜로디를 제안하여 작곡가가 듣고 원하는 것을 선택할 수 있도록 할 것이다. 또한, 주어진 멜로디에 대하여, 다양한 리듬, 화성 진행에 따른 편곡 스타일을 선택하거나 원하는 스타일의 편곡이 담긴 음원을 들려주면, AI가 자동으로 그에 맞게 편곡해 줄 것이다. 작곡한 곡을 연주로 표현하는 단계에서는, 특정 연주자의 음색과 연주 스타일을 알려주면 AI는 자동으로 해당 톤과 리듬감으로 만들어 줄 것이다. 예를 들어, 내가 만든 곡의 멜로디를 재즈 기타리스트 팻 메스니가 <Last Train home>에서 연주하는 Electric Sita로 표현하고 싶다면(참고 영상7), AI는 자동으로 그 악기 음을 가져와 연주 사운드를 생성해줄 것이다. 또한, AI 기반의 Tone Transfer기술을 이용하여 국악기(예를 들어, 해금 또는 대금)의 음계와 연주 표현 방식을 유지하면, 음색을 조금 더 현대적인 신시사이저 톤으로 바꾸는 것도 가능하다.(참고 자료8 – 태국 전통악기 음색 변환) 맺으며 음악 AI은 급속도로 발전하고 있으며, 앞으로 음악 감상, 연주, 창작 곳곳에 다양한 방식으로 스며들 것이다. 하지만, 음악 AI가 진정으로 인정받고 음악사적으로 의미를 가지기 위해서는 단순히 기존 방식을 효율화하는 것을 넘어, 기술의 발전에 따라 탄생한 록이나 힙합처럼 새로운 장르의 음악을 탄생시켜야 할 것이며, 이것은 우리가 앞으로 음악 AI를 어떻게 사용하느냐에 달려 있기도 하다. 다른 한편으로는, AI 학습용 음악 데이터 사용에 있어서 아티스트의 허가나 AI로 창작한 음악에 대한 저작권 및 표절 등 풀어야 할 숙제들도 많이 있다.     더 궁금한 독자들을 위해 준비했어요! ► 함께 보면 좋은 주요 키워드 VirtuosoNet 카이스트 Music and Audio Computing에서 개발한 AI 피아니스트 모델이다. 주어진 악보에 대하여 연주 빠르기, 셈여림, 음 길이 등 다양한 연주 요소를 조절하여 전문 피아니스트처럼 감정 표현 연주를 할 수 있다. Tone Transfer 악기 소리의 음색을 변환시켜주는 기술이다. 예를 들어, 나의 노래 목소리에 대하여 음정 및 연주 스타일은 유지하면서, 음색만 바이올린, 색소폰, 해금 등 다른 악기 음색으로 변환시킬 수 있다. ► 함께 보면 좋은 참고자료들 영상 : <Electric Dreams>에서 AI와 첼리스트 연주 영상 : 원슈타인 <적외선 카메라> 영상 : 피아노 콘서트 영상 자동 생성 영상 : AI 피아노 반주 영상 : 대전예술의전당 <하이든 아벤트> AI 피아니스트 (릴레이 피아노 연주) 영상 : 대전예술의전당 <하이든 아벤트> AI 피아니스트 (트럼펫 콘체르토 반주)  영상 : Pat Metheny <Last Train Home> 전통 악기 Tone Transfer 기술 디자인 : 박수민