인공지능(AI), 가상현실(VR)/증강현실(AR) 등 4차 산업혁명시대 기술들이 정보통신기술(ICT) 분야의 핵심 기술로 등극하면서 그 활용도가 나날이 증가하고 있다. 이에 따라 AI스피커, 사물인터넷(IoT) 등 컴퓨터 화면을 필요로 하지 않는 다양한 제품과 서비스가 등장해 우리 생활을 바꿔나가고 있다. 이에 따라 기업들도 화면이 없는 제품·서비스에서의 사용자 인터페이스(UI)와 사용자 경험(UX)을 향상시키기 위한 노력을 지속하면서 ‘비욘드 스크린’ UI·UX에 집중하고 있다. 

4차 산업혁명과 맞물려 우리의 생활에서도 많은 변화가 일어나고 있다. 그중 AI스피커는 현재 핫(Hot)한 제품이다. 국내외 쟁쟁한 업체들이 앞 다퉈 제품을 선보이는 것만 봐도 알 수 있다. AI스피커는 단순히 음성인식 기능만 있는 스피커가 아니다. 음성을 통해 인터넷 검색은 물론 홈오토메이션 기능을 통해 집안의 다양한 가전제품 제어를 가능하게 하는 등 우리의 실생활에서 많은 변화를 가져오고 있다.

그뿐만 아니라 가상현실(VR)/증강현실(AR) 기술이 발달해 가상의 공간에서 새로운 경험할 수 있게 됐고, 뇌파를 통해 드론을 조정하는가 하면, 제스처인식, 얼굴인식 등의 다양한 UI(User Interface)가 생겨나게 됐다.

기존 화면(Screen) 중심의 UI들이 화면을 벗어나 사용자 친화적인 UI로 변화하고 있다. 이렇게 화면을 벗어나 사용자 친화적인 UI를 제공하는 환경을 ‘비욘드 스크린(Beyond Screen)’ 환경이라 한다. ‘비욘드 스크린’ 외에도 ‘제로 스크린(zero screen)’, 제로 UI, 또는 ‘스크린리스(screenless)’란 용어로 표현하기도 한다.

화면 없는 ‘비욘드 스크린’ 등장

비욘드 스크린 환경이 등장하면서 그에 맞는 새로운 UI들이 각광을 받게 됐다. 앞서 언급한 음성, 제스처, 뇌파, 아이트래킹 등이 대표적인 사례이며, 이렇게 사람이 자연스럽게 사용할 수 있도록 제공되는 UI를 ‘내추럴 UI(NUI: Natural User Interface)’라고 한다.

지금까지의 UI는 컴퓨터나 기계가 받아들이기 쉽도록 고안됐다. 다만 기존 UI와 NUI의 차이점은 사람이 학습을 통해 UI를 사용해야 하는지, 그렇지 않은 지로 구분할 수 있다. 마우스의 경우는 직관적이어서 크게 교육을 받지 않아도 사용이 가능하지만, 키보드는 지금도 초등학교 때부터 학교에서 정규과목으로 채택해 긴 시간 동안 훈련을 하고 있다.

그에 반해 NUI는 사람이 교육을 따로 받지 않아도 사용 가능하다. 즉, NUI는 사람이 쉽고, 자연스럽게 사용이 가능하다. 현재 UI 발전 방향으로 보면 앞으로도 수많은 UI가 생겨나겠지만, 그 형태도 NUI를 중심으로 발전할 것으로 예상된다.

문제는 너무 빠르게 비욘드 스크린 환경이 나타남에 따라 사용자들의 기대치도 높아졌다는 점이다. 우리가 예전부터 공상과학(SF)영화에서 자주 나타나는 ‘사람처럼 움직이고 생각하는’ 인공지능(AI) 로봇이 금방이라도 만들어 질 것 같은 그런 기대들이다.

전문가들은 영화에서 등장하는 새로운 기술에 대한 상상들을 실현시키는 것에 집중하는 것처럼 보이기도 한다. 실제로 2002년에 개봉했던 영화 ‘마이너리티 리포트’가 설정한 미래의 UI가 2016년에 ‘MS 서피스 스튜디오(MS Surface Studio)’로 실현되는 것을 예로 들 수 있다. 

1984년에 개봉한 터미네이터는 2029년의 미래 세상에서 인공지능 로봇을 타임머신을 통해 1984년으로 보내진다. 아직 2029년이 되려면 10년이 더 남아있긴 하지만, 타임머신이나 사람 같은 인공지능 로봇은 현재의 기술로는 멀게만 느껴진다. 우리의 상상력을 만족시킬 기술, 사람과 같이 생각하는 컴퓨터를 만들기에는 현재의 기술로는 많은 한계가 존재한다는 것이다.

많은 기술적 한계 존재

인공지능과 인터랙션을 위한 미래의 UI가 생겨나는 환경이 비욘드 스크린 환경이라 할 수 있다. 따라서 인공지능뿐만 아니라 비욘드 스크린 환경 대응에 있어서도 다양한 한계와 이슈가 존재할 수밖에 없다.

무엇보다 비욘드 스크린 환경 대응을 위한 기업용 애플리케이션 개발에 있어서도 많은 기술적 한계가 존재한다. 예를 들어 에어컨을 제어하는데 기존의 리모컨 제어방식에서 “에어컨 틀어줘”와 같은 음성인식 기술이나 온도센서를 통해 실내온도가 30도 이상이면 에어컨이 동작하게 하는 사물인터넷(IoT) 기술, 특정 손 모양을 인식해 에어컨을 동작시키는 제스처인식 기술 등을 활용해 하나의 에어컨 제어 애플리케이션을 개발한다고 한다면 어떨까?

일단 음성인식, IoT, 제스처인식 등 각각의 기술 전문가나 전문 개발자가 필요하다. 그런 전문 개발자들이 각각의 UI를 개발해야 하고, 이렇게 개발된 UI 개발언어는 상이할 것이기에 그것들을 연동하는 개발을 다시 해야 한다. 그뿐만 아니라 각각의 UI에서 들어온 데이터를 분석해 에어컨을 동작하는 기능과도 연결해야 할 것이다. 이처럼 기존의 개발 프로세스로 생각한다면 쉽게 개발할 수 없다는 이야기이다.

더 나아가 사용자가 손가락으로 가방을 가리키며 “이거 얼마인지 찾아줘!”라고 말한 것을 컴퓨터에게 인식시키려면 음성, 제스처, 영상 등 각각의 UI에서 받아들여진 데이터를 종합해 결과를 내야하기 때문에, 현재의 기술로 구현하기 어렵다. 이렇듯 우리의 기대와 현재 기술 사이에는 상당히 큰 간극이 존재한다.

또한, 화면 환경이 아닌 NUI 중심의 비욘드 스크린 환경에 대한 UX적 경험이 부족하다는 것도 문제로 지적된다. 기존 화면 환경에서의 애플리케이션 UI·UX는 데스크톱과 스마트폰의 보급이 활발해짐에 따라 빠르게 발전했다.

정작 최근 출시되는 스마트폰을 보면 아이폰이 처음 등장할 때처럼 UI·UX의 혁신은 찾아보기 힘들다. 업계에서는 더 이상 스마트폰에서 나올 수 있는 혁신적인 UI·UX가 없다고 할 정도다.

하지만 현재의 스마트폰에 적용된 음성인식이나 안면인식 기술 등 NUI 기술의 적용은 너무 제한적이다. 아이폰에서 시리와 같은 음성비서 앱은 다른 애플리케이션에서는 사용할 수 없다. 또한 안면인식의 경우도 아이폰의 잠금을 해제하는 기능 외에서는 사용할 수 없다. 즉, 애플리케이션 UI·UX 개발자는 NUI에 대한 고민이나 고려사항이 먼 이야기일 수밖에 없으며, 그렇기에 비욘드 스크린에 대한 경험이나 NUI에 대한 고민이 거의 전무한 상태인 것이다.

이렇듯 비욘드 스크린 환경에 대응하기에는 기술적 한계와 UX적 경험의 부족으로 인해 쉽게 UI·UX 애플리케이션을 개발하기 어렵다.

업무 단위 문제 해결 중시

비욘드 스크린 환경에 대응하기 위해서는 기존 화면 환경과 어떤 점이 같고, 또 어떤 점이 다른지 아는 것이 중요하다. 먼저 애플리케이션의 동작 흐름을 살펴보자.

사용자가 입력장치를 통해 데이터를 입력하면, 입력된 데이터는 인지영역에서 인지된 후 프로그래밍된 코드에 의해 특정 작업을 수행(수행영역)하게 된다. 그리고 수행된 결과를 다시 사용자에게 알려주는 피드백영역을 거쳐 동작이 완료된다.

이렇게 애플리케이션 내에 UI를 제외한 인지영역, 수행영역, 피드백영역은 화면 환경이나 비욘드 스크린 환경에서도 동일하게 동작한다. 즉, 인지영역, 수행영역, 피드백영역은 사용자에게 표현되는 UI가 바뀌더라도 변하지 않는 부분이다.

그렇다면 화면 환경과 비욘드 스크린 환경은 어떤 차이점이 있을까? 기존 화면 환경에서 애플리케이션 개발의 모든 개발 절차에는 ‘화면’이 중심이었다. 최초 업무 분석(As is 분석)부터 기존의 UI 화면을 분석해 개선점을 찾아내고, 프로젝트 전체 개발 일정도 화면을 ‘본 수’로 공수를 산정하며, UX 컨설팅의 결과도 최종 화면 설계서로 마무리된다. 그래서 기존의 애플리케이션 개발 방법론은 ‘화면 중심’이라고 할 수 있다. 따라서 화면이 없는 비욘드 스크린 환경에서 기존 ‘화면 중심’ 개발 방법론을 사용할 수 없다는 것은 굳이 설명할 필요조차 없다.

이 부분은 기존 화면 중심 개발 방법론의 문제점을 해결할 실마리가 될 수 있다. 기존 화면 중심 개발 방법론은 업무 분석 단계에서 기존 화면을 통해 분석을 하는 경우가 대부분이었다. 그렇다 보니 본질적인 업무 개선보다는 화면 UI 개선에 초점이 맞춰져, 개선안이 도출되더라도 실제적으로는 부족한 분석 결과가 도출됐다. 또한 개발 시에도 화면 수를 중심으로 개발 일정을 산정하거나 화면 단위로 개발자에게 할당됐으며, 하나의 업무가 여러 명의 개발자에 의해 개발돼 업무 프로세스가 원활하게 흐르지 못하도록 하는 원인이 됐다.

실제 몇 백 개의 화면으로 구성된 업무를 분석해보면 고작 10~20개의 업무를 화면 단위로 나눠 복잡하게 느끼는 경우도 많다. 비욘드 스크린뿐만 아니라 화면이 존재하는 애플리케이션의 경우도 화면 단위로 문제를 바라보지 않고, 업무 단위로 문제를 해결해야 하는 이유가 바로 여기에 있다.

비욘드 스크린 위한 패러다임 변화 필요

UX 기획자라면 다양한 조사와 분석을 진행해서 도출된 인사이트, 방안, 개선사항 등이 애플리케이션으로 구현되는 과정에서 무시되거나 구현불가 판정을 받는 경우가 종종 있었을 것이다. 물론 그 속에는 다양한 이슈가 있었을 것으로 생각되나, 필자는 컴퓨터를 바라보는 관점측면에서 설명하고자 한다.

UX 기획자는 사용자가 애플리케이션을 사용하면서 좋은 경험을 느끼도록 고민하는 사람이다. 이 같은 측면에서 사용자가 컴퓨터를 사람처럼 느끼고 자연스럽게 접촉한다면, 그것을 대하는 사용자도 좋은 경험을 경험할 것이라는 결론에 다다르게 된다. 결과적으로 UX 기획자는 사용자와 컴퓨터가 어떻게 자연스럽게 의사소통할 수 있게 만들 것인가를 고민하게 된다.

다소 극단적일 수 있지만 프로그래머는 컴퓨터가 단지 개발된 로직대로 수행하고 피드백하는 기계장치에 불과하다는 관점으로 컴퓨터를 바라본다. 이 둘의 관점 사이에는 어마어마한 간극이 존재한다. 그래서 UX 기획자는 프로그래머가 모든 문제를 단순하게 구현가능한지, 불가능한지로만 판단하는 것처럼 보고, 프로그래머는 UX 기획자를 몽상가로 여기게 된다. 이 둘의 관점을 하나로 일치시키는 것은 사실상 불가능에 가깝다.

비욘드 스크린 환경에서는 쉽게 접근할 수 있는 방법이 최선의 방법이라 생각한다. 필자는 비욘드 스크린 환경에 대해 UX 기획자의 입장에서 프로그래머의 관점을 고려해 접근하는 방법을 제안한다. 그러기 위해서는 몇 가지 전제사항이 있다.

첫째, 앞서 이야기한 것처럼 현재의 기술로는 컴퓨터와 커뮤니케이션하는 것 자체가 쉽지 않다는 것을 이해해야 한다. 실제로 인공지능(AI) 또는 딥러닝 기술의 원리는 학습을 통해 적절한 결과 값을 만들어내기 위한 변수 값들을 찾아내는 알고리즘에 있다. 이 기술이 영화에서 보는 사람과 같은 인공지능처럼 동작하려면 아직 멀었다는 것을 인지해야 한다.

그렇기에 컴퓨터와 커뮤니케이션한다기보다 상호작용한다는 관점으로 바라봐야 한다. 단순히 ‘명령+피드백(Command+Feedback)’ 형태로 여겨야 한다. 냉정하게 표현하자면 컴퓨터는 단지 개발된 로직을 수행하는 것 이상도, 이하도 아니다.

사용자가 “아 배고파”라고 말한 것을 예로 들어보자. AI스피커가 해당 음성을 인식하고 “간식으로 치킨 어떠세요? 주문해드릴까요?”라고 답을 했다고 하자. 그렇다고 컴퓨터가 사용자의 마음을 헤아려서 답을 한다고 보기는 힘들다. 단지 시간을 체크해 사용자가 주로 이 시간에 간식으로 치킨을 주문한 적이 있으며, 매번 동일한 매장에서 동일한 메뉴를 주문했다고 가정하면 가능한 시나리오다.

이처럼 컴퓨터가 수집된 데이터를 분석해 명령으로 받아들여 사용자에게 피드백을 전달하는 것을 마치 컴퓨터가 사람과 대화를 하듯 자연스럽게 동작하는 것처럼 보이는 것이다.

화면 중심 벗어나 ‘명령 중심’으로

둘째, 커맨드(Command) 중심으로 UX를 고민해야 한다. 앞서 언급한 내용을 종합하면 커맨드, 즉 ‘명령’이 중요하다. 컴퓨터가 다양한 UI를 통해 수집된 데이터를 기 개발된 어떤 커맨드와 매핑할 것인가가 중요해진다.

커맨드는 우리가 사용하는 언어와 비슷한 구조를 가지고 있다. 우리가 흔히 말하는 명령은 ‘무엇을+어떻게 해줘’라는 형태로 사용한다. 컴퓨터의 커맨드도 마찬가지다. ‘무엇을’에 해당하는 것을 엔티티(Entity), ‘어떻게 해줘’에 해당하는 것을 인텐트(Intent)라 한다.

엔티티는 사용자의 명령에 따라 액션을 수행하기 위한 값을 추출해 전달할 수 있도록 규정한 데이터이다. 날짜, 시간, 장소, 주소지 등 패턴 형식이나 인물명, 노래 제목, 앨범명, 콘텐츠 DB 등 다양한 형태로 존재할 수 있다.

인텐트는 문장 전체 맥락에 담겨있는 사용자의 의도이다. 명령에 따라 액션을 수행하기 위해서는 의도 파악이 가장 중요하다. 이렇게 컴퓨터는 다양한 UI를 통해 수집된 데이터를 엔티티와 인텐트를 분석해 컴퓨터가 수행할 수 있는 명령 형태로 받아들여 기 정의된 로직을 수행하도록 하면 된다.

결과적으로 커맨드 관점은 화면 중심이 아니라 개발해야 하는 업무 중심이라는 말과 일맥상통한다. 기업용 애플리케이션 관점에서 컴퓨터가 수행해야 하는 것은 업무를 처리하는 것과 마찬가지이기 때문이다.

그렇다면 커맨드 중심으로 UX를 고민한다는 것은 무엇일까? 동영상 플랫폼인 ‘유튜브’에서 음성으로 동영상을 검색하는 기능을 추가한다고 가정해 보자. UI에 집중하는 경우 다양한 음성에 대한 고민을 해야 할 것이다. 생각이 확장되다 보면 음성비서 앱인 시리나 빅스비와 같이 다양한 음성에 대한 친절한 피드백까지 고민할 수 있다.

처음 시리가 국내에 등장했을 때 시리에게 “피곤해”라고 세 번을 말하면, 시리는 “제 말 잘 들으세요. 주인님. 당장 이 아이폰을 내려놓고 잠시 주무셔요. 저는 여기서 기다리고 있겠습니다”라고 반응했다. 이러한 피드백이 사람들의 감성을 자극시켜 이슈가 됐던 적이 있었다. 물론 그런 것까지 신경 쓴다면 더 좋은 UX를 제공할 수도 있다.

하지만 커맨드 중심으로 생각해보자. 현재 제공되는 커맨드는 ‘특정 동영상을 검색해줘’ 밖에 없다. 이 커맨드를 벗어난 기능은 부가기능이거나 본질을 벗어난 기능이 될 수 있다. 이 커맨드에 집중하는 것이 더 효율적인 방법이라 생각한다.

커맨드를 중심으로 고민한다면 사용자의 음성을 분석해 의도를 잘 파악한 후 사용자가 원하는 동영상을 제공하는 것을 고민하게 될 것이다. 기존 방식이 귀납적이었다면, 커맨드 중심의 개발 방법론은 연역적이다. 귀납적 방식은 다양한 문제를 찾아내는 것에는 효율적이지만, 제한된 기능을 제공하는 애플리케이션에 적용하기에는 효율면에서 연역적 방식이 더 나은 방식일 수 있다. 특히 비욘드 스크린처럼 UX적 경험이 전무한 환경에 대해 고민할 때는 쉽고 효율적으로 접근할 수 있는 방법론이라 생각한다.

이처럼 커맨드 중심으로 관점을 돌리면 기존 화면 중심 관점의 문제점을 해결할 수도 있다.

커맨드 중심 개발 방법론 적용

모바일 은행 앱에서 이체 기능을 개발한다고 한다면, 기존 화면 중심으로는 각 단계별 화면이 필요하다. 실제로 이를 위해 10개의 화면이 필요한 것을 볼 수 있다. 물론 화면 중심 설계가 아니더라도 모바일용 애플리케이션을 개발한다면 화면 크기의 제약 때문에 어쩔 수 없는 결과일 수 있다. 하지만 처음부터 화면 중심으로 설계하는 것과 커맨드 중심으로 설계한다는 것은 우리 고민의 영역을 크게 좌우한다.

일단 여기에서 수행해야 하는 커맨드는 ‘이체하기’ 하나이다. 따라서 엔티티는 ‘어디에서 누구에게 얼마를’이고, 인텐트는 ‘이체한다’를 입력 받아 ‘이체하기 명령’을 수행하면 된다. 이렇게 바라보는 순간 문제는 심플해진다.

이제 다시 10개의 화면을 바라보자. 과연 정말 10개의 화면이 필요한가? 이것에 대한 답은 현재 사람들이 편하게 사용하는 ‘토스’나 ‘카카오페이’를 생각하면 어느 정도 답이 되리라 생각한다.

다시 에어컨을 예로 들어보자. 커맨드는 ‘에어컨 켜기’이다. 다양한 입력 데이터를 필터를 통해 하나의 커맨드인 ‘에어컨 켜기’와 연결해 에어컨에 동작을 지시한다. 다양한 입력 데이터를 필터링해서 커맨드와 잘 연결되면, 입력 받은 데이터가 음성이든, IoT든, 키보드 혹은 마우스든 상관없이 동작하는 것이다. 따라서 애플리케이션 개발자는 다양한 입력방식을 크게 신경 쓰지 않고, 커맨드 정의와 그에 대한 로직 구현만으로 개발이 완료된다.

더 나아가 이러한 구조가 가능하다면 향후 추가적으로 개발되는 NUI를 확장하거나 다양한 OS, 디바이스, 스크린 등을 한꺼번에 대응할 수 있는 OSMU(one source multi use)가 가능하게 된다. 현재는 비욘드 스크린 환경이 아닌 화면 환경조차 OSMU가 힘든 상황임을 감안한다면, 커맨드 중심 개발 방법론은 획기적인 대안이 될 수 있다.

이러한 비욘드 스크린 환경에 대응할 커맨드 중심 개발 방법론을 적용하기 위해서는 기존 화면 중심 개발 방법론을 타파하는 개발 패러다임의 변화가 필요하다. 비욘드 스크린 환경의 특성을 고려해 프로젝트의 최초 기획 단계부터 설계 및 개발 단계까지 모든 단계에서 커맨드 중심으로 UX적 전략을 세워야 프로젝트를 성공적으로 이끌 수 있다.

또한 UX 전략을 세움에 있어서 기존 화면 UI 분석을 통해 인사이트를 찾아내는 방식보다 커맨드를 중심으로 UX 전략을 세우는 방식을 적용하고, 커맨드에서 출발해 UI로 생각을 확장하는 방식으로 접근하는 것이 비욘드 스크린 환경에 대응하는 효과적인 방법이라 생각된다.