1. 서론
스마트폰이 막 대중화 되기 시작하던 09년도쯤에는 CPU 등 하드웨어의 성능 문제로 다양한 응용이 나오기 어려웠지만 요즘은 스마트폰에도 쿼드코어니 하면서 PC 못지않은 괴물들이 나오고 있죠. 덕분에 초기에는 하드웨어의 한계로 시도하지 못했던 고비용의 응용들이 스마트기기에 많이 달려서 나오고 있습니다. 이 글에서 다룰 센서를 이용하는 응용도 그 중 하나입니다.


[스마트워치의 스펙]

스마트기기에는 GPS니 조도 센서니 뭐니..해서 센서가 참 많이 달려서 나옵니다. 센서를 이용한 응용은 작게는 조도를 이용한 화면 밝기 자동 조절에서 GPS를 이용한 네비게이션까지 다양한 분양에 걸쳐 있는데요, 이 글에서는 센서를 이용하는 다양한 응용 중 동작 인식에 관련된 부분을 다뤄보려고 합니다. 센서(주로 3축 가속도 센서)가 어떤식으로 동작하는지, 응용을 위한 데이터 가공은 어떻게 이루어지는지 등을 말씀드릴게요. 비전공자가 보기에 다소 어려운 부분이 있을수도 있으나 최대한 쉽게 풀어보겠습니다. 복잡한 수식은 최대한 빼고 글과 그림 위주로 작성합니다.


2. 센서 동작 원리
동작 인식에 사용되는 센서는 쓰려면 더 쓸수도 있겠으나 계산 비용, 소모 전력 등의 문제로 한 두개만 쓰는게 보통입니다. 이 장에서는 동작 인식에 주로 쓰이는 3축 가속도 센서의 원리를 설명하겠습니다.


[Pitch, Roll, (그림에는 없지만)Yaw의 작용 방향]

주로 항공에 관련된 글에서 많이 보셨을 이 그림은, 물체의 이동 방향에 대해 작용하는 각도를 나타냅니다. 항공기의 경우 Z축 방향으로 회전이  일어나면 큰일나기 때문에 그림에서는 생략이 됐는데요, 센서가 장착된 스마트기기에도 동일한 개념을 적용할 수 있으며 동작 인식에 대한 기본 아이디어 역시 여기서 출발합니다. 기본 원리는 다 거기서 거기에요 사실..-_-;;


[3축 가속도 센서]

동작 인식에 가장 많이 쓰이는 3축 가속도 센서는 센서의 X, Y, Z 축의 3방향에 작용하는 지구 중력을 측정하는 센서입니다. 그림에서 local horizontal plane은 센서의 중심을 원점으로 하는 가상의 3차원 공간좌표에서 지표면(지구가 평평하다고 가정합니다)에 평행한 가상의 평면을 뜻합니다. '가속도'를 측정하기 때문에 가만히 있을 때는 가속도는 0인채로 각 축방향에 대해 작용하는 지구 중력만이 측정되지만, 이동하면 이 때 발생하는 가속도가 측정되겠죠. 이때 얻어지는 가속도의 변화를 계산해 사람의 동작을 인식할 수 있게 됩니다.
정리하면, 3축 가속도 센서는 지구 중력 방향(Yaw)에 대해 센서가 얼마나 기울었는지(Pitch, Roll)를 측정할 수 있는 센서이고, 이동시 발생하는 가속도를 이용하면 동작을 인식할 수 있다..가 되겠습니다. 자이로스코프 등 동작 인식에 사용되는 다른 센서들의 동작도 크게 다르지 않습니다. 측정하는 대상이 지구 중력이냐 각속도냐 하는 차이 정도에요.


3. 센서 데이터 가공
[※ 그림 source: "Toward physical activity diary: motion recognition using simple acceleration features with mobile phones" by Jun Yang]
스마트기기에 들어가는 센서는 이산적 + 전자기적으로 샘플링을 수행하기 때문에 매 샘플링 주기마다 원시 데이터(raw data)가 얻어집니다. 이걸 그대로 갖다쓰면 문제끝!이겠지만 애석하게도 원시 데이터에는 노이즈가 필연적으로 껴있기 마련이고, 기타 외부 요인으로 인해 그대로 쓰는 것은 불가능에 가깝습니다.
때문에 최대한 센서 본연의 데이터를 뽑아내기 위한 가공작업이 필요하게 되는데, 이 데이터 가공이 CPU나 메모리 등 하드웨어 자원을 엄청 잡아먹습니다. 센서가 샘플링될 때의 소모 전력(연산비용 포함)도 무시못할 수준이구요. 그래서 초기에는 단순 응용에서 그쳤으나 이제는 하드웨어가 좋아졌기 때문에 아래에 말씀드릴 복잡한 연산을 거친 데이터 가공이 가능하게 되었습니다.

3-1. 1차 가공 - 원시 데이터 가공

[스마트폰에서 측정된 센서 데이터. 위가 필터링 전, 아래가 필터링 후]

위 그림은 스마트폰에서 측정된 센서 데이터에 필터를 적용하기 전과 후를 비교한 그림입니다. 그림에서 볼 수 있듯이 가만둬도 노이즈때문에 값이 엄청나게 튀는 것을 보실 수 있는데, 이걸 그대로 쓰기는 어려우니까 필터를 적용해 데이터를 1차 가공해줍니다. 여기에 쓰이는 필터는 참으로 많은 종류가 있는데, 보통 많이 쓰이는건 이동-평균 필터라고 해서 아래 수식과 같이 계산되는 필터입니다.



[source: https://en.wikipedia.org/wiki/Moving_average]

다양한 변형이 있지만 흔히 이동-평균 필터라고 하면 위 수식을 사용하는 필터를 뜻합니다. 쉽게 말하면, 현재 샘플링 지점을 기준으로 직전 n개의 데이터의 평균을 내서 이를 보정된 데이터로 사용하는 필터가 되는데요, 이 필터를 적용하면 노이즈 제거가 되면서 data smoothing까지 덤으로 수행되어 어느 정도 쓸만한 데이터가 되게 됩니다.
원시 데이터 가공에 있어 또 하나의 문제는, 사용자마다 스마트기기를 사용하는 습관이 다르다는 것입니다. 스마트폰을 예로 들면, 어떤 사람은 바로 누워 사용할 수도 있고, 다른 사람은 모로 눕거나 책상에 앉아 사용할 수도 있을 것입니다. 이 사용자들이 동영상 시청을 위해 스마트폰을 세로 방향에서 가로 방향으로 눕힌다고 가정할 경우, 측정되는 센서 데이터는 제각각이지만 '가로로 눕힌다'는 공통된 목적을 가진 동작을 수행했기 때문에 이들 모두를 같은 동작으로 인식하고 같은 기능이 수행되도록 하는 것이 필요합니다. 아래 그림을 보시면 좀 더 명확하게 이해할 수 있습니다.


[같은 동작, 다른 사람..]

4명 모두 같은 동작을 수행하고 있지만, 서로 다른 사용습관으로 인해 측정된 센서 데이터는 천차만별인 것을 볼 수 있습니다. 이를 orientation problem이라고 하며, 사용자에게 어떻게 다루세욧!하는건 어불성설이니 사용자에 상관없이 같은 동작을 취하면 같은 기능이 수행되게 하는게 필요합니다.
여기서 2장의 3축 가속도 센서 그림에 나온 Pitch, Roll, Yaw와 local horizontal plane의 개념이 사용됩니다. 쉽게 말하면, 센서의 각 축에 작용하는 지구 중력 방향의 magnitude(한국어로 어찌 표현해야 할지..ㅜㅜ)를 이용해 센서의 Pitch, Roll(아래 그림에서는 Vertical, Horizontal)을 뽑아내어 지표면에 대한 센서의 절대 위치, 이동 방향, 정도를 계산하여 사용자의 사용 습관에 관계없이 같은 동작이면 같은 값이 나오도록 보정하는 작업이 되겠습니다. 이걸 사용해서 데이터를 가공하면 아래와 같이 됩니다.


[보정된 센서 데이터]

사용자에 상관없이 같은 동작이니까 같은 값이 나오는 것을 확인할 수 있습니다. 이를 통해 orientation problem이 해결되고 이제 특징 벡터를 추출하는 단계로 넘어갑니다.


3-2. 2차 가공 - 특징 벡터 추출
원시 데이터를 쓸만한 데이터로 가공했으니, 이제 실제 동작 인식에 사용할 '정보'로 데이터를 가공하는 작업을 해야 합니다. 어떤 동작을 인식할 것이냐..에 따라 가공하는 방식 역시 달라지지만, 보통은 인식할 동작별로 '특징 벡터'라고 불리는 값을 뽑아내어 이를 활용합니다.
사람의 각 동작에는 특징이 있습니다. 예를 들어, 스마트폰을 들어올리는 동작은 1) 폰을 쥐고, 2) 지구 중력 반대 방향으로 폰을 이동시키는 것으로 생각할 수 있고, 이를 '들어올린다'의 특징으로 간주할 수 있습니다. 이 동작을 센서 데이터 버전으로 바꿔보면, 1) 미세한 센서 이동, 2) Z축 역방향으로 가속하는 센서 데이터 가 되죠. 이런 동작은 인지하지도 못할 짧은 시간이 아닌 어느정도의 시간이 걸리기 때문에 해당 동작을 수행하는 동안 측정되는 센서 데이터를 묶어 하나의 특징 벡터로 뽑아낼 수 있게 됩니다.
특징 벡터는 종류가 참 많기 때문에 아 이거 마음에 들었어~하는걸 아무거나 갖다 쓰지말고 인식할 동작, 목적에 맞는 것을 사용하는게 좋습니다. 이를 위해 Information gain 이라는 개념이 도입되는데, 찾아보면 해당 특징 벡터를 이용할 때 분류시 감소하는 엔트로피의 양..뭐 이렇게 어렵게 써있지만 쉽게 말하면 이 특징 벡터가 해당 동작의 특징을 얼마나 잘 반영하는가..를 객관적인 수치로 표현하는 거라고 보시면 됩니다. 수식으로 표현하면, 특징 벡터 A를 이용해 동작 S를 분류하고자 할 때의 information gain은 아래와 같습니다.



사용하고자 하는 특징 벡터들을 대상으로 information gain을 계산하면 어떤걸 쓰는게 유리한지 알 수 있습니다. 대부분의 동작 인식을 포함한 기계 학습 분야에서 널리 쓰이고 있습니다.
특징 벡터 추출 방법은 wavelet변환, FFT 등 이 글에 다 담기 어려울만큼 많습니다. 때문에 다 다루진 못하고, 이런겁니다..하는 개요만 말씀드리게 되는 점 양해 부탁드립니다.


4. 분류기(classifier)
데이터 가공도 다 했고, 특징 벡터까지 결정했으면, 분류기를 구성하는 작업만 남았습니다. 역시나 엄청나게 다양한 분류기가 있고 각각의 장단점이 있기 때문에 이런겁니다..하는 것만 말씀드리겠습니다.
분류기는 크게 Lazy Learning과 Eager Learning 방식으로 구분됩니다. 비교해보면..

Lazy: 학습 데이터를 모아두고 새 데이터가 들어오면 그때 분류
Eager: 학습 데이터를 이용해 분류기 구성, 새 데이터가 들어오면 사전 구성된 분류기를 통해 분류

정도가 됩니다. Lazy 방식은 학습(이랄것도 없지만)은 금방 되지만 분류가 오래 걸려서 실시간성이 요구되는 동작 인식에는 쓰기 어렵습니다. 때문에 사용되는 대부분의 동작 인식 분류기는 Eager Learning 방식을 사용합니다.
동작 인식 응용에서의 Eager 방식은

1) 특징 벡터 추출: 인식할 동작의 특징 벡터를 추출하고 라벨링
2) 학습: 라벨을 붙여 정리한 특징 벡터를 이용해 분류기를 학습
3) 분류: 구성된 분류기를 기반으로 실시간 데이터가 어떤 동작일지 예측

을 거칩니다. SVM, kNN, NB 등 정말 많은 분류기가 있고 각각의 특징 및 장단점이 존재하기 때문에 목적에 맞는 것을 사용하는게 좋을겁니다. 말로만 하면 잘 와닿지 않을수도 있으니 간단하게 컴퓨터와 가위바위보를 하는 동작 인식 응용이 C4.5 Decision Tree를 이용해 만들어지는 과정을 보여드리겠습니다.
우선 각 동작별로 특징 벡터를 추출하고 모아서 특징 벡터별로 라벨을 붙여줍니다.


[특징 벡터 추출]

각 동작별로 특징 벡터를 추출하고 라벨을 붙여줬으면 사용할 분류기를 학습시켜야 합니다. 이 역시 많은 방법이 있지만 전 WEKA라는 툴을 사용해 예시를 만들어봤습니다.


[분류기를 학습학습]

Correctly classified가 80%니 썩 좋다고 할 순 없지만 그럭저럭 아쉬운대로 쓸만은 한 것 같습니다. 학습을 시켜놨으니 분류기가 어떻게 생겼나 봐야죠.


[생성된 분류기]

심플하니 이쁘게 잘 나왔습니다. 이제 이걸 갖고 응용을 만들고 동작시키면, 아래와 같이 컴퓨터와 가위바위보를 하는 프로그램이 완성됩니다. 실제 프로그램에는 Boyer and Moore voting을 적용해 정확도를 좀 더 올려봤습니다.


[컴퓨터와 가위바위보. 전적이..ㅜㅜ]

영상을 어떻게 편집하는지 몰라서 미처 찍진 못했는데, 사람이 실제 가위바위보를 하고 이걸 인식해 컴퓨터와 대결을 펼치는 간단한 게임입니다. 이외에도 다양한 응용이 가능합니다.


5. 응용
제가 보여드린것은 단순한 예제에 불과하며, 실제로는 훨씬 더 높은 수준의 응용이 나오고 있습니다. 몇 가지를 소개해드리면..


[스마트워치를 이용한 손가락 제스처 인식]
[source: https://www.youtube.com/watch?v=bAK72JU8TTI]

요즘은 스마트워치도 많이 나오고 있죠. 사람의 손목은 상반신의 동작과 밀접한 관련이 있기 때문에 다양한 응용이 가능한데, 그 중 손과 손가락 제스처를 인식하는 데모 영상입니다. 이걸 만든 연구진은 손가락으로 글씨쓰는 응용을 개발완료했고, 추후 공중에 손가락으로 글씨쓰는걸 만들 예정이라고 하네요.


[삼성 갤럭시S5에 내장된 에어 제스처 인식 기능]

터치를 직접 하는게 아니라 공중에서 손짓만으로 앱을 컨트롤할 수 있는 에어 제스처 인식입니다. 원리는, 스피커를 통해 초음파를 내보내고 이게 손에 반사되어 오는걸 마이크로 인식하여 어떤 손짓인지를 인식해내는 방식입니다.


[스마트폰을 이용한 동작 인식]

이 글에서 설명한 동작 인식 방식의 대표적인 응용입니다. 스마트폰을 휴대한 사용자의 동작을 인식하는 모습을 확인할 수 있습니다.
이외에도 다양한 응용이 많이 나오고 있습니다. 요즘에는 스마트 링이라고 해서 반지형태로도 나온다 하네요.


6. 마치며
언젠가 정리해서 작성하려고 했는데, 마침 좋은 이벤트가 있어서 이벤트를 핑계삼아 여태까지 글 쓰려고 정리했던걸 모아보았습니다. 자세히 설명하면 복잡한 수식에 이론에 끝도 없어서 최대한 수식을 없애고 그림과 동영상 위주로 정리했는데 이해하기 어렵지는 않을까 걱정되네요.
좋은 이벤트 개최해주신 OrBef님 이하 피지알 운영진에 감사드리고, 궁금하신 점은 댓글이나 쪽지로 질문주시면 아는 한도내에서 최대한 자세히 말씀드리겠습니다. 긴 글 읽어주셔서 감사합니다.