우울했던 작년 크리스마스. 변변찮은 수입이 없던 당시 내가 받았던 스트레스와 불안감은 이루말할 수 없었다. 미래가 어떻게 될지 모르는 불안한 상황에서 가족과 크고 작은 다툼이 끊이질 않았었다. 작년 여름 큰 희망으로 첫 발을 내디딘 독일 박사과정 유학이었지만, 시작부터 우리에겐 가시밭길이었다. 인터뷰까지 통과되어 받을 수 있을 것으로 믿었던 독일정부 장학금을 마지막 심사에서 탈락하여 끝내 받지 못하게 되었고, 당장 먹고 살 미래를 걱정해야만 하는 처지로 내몰렸던 까닭이다. 자포자기한 심정으로 보냈던 시간들, 답답하기만 한 처지, 가족과의 불화 등 모든 것을 잊고 싶어 한동안 공부와 연구에서 손을 놓기도 했다. 매섭도록 추웠던 작년 겨울은 내 마음까지 얼어붙게 만들었던 것 같다.

나는 당시 가족 뿐만 아니라 하나님과 주님까지 원망했을 뿐만 아니라, 하나님께 거의 등을 돌리다시피 했다.
"하나님! 실컷 기도해 보았자 제 소원은 들어주시지 않는군요. 오히려 너무나 뼈아프고 괴로운 시간들만 저에게 주시는 겁니까? 이젠 하나님께 기도하기 보단 그냥 닥치는대로 살렵니다."
이렇게 하나님을 원망했는데도, 외롭고 쓸쓸하게 지내던 내게 다가온 하나님의 보이지 않는 따스한 손길을 잊을 수가 없다. 몇몇 교우들이 종종 찾아와 음식을 나누어 주거나 식사에 초대해 주었다. 특히, 아욱스부르그 한인교회 목사님께서 베풀어 주신 따스한 조언과 사랑은 아마도 영원히 잊지 못할 것이다.

한국으로 다시 돌아갈 것도 생각해 보았지만, 아내는 "우리의 꿈과 소망을 하나님께서 결코 저버리지 않으실 거예요. 할 수 있는데까지 새로운 자리를 잡아봐요"라고 말하며 나를 강하게 독려해 주었다. 유럽에서 자리를 잡기가 얼마나 어려운 지 알기 때문에 당시에는 그것이 불가능한 것이라고 여겼지만, 아내의 신념에 찬 격려에 내 마음 속에서도 "그래, 이제 밑져야 본전이다. 한번 해보자"라는 도전의식이 싹트기 시작했다. 나는 몇달동안 이를 악물고 닥치는대로 유럽과 미주 지역에서 내가 할 수 있는 연구직을 알아보았고, 우여곡절 끝에 결국 괜찮은 조건을 제시하는 연구소 및 대학원으로부터 제의를 받을 수 있었다.

그러나 7월말까지도 최종적인 결정은 내려지지 않았고 오히려 한국으로 돌아가야 할 위기를 맞기도 했다. 더 좋은 연구소의 고용 제의를 기다리기 위해 다른 곳의 제의를 거절해야만 했기 때문이다. 그러나 기대했던 연구소에는 결국 합격하지 못하여 유럽과 미주 지역에서 받았던 모든 소중한 기회를 아쉽게 버려야 하는 상황이 된 것이다. 그러나 놀라운 역전이 일어났다. 죽었다고 생각했던 기회가 다시 살아난 것이다! 할렐루야! 밑져야 본전이니 처음 제의를 받았던 연구소에 다시 한번 연락해 보자는 아내의 제안이 성큼 내키지 않았지만 일단 연락해 보았다. 놀랍게도 연구소 측에서는 언제든지 나를 대환영한다는 답신을 보내왔다.

나는 이제 독일에서 정식 연구원으로서 일하고 있다. 처음에는 연구주제조차 생소하여 마음에 썩 들지 않았지만, 지금은 오히려 나의 연구과제가 향후 미래 과학을 이끌어 갈 전망있는 분야라는 확신이 들고 있다. 또한 처음에는 경제적으로 넉넉하지 못할 거라고 생각했지만, 부족하지 않게끔 우리를 채워주시고 우리 가족을 더욱 더 넘치는 사랑과 화목으로 이끄시는 주님의 손길을 발견하게 된다. 지금에 와서야 역경과 시련 속에서도 나의 부족함을 고치고 나의 달란트에 적합한 더 나은 내일을 선물로 주시려는 하나님의 놀랍고 빈틈없는 계획이 있었다는 것을 깨닫게 되었다. 지금 내가 누리고 있는 모든 것은 하나님의 은총이 아니고 무엇이겠는가! 시련과 역경을 딛고 받은 올해의 크리스마스 선물은 너무나 달콤하고 행복하다. 지금 나는 연구원으로서 사랑스러운 가족과 평안한 크리스마스를 보내고 있다.

지난 역경은 나를 더욱 강하게 만들어 주었지만 아직 내게 부족한 것은 하나님과 예수 그리스도를 향한 마음과 영성이다.

너희는 먼저 그의 나라와 그의 의를 구하라 그리하면 이 모든 것을 너희에게 더하시리라. (마태복음 7:33)

지난 8월 막데부르그에서 생활을 시작한 이후로 내 마음에 일어난 큰 변화는 예수 그리스도에 대한 믿음과 사랑이 싹트기 시작하였다는 것이다. 내가 세례를 받은지는 3년 정도 되었지만 아직 예수님의 말씀과 진리가 내 삶의 중심에 자리잡지는 못하였었다. 그런데 이러한 느슨한 신앙의 문제점에 대해 경종을 울려주신 분은 할레 한인교회의 목사님이셨다.

우리가 알거니와 우리 옛 사람이 예수와 함께 십자가에 못 박힌 것은 죄의 몸이 멸하여 다시는 우리가 죄에게 종노릇 하지 아니하려 함이니 이는 죽은 자가 죄에서 벗어나 의롭다 하심을 얻었음이니라. ...
그러므로 너희는 죄로 너희 죽을 몸에 왕노릇 하지 못하게 하여 몸의 사욕을 순종치 말고 또한 너희 지체를 불의의 병기로 죄에게 드리지 말고 오직 너희 자신을 죽은 자 가운데서 다시 산 자같이 하나님께 드리며 너희 지체를 의의 병기로 하나님께 드리라. (로마서 6:6-7,12-13)

하나님의 종이 되라! 그렇다. 어디서 어떠한 형태로 무엇을 하든 나는 하나님의 종으로 살아야 한다. 죽어가고 썩어가는 내 영혼을 구원해 주신 분은 바로 예수 그리스도 아니었던가! 고통 속에서 비명을 지르며 절규했던 나를 이렇게 살려주시고 새로운 삶으로 이끌어주신 분, 어찌 그 분의 종이 되지 않을 수 있을까. 그 분의 종이 된다는 것은 곧 죄로부터 벗어나 하나님의 말씀대로 살아간다는 것이다.

새해 2010년에는 주님이 내 영혼의 중심에 계시는 "성령 충만의 해"가 되도록 하고 싶다. 성령이 내 마음에 충만하고 내 삶을 지배하여 어디에서 무엇을 하건 하나님을 찬양하고 기도드리며 이웃들과 진정한 사랑과 교제를 나눌 수 있는 진정한 그리스도인으로 변화되고 싶다. 나의 직업과 다른 일들은 그 다음 순위가 되어야 할 것이다. 내가 하는 연구도, 가정에서의 일도, 다른 봉사도 모두 하나님과 주님께 드리는 성스럽고 거룩한 것이 되도록 하고 싶다. 그리하여 내 삶을 통하여 이웃과 많은 사람들에게 주님의 복음을 전하고 그들과 사랑의 교제를 나눌 수 있다면 얼마나 가치있는 삶이 될 것인가. 하나님께서 나를 그러한 삶으로 인도하여 주실 것을 믿는다.

객체 검출 및 추적 기술은 동영상 콘텐츠의 효율적인 분석을 가능하게 하기 때문에 전통적으로 동영상 신호처리 및 컴퓨터 비전 분야에서 중요한 연구 주제이다. 이것은 비디오 감시뿐만 아니라 대화형 방송 서비스에도 활용될 수 있다. 대부분의 객체 검출 및 추적 기술은 픽셀 데이터를 직접 이용하고 있는데, 이러한 픽셀영역 접근방법은 다양한 환경에서 높은 성능을 보이는 반면 매우 많은 계산량으로 인하여 실용적이지 못하다는 지적을 받아왔다.

한편, 대부분의 동영상은 전송효율의 향상을 위하여 압축된 형태로 전송되는데, 압축된 비트스트림에서 움직임 벡터 또는 잔차신호와 같은 인코딩 정보는 객체 검출 및 추적을 위한 중요한 단서가 될 수 있다. 이러한 압축영역 접근방법은 매우 빠른 처리속도를 보이지만, 매우 제한된 환경에서만 적용될 수 있으며 추적성능도 픽셀영역 접근방법에 비하여 크게 떨어진다는 단점이 있다.

이러한 단점을 보완하기 위하여, 픽셀영역 접근방법과 압축영역 접근방법을 조합한 새로운 하이브리드 접근방법이 제안되었다. 즉, 이 접근방법에서는 압축된 동영상의 인코딩 정보뿐만 아니라 부분적으로 복원된 픽셀 정보도 함께 이용한다. 기존의 압축영역 접근방법과 달리, 제안된 방법은 빠른 속도로 여러 객체를 동시에 추적할 수 있으며, 특히 균일한 색상분포를 지니거나 사람처럼 관절이 있어 복잡한 움직임을 보이는 객체도 추적할 수 있다. (그러한 객체들은 움직임의 모델링이 쉽지 않아 기존의 압축영역 접근방법에서는 대부분 다루지 않았었다.) 또한 객체 간의 가림현상이 일어나더라도 가림현상 후에 다시 연속적으로 객체를 추적할 수 있다. 이것은 H.264/AVC 동영상으로부터 부분복원된 픽셀 정보를 이용함으로써 가능하게 된 것이다. 본래, H.264/AVC 동영상에서 부분복원은 이웃 블록과의 상관성에 기반한 공간적 또는 시간적 부호화로 인하여 어렵다고 여겨져 왔는데, 제안된 방법에서는 그것을 가능하게 하였다.

이러한 하이브리드 접근방법은 크게 H.264/AVC 동영상에서의 객체 검출 및 추적을 위하여 비유사성 최소화 알고리즘(Dissimilarity Minimization Algorithm)과 확률 시공간적 매크로블록 필터링(Probabilistic Spatiotemporal Macroblock Filtering) 기법으로 구분될 수 있다. DM 알고리즘은 사용자가 추적하고자 하는 객체의 특징점을 직접 입력한 후 자동적으로 객체의 움직임을 추적하 반자동 객체추적 장치에 사용되는 반면, PSMF는 동영상에 나타나는 모든 움직이는 객체를 자동적으로 검출하고 추적하는 장치에 사용된다. DM 알고리즘은 미리 정의된 객체의 위치와 움직임 정보를 빠르게 생성하여 메타데이터의 형태로 만들어내는 메타데이터 저작도구에 활용될 수 있으며, PSMF는 고정된 카메라로부터 입력된 동영상이 H.264/AVC로 압축되어 전송되는 감시 시스템에 탑재될 수 있다.

비유사성 최소화 알고리즘
사용자가 직접 선택한 객체를 자동적으로 추적하기 위해 H.264/AVC 비트스트림의 움직임 벡터와 부분적으로 복원된 텍스쳐 정보를 사용하여 객체의 특성에 따라 적응적으로 객체추적을 수행하는 비유사성 에너지 최소화 알고리즘이 사용될 수 있다. 이 방법은 특징점 기반 접근방식의 하나로서 사용자에 의하여 선택된 특징점들을 추적한다. 먼저, H.264/AVC 비트스트림으로부터 직접 추출된 움직임 벡터를 사용하여 각 특징점의 위치를 대략적으로 예측한다. 그 다음, 텍스쳐, 형태 및 움직임 비유사성 에너지를 사용하여 주어진 탐색 영역내에서 더욱 정확한 최적 위치를 찾는다. 이 에너지를 계산하기 위하여 특징점의 이웃 영역만 부분적으로 복원되기 때문에, 복원 과정의 계산량은 매우 적다. 각 프레임에서 특징점들의 최적 위치는 동적 프로그래밍을 사용하여 전체 비유사성 에너지를 최소화시키는 위치로서 선택된다. 또 한, 각 비유사성 에너지를 위한 가중치는 신경망 회로에 의하여 적응적으로 업데이트된다.

제안된 방법의 성능을 증명하기 위하여, CIF 크기의 동영상으로부터 다양한 객체의 추적 결과를 얻었다. 그림1(a)는 느리게 움직이는 고정된 형상의 객체의 추적 결과를 보여준다. 4개의 특징점이 서로 일정한 형태를 유지하 며 잘 추적된다는 사실을 알 수 있다. 그림1(b)는 또한 빠르게 움직이며 형상이 변화하는 객체의 추적 결과를 보여준다. 객체의 빠른 3차원 운동 때문에 특징점 구조가 크게 변화함에도 불구하고 추적이 성공적으로 이루어지고 있음을 관찰할 수 있다. 그림1(c)는 P 프레임에서 부분 복 원의 결과를 시각적으로 나타낸다. 단지 세 개의 특징점의 이웃 영역만이 부분적으로 복원되었다. 한편, H.264/AVC 비트스트림을 읽기 위하여 JM 참조 소프트웨어를 사용하였을 때, 계산시간은 프레임당 430ms 이하였다. FFMPEG 같은 다른 상용 디코더가 사용된다면, 전체 계산시간은 프레임당 200ms 이하로 감소될 수 있다.




확률 시공간적 매크로블록 필터링
정지 배경에서 촬영된 H.264/AVC 동영상에서 움직이는 모든 객체를 자동적으로 검출하고 추적하기 위하여 확률 시공간적 매크로블록 필터링(PSMF)과 부분복원 기법이 사용될 수 있다. 이 알고리즘은 다음과 같은 두 단계로 구성되어 있다.

추출 과정: 이 과정에서는 객체영역을 블록단위로 추출하고 PSMF에 의하여 각 P 프레임에서 객체의 대략적인 궤적을 계산한다. 우선, 배경영역이라고 생각되는 매크로블록을 제거하고 남아있는 매크로블록을 여러 영역으로 클러스터링한다. 객체 영역을 배경 영역과 구분하기 위하여, 두 단계로 구성된 PSMF 필터링을 사용한다. 첫 단계에서는 정수기반 잔차신호와 클러스터링된 영역의 공간적 구조에 기반하여 배경 영역을 필터링 한다. 두 번째 단계에서는, 남아있는 영역들이 일정한 프레임 구간동안 유지되는지 관찰하여 각 영역이 객체 영역일 확률을 계산한다. 높은 출현 확률을 지니는 영역은 최종적으로 객체 영역으로서 간주된다.

정밀화 과정: 이 과정에서는 이전 과정에서 추출된 객체의 대략적인 궤적을 보다 정확하게 정밀화한다. 먼저, 각 I 프레임에서 사각형으로 표시된 객체 영역의 픽셀값을 부분적으로 복원한 후, I 프레임에서의 배경 제거와 P 프레임에서의 움직임 보간 기법을 통하여 객체의 궤적을 보다 정밀하게 계산한다. 또한 객체의 컬러 정보를 이용하여 객체 간의 가림현상이나 객체의 일시적인 사라짐 후에도 객체를 인식한다.

제안된 자동 모듈은 720 프레임의 실내 동영상과 900 프레임의 실외 동영상에서 만족스러운 성능을 보여주었다. 그림2(a)는 실내 환경에서의 추적결과를 보여준다. 실내 환경에서 객체가 카메라 쪽으로 이동함에 따라 객체의 크기가 연속적으로 변화하고 있음에도 불구하고 객체를 잘 추적하고 있다. 더욱이, 객체의 각 부분 (머리, 팔, 그리고 다리)이 서로 다른 움직임을 가지고 있음에도 불구하고 객체 영역 박스는 항상 객체의 전체 영역을 에워싸고 있다. 그림2(b)는 실외 환경에서의 추적결과를 보여준다. 실외 환경에서 세 명의 사람을 검출하고 동시에 추적하는데 성공하였다.


객체 간의 가림현상(occlusion)이 발생하는 경우, 가림현상이 끝난 후 각 객체를 인식하기 위하여 Hue 컬러 히스토그램을 사용하였다. 그림3은 두 객체가 Hue 컬러 히스토그램에 의하여 잘 구분되고 있음을 보여준다.


제안된 방법의 계산속도는 JM 참조 소프트웨어를 사용하였을 경우 실내환경에서는 프레임당 2.02ms (49.5 frames/sec), 실외환경에서는 프레임당 2.69ms (37.12 frames/sec)였다. 부분복원 기법을 사용하지 않았을 경우, 실내환경에선 20.46 frames/sec, 실외환경에서 19.17 frames/sec의 속도를 보인다는 실험결과로 볼 때 부분복원 기법이 계산량을 줄이는데 크게 기여하고 있음을 알 수 있다.

객체 검출 및 추적 기술은 픽셀 영역 접근방법과 압축영역 접근방법으로 구분될 수 있다. 픽셀 영역 접근방법은 MPEG 동영상과 같은 압축된 비트스트림으로부터 완전히 복원된 픽셀 데이터를 이용하는 방법이다. 반면, 압축 영역 접근방법은 압축된 비트스트림으로부터 추출된 움직임 벡터, DCT 계수, 또는 매크로블록 형태 등의 인코딩 정보를 이용하는 방식이다. 전통적으로, 객체 검출 및 추적에 관한 대부분의 연구들은 픽셀 영역 접근방법에 집중되어 왔다; 그 이유는 이 방법이 컴퓨터 비전 이론에 기반하여 더욱 강력한 성능을 보여주기 때문이다. 하지만, 픽셀 영역 접근방법은 비록 성능은 우수할지라도 계산량이 너무 많아 처리시간이 오래 걸린다는 단점이 있다. 이러한 이유에서, 객체 검출 및 추적을 위한 계산량을 줄이기 위한 대안으로 1990년대 후반부터 압축영역 접근방법에 대한 연구가 진행되어 왔다. 이 방법은 계산량을 크게 줄일 수 있으며 실시간 시스템에 적용될 수 있을 정도로 빠른 처리 속도를 보인다. 하지만, 객체 검출 및 추적 성능은 픽셀영역 접근방법에 비하여 크게 뒤떨어진다. 최근 가장 인기있는 동영상 압축 표준인 H.264/AVC에 의하여 인코딩된 동영상을 다루는 알고리즘에 대한 연구가 진행되고 있다. 대부분의 H.264/AVC 기반 알고리즘들은 DCT 계수보다는 움직임 벡터를 이용하는 경향을 보인다. 다음 장에서는 H.264/ MPEG-4 AVC 압축 표준- 특히 베이스라인 프로파일에 대하여 간략하게 소개하고, 다음으로 객체 검출 및 추적을 위한 압축 영역 접근방법에 대하여 설명하기로 한다.

MPEG-4 AVC 압축표준
H.264/AVC, 즉 H.264/MPEG-4 Advanced Video Coding은 국제 표준 기구 ISO(International Organization for Standardization)의 한 분과인 MPEG (Moving Picture Experts Group)에 의하여 개발된 동영상 압축 표준의 하나이다. 코딩 기술과 자원에 관한 높은 유연성을 강조하는 MPEG-4 Visual과 달리, H.264/AVC는 동영상 압축 및 전송의 효율성 및 신뢰성에 집중한다. 동영상 압축의 인기있는 애플리케이션을 지원하기 위하여, 이 압축표준에서는 단지 세 가지 프로파일- 즉, 베이스라인 프로파일(Baseline profile), 메인 프로파일(Main profile), 확장 프로파일(Extended profile)만을 정의한다. 베이스라인 프로파일은 동영상 압축을 위한 기본 기능 뿐만 아니라 에러 보정 기능도 포함하고 있기 때문에 특히 동영상 회의, 무선 모바일 시스템같은 실시간 애플리케이션에 적합하다. 메인 프로파일은 방송이나 멀티미디어 저장을 위한 애플리케이션을 위한 것으로서, 많은 양의 콘텐츠를 다루기 위하여 인코딩 과정에서 계산량이 많을지라도 압축 효율을 극대화하도록 설계되었다. 확장 프로파일은 동영상 스트리밍 애플리케이션에 유용하다. 동영상 스트리밍 애플리케이션은 인코딩된 동영상 콘텐츠를 실시간으로 전송하여 재생하는 것을 목적으로 한다. 이러한 이유에서, 확장 프로파일 역시 실시간 인코딩 기술보다는 높은 압축율을 지향한다.

이러한 세 종류의 프로파일 중에서, 베이스라인 프로파일은 실시간 회의와 같이 감시 카메라로부터 실시간으로 객체를 검출하고 추적하기 위한 시스템에 적합하다. 이 프로파일로 인코딩된 동영상은 단지 I 또는 P 타입의 프레임만으로 구성된다. I 프레임은 인트라 예측을 사용하여 인코딩된 I 타입의 매크로블록만을 포함하며, P 프레임은 I 타입의 매크로블록 뿐만 아니라 인터 예측을 사용하여 인코딩된 P 타입의 매크로블록도 포함한다. 인코딩된 정보는 움직임 벡터, 매크로블록 타입, 및 픽셀값과 예측값의 차분 이미지로부터 생성된 DCT 계수를 포함한다.

인트라 예측에 의하여 생성된 I 타입 매크로블록은 4개의 4x4 자식 블록 또는 하나의 16x16 블록으로 구성될 수 있다. I 타입 매크로블록 내에 있는 각 블록의 이웃 블록이 참조 데이터로서 인트라 예측에 사용된다. 반면, P 타입 매크로블록은 여러 크기의 자식 블록- 즉, 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 또는 4x4 크기의 블록으로 구성될 수 있다. 각 자식 블록은 고유의 움직임 벡터를 지닌다. P 타입 매크로블록은 또한 스킵 모드에 의하여 인코딩될 수 있다. 이 모드에서는 움직임 보상 영역에 있는 픽셀이 잔차 데이터 없이 직접 복원에 사용된다. 그러한 매크로블록은 주로 컬러의 변화가 거의 나타나지 않는 배경영역에서 발생한다. 하지만, 스킵모드에 있는 매크로블록 역시 움직임 벡터를 지닐 수 있음에 유의하여야 한다.

압축영역 접근방법
객체 검출 및 추적을 위한 전통적인 압축 영역 접근방법은 계산량을 줄이기 위하여 픽셀 데이터 대신에 주로 움직임 벡터 또는 DCT 계수를 이용한다. 이러한 인코딩 데이터는 움직이는 객체를 검출하고 추적하기에 충분히 신뢰할 만한 데이터는 아니다. 가령, 인코딩 비트스트림에 있는 움직임 벡터의 경우 언제나 객체의 실제 움직임에 일치하는 것은 아니다. 이는 인코더에서 움직임 벡터를 생성하는 블록 매칭 알고리즘이 객체의 실제 움직임을 추적하려는 목적에서라기 보다는 비트스트림 데이터를 최대한 줄이려는 목적에서 동작하기 때문이다. 또한, 움직임 벡터는 블록 단위로 듬성듬성 할당되기 때문에, 세밀한 움직임 정보가 될 수 없다. 다음으로 DCT 계수를 살펴보자. MPEG-1 또는 MPEG-2에서는, I 타입 매크로블록은 인트라 예측 없이 생성되기 때문에 I 프레임의 DCT 계수로부터 쉽게 낮은 해상도의 DC 이미지를 만들어 낼 수 있다. 하지만, 이것은 낮은 해상도의 이미지로서 불충분한 정보일 뿐만 아니라, 인트라 예측을 사용하는 H.264/AVC에서는 DC 이미지를 생성하는 것조차 불가능하다. 따라서, 이러한 인코딩 정보의 한계를 극복하는 것이 압축영역 접근방법의 중요한 과제라 하겠다.

일반적으로, 압축 영역 접근방법은 두 종류의 단계- 즉, 클러스터링 및 필터링 단계를 포함한다. 이러한 단계가 어떻게 조직되느냐에 따라, 압축 영역 알고리즘은 클러스터링 기반 알고리즘(Clustering-based algorithm) 또는 필터링 기반 알고리즘(Filtering-based algorithm)으로 분류될 수 있다. 클러스터링 기반 알고리즘은 먼저 블록들을 시간적 또는 공간적 유사성에 따라 여러 그룹으로 그룹핑한 후, 각 그룹들을 배경 또는 객체 영역으로 분류한다. 반면, 필터링 기반 알고리즘은 먼저 배경에 속하는 블록을 필터링하거나 모든 블록을 배경 또는 객체 영역으로 분류함으로써 객체 영역을 추출한다. 다음, 객체 영역을 클러스터링에 의하여 여러 독립적인 객체로 분리한다. 그렇다면, 클러스터링 기반 알고리즘과 필터링 기반 알고리즘에 대하여 더욱 자세히 알아보기로 하자.

클러스터링 기반 알고리즘
클러스터링 기반 알고리즘은 움직이는 객체 영역을 추출하는 가장 중요한 측정 기준으로서 블록의 지역적인 유사성을 강조한다. 우선, 움직임 벡터 또는 DCT 계수의 유사성에 따라 블록들을 여러 영역으로 그룹핑한다. 그 다음, 유사한 영역들을 다시 병합하고, 각 영역들을 배경 또는 객체 영역으로 분류한다. 대부분의 클러스터링 기반 알고리즘은 클러스터링을 위한 단서로서 움직임 벡터의 유사성을 사용하며, DCT 계수의 유사성은 성능 향상 또는 객체 경계선을 자세히 검출하는데 보조적으로 사용된다.

대부분의 클러스터링 기반 알고리즘들은 블록 클러스터링을 위하여 움직임 벡터의 유사성을 이용한다. 하지만, 움직임 벡터가 항상 실제 객체의 움직임에 일치하는 것이 아니기 때문에, 그러한 방법은 신뢰성이 없다. 이 문제는 신뢰성이 없는 움직임 벡터를 필터링함으로써 해결될 수 있다. 한편, 움직임 벡터의 또 다른 문제점이 존재하는데, 그것은 움직임 벡터가 블록 단위로 듬성듬성 할당되어 있어서 움직임 벡터를 이용한 객체 검출 및 추적 결과가 정확하지 않다는 것이다. 이러한 문제는 공간적 보간법 및 기대치 최대화 방법에 의하여 해결될 수 있다. 몇몇 알고리즘들은 움직임 벡터 대신에 I 프레임의 DCT 계수로부터 만들어진 저해상도의 DC 영상을 이용하기도 한다. 하지만, 이 방법은 H.264/AVC 동영상에는 적용될 수 없는데, 그 이유는 I 프레임에서 각 블록은 이웃 블록과의 공간적 상관성에 기반하여 인코딩되기 때문이다. 최근 제안된 클러스터링 기반 알고리즘 중의 하나는 영역 병합 알고리즘(Region Growing Approach)으로서, 이 방법은 클러스터링된 여러 개의 초기 영역들을 시간적 또는 공간적 유사성에 기반하여 병합함으로써 객체의 검출 및 추적을 수행하는 방법이다.

필터링 기반 알고리즘
클러스터링 기반 알고리즘이 지역적인 블록 클러스터링과 관련된 것과 달리, 필터링 기반 알고리즘은 이미지의 전체적인 유사성에 기반한 필터링을 강조한다. 이러한 알고리즘에서는 먼저 움직임 벡터를 신뢰할 수 없는 블록이나 배경영역에 속하는 것으로 간주되는 블록들을 제거함으로써 객체 영역을 추출한다. 그 후, 추출된 객체 영역을 적절한 클러스터링 방법에 의하여 여러 객체로 분리한다.

움직임 벡터 또는 DCT 계수의 시공간적 특성을 측정함으로써 배경영역의 블록들을 필터링할 수 있다. 광역 움직임 보상 기법 그리고 DCT 계수의 DC 영상에 기반한 배경제거 기법 역시 객체 영역을 추출하는데 유용하다. 최근, 마코비안 랜덤 필드(Markovian random field) 및 베이지안 예측 프레임워크(Bayesian estimation framework)에 기반한 알고리즘들이 제안되었다. 이 알고리즘들은 블록 단위의 최적 객체 영역을 찾기 위하여 미리 정의된 확률값을 최대화한다. 일반적으로, 이 알고리즘들은 상당히 좋은 성능을 보여주지만 계산량이 너무 많아 압축영역 접근방법의 장점을 무색하게 한다. 현재, H.264/AVC 압축 동영상을 다루는 세 가지 알고리즘- 즉, MRF 기반 알고리즘, 비유사성 최소화 알고리즘 및 확률적 데이터 연관 필터링 (PDAF) 알고리즘이 존재한다.

일반적으로 뇌기능 연구는 기능적 자기공명장치(Functional MRI) 또는 뇌파 검출(EEG 또는 MEG) 등을 통하여 신체 자극에 대한 뇌의 반응을 관찰함으로써 이루어진다. 즉, 신체에 특정한 자극을 주었을 때 뇌의 특정 부분에서 활성화되는 신호를 분석함으로써 신체의 자극과 뇌기능의 관련성을 추리해내는 방식이다. 그러나, 신체 자극 같은 실험에 기반한 뇌기능 연구는 복잡한 뇌의 구조를 밝히는데 한계가 있다는 지적이 있어왔다.

한편, 몇몇 연구자들은 아무런 자극을 주지 않은 휴식 상태(resting state)에서도 뇌의 여러 부분들의 신호가 저주파수에서 서로 동기화되어 있다는 것을 발견하였다. 이 발견은 뇌과학 연구자들로 하여금 휴식 상태의 뇌신호를 분석함으로써 뇌의 기능적 연결성을 밝힐 수 있다는 기대감을 갖게 하였고, 이에 따라 많은 연구자들이 휴식 상태에서의 뇌신호 분석에 관심을 갖게 되었다.

휴식 상태에서 뇌신호를 분석할 때 크게 두 가지 문제가 존재한다. 첫번째 문제는 휴식 상태의 뇌신호가 순수한 뇌의 신경활동(neural activity) 뿐만 아니라 여러 다른 잡음과 섞여있다는 점이다. 두번째 문제는 회소 또는 관심영역 사이의 상관성(correlation), 즉 기능적 연결성(functional connectivity)을 어떻게 예측하느냐는 것이다.

먼저 잡음에 관한 문제를 생각해 보자. 자극에 의하여 활성화되는 뇌신호와는 달리 휴식 상태의 뇌신호에서는 신호 대 잡음 비율(SNR)이 매우 낮다. 즉, 순수한 뇌 신경활동에 기반한 신호는 장치 또는 신체의 생리적 영향에 의한 잡음과 섞여있어 쉽게 분별하기 어렵다. 현재 불필요한 잡음을 제거하거나 분리해내는 완벽한 기술은 존재하지 않으며, 오직 여러 실험 대상자에 대한 비교 또는 통계 데이터 등의 간접적인 방법에 의해서 실험결과가 순수한 뇌 신경활동에 기반한다는 사실을 추측할 수 있을 뿐이다.

fMRI의 신호분석에 있어서 한 가지 주목할만한 관찰은 fMRI의 혈중산소포화도에 기인한 신경활성화 신호(Blood Oxygen Level Dependent, BOLD)가 1/f fractional Gaussian process의 특성을 지니고 있다는 점이다. 이 관찰은 웨이블릿 및 프랙탈 등의 이론에 기반하여 Hurst Exponent 등의  의미있는 신호특성을 추론하는 것을 가능하게 하였고, 실제로 이러한 신호 특성이 뇌기능과 직접적인 관련이 있다는 연구결과가 지속적으로 보고되고 있다. 또한, 이 관찰은 뇌신호로부터 불필요한 잡음을 어느 정도 분리해내는데 도움을 주고 있다.

다음으로 뇌 영역 사이의 기능적 연결성을 예측하는 방법론에 대하여 생각해 보자. 두 개 이상의 시계열(time series)을 비교하는 일반적인 척도는 상호상관계수(cross-correlation)라는 값이다. 그러나, 휴식상태의 뇌신호는 상대적으로 무시하지 못할 잡음 속에 파묻혀 있기 때문에 상호상관계수 만으로는 정확한 비교가 어렵다. 이에 대한 대안으로, Independent Component Analysis (ICA)와 같은 방법이 많은 연구자들에 의하여 관심을 끌었다. ICA가 전체 화소의 시계열을 총체적으로 검토하여 효과적으로 잡음과 여러 의미있는 신호들을 분리해내기 때문이다. 그러나 그룹으로 분리된 화소의 집합들이 잡음인지 뇌의 신경활동에 의한 신호인지 명확하게 분별하기 어렵다는 단점이 존재한다. 더구나 분리된 유사한 화소 집합들이 뇌기능과 관련하여 어떠한 의미를 지니는지에 대한 해석이 쉽지 않다.

개인적으로는 ICA보다 상호상관계수에 의한 접근방법이 뇌의 기능적 연결성을 예측하기 위한 보다 직접적이고 과학적인 접근방법이라고 생각한다. 잡음을 다루기 위해서, 뇌신호가 1/f fractional Gaussian process의 형태를 지니고 있다는 가정에 기반하여 그러한 형태의 신호로부터 잡음을 분리해내기 위한 도구로서 웨이블릿 분석을 이용하는 방법이 활발하게 연구되고 있다. 즉, 웨이블릿은 여러 잡음 속에 뒤섞여 있는 뇌신호에서 상호 독립적인 신호 소스를 분리하는데 기여한다. 웨이블릿에 기반한 뇌의 기능적 연결성은 프랙탈 연결성(fractal connectivity)이라고 불리기도 한다.

결론적으로, 휴식상태에서의 뇌의 기능적 연결성에 관한 연구는 아직 진행형이다. 하지만, 웨이블릿 또는 프랙탈 이론에 기반한 뇌신호의 분석은 뇌의 기능적 연결성을 밝히는데 큰 기여를 하고 있으며, 결국 머지않아 휴식상태에서 뇌의 기능적 연결성을 밝히는 신뢰할만한 이론이 등장할 것으로 기대해 본다.