h.264/avc의 in-loop deblocking filter

출처 - http://www.sosori.com/2009/09/h264avc%EC%9D%98-in-loop-deblocking-filter.html

h.264/avc의 in-loop deblocking filter에 대해서 그냥 제가 아는대로만 설명해 보려고 합니다.

뭐 제가 전문가도 아니고 대충 개념정도만 알고있는거라서 참고만 하시는게 좋을것 같습니다;

보통 디블럭이라고 하면 후처리 필터라고 알고 계실겁니다. mpeg압축방식처럼 영상을 여러개의 블럭으로 나눠서

인코딩 하는 경우 부작용으로 블럭화 현상이 생기는데(깍두기라고도 하죠) 이런 블럭화 현상이 있는 영상을

보정해주는 걸 보통 deblocking필터라고 합니다. avisynth의 deblocking필터라든지 mpeg2나 mpeg4의 디코더에 있는

deblock필터 등등에 해당하는 얘깁니다. 하지만 h.264/avc의 in-loop deblocking필터는 보통의 후처리 필터와는

약간 개념이 다릅니다. 기본적으로는 deblocking필터이지만 어떤 과정에서 사용되느냐가 다른 후처리 필터들과는

다른점이죠. 인코딩관련 블로그나 게시판을 봐도 이름이 비슷하기 때문에 보통 이 둘을 같다고 생각하시는 분들이

많은것 같아서 이 둘의 차이점에 대해서 말씀드리겠습니다.

먼저 단순한 후처리 필터로써 deblocking필터가 사용되는 인코딩과정이나 재생과정을 생각해보면,

-----------------------------------------------------------------------------------------------

  원본소스 -> 후처리(deblocking) -> 인코딩

                                                     인코딩된 영상 -> 디코딩 & deblocking -> 디스플레이(재생)

-----------------------------------------------------------------------------------------------

이런식이죠. 보통의 이런 후처리 deblocking필터는 인코딩과정 내에서는 아무런 영향을 주지 않습니다.

하지만 in-loop deblocking은 그 이름처럼 인코딩 과정내에 삽입되어 작용을 합니다.

예를 들어, 원본소스가 3개의 프레임(A,B,C)으로 이루어진 영상이고 3개의 프레임을 I,P,P프레임으로

인코딩한다고 가정하면...

in-loop deblocking을 사용하지 않는 압축방식은 다음과 같습니다.

  1) A프레임을 I프레임으로 압축 - 참조 프레임 없이 intra코딩 합니다.

  2) B프레임을 P프레임으로 압축 - 이미 압축된 A프레임을 참조하여 inter코딩 합니다.

  3) C프레임을 P프레임으로 압축 - 이미 압축된 B프레임을 참조하여 inter코딩 합니다.

in-loop deblocking을 사용하는 압축방식은 다음과 같습니다.

  1) A프레임을 I프레임으로 압축 - 참조 프레임 없이 intra코딩 합니다.

  2) B프레임을 P프레임으로 압축 - 이미 압축된 A프레임에 deblocking필터를 적용한 후 참조하여 inter코딩 합니다.

  3) C프레임을 P프레임으로 압축 - 이미 압축된 B프레임에 deblocking필터를 적용한 후 참조하여 inter코딩 합니다.

이렇게 in-loop deblocking을 사용하는 경우, 이미 압축된 프레임에 deblocking필터를 적용한 후에 참조하여

inter코딩을 하기때문에 더 효율적인 움직임예측이 가능해져서 residual data(움직임예측오류데이터)를 줄일 수 있습니다.

또한 in-loop deblocking을 사용하는 압축방식을 잘 생각해보면 in-loop deblocking은 "h.264/avc의 압축과정"에서

발생하는 블럭화 현상을 제거하여 압축효율을 높이는 것이지 원본소스의 블럭화 현상 제거와는 별로 상관이

없다는것을 알 수 있습니다. 따라서 원본소스가 어찌됐든 in-loop deblocking은 압축효율을 높이기 위해 항상

사용하는게 좋겠죠.(h.264/avc의 모든 프로파일에 적용되는 옵션입니다) 그리고 비교적 비트레이트가 낮은  h.264/avc영상을 볼 때

디코더에서 in-loop deblocking을 사용하지 않을 경우(ex:CoreAVC디코더에서 skip deblocking을 사용하는 경우)에 꽤나 심각한

블럭화 현상이 나타나는 이유도 알 수 있습니다. 참조 프레임에 deblocking필터를 적용하기 때문에 inter코딩 과정에서

deblocking필터에 의한 효과가 점점 누적되게 되고 재생시에 deblocking필터를 사용하지 않으면 누적된 차이가

화면에 그대로 나타나게 되는거죠. 참조 프레임을 사용하지 않는 Intra프레임(I프레임)을 만나면 정상화 되었다가 다시 점점 차이가

나타나는 모습을 볼 수 있습니다. 따라서 원래 인코더가 의도한 영상을 보려면 디코더의 deblocking필터는

특별한 경우가 아니라면(ex:컴퓨터의 사양이 낮아서 원활한 재생이 힘든 경우) 항상 사용하는게 좋습니다.

요즘 많이 쓰이는 h.264/avc인코더인 x264에서도 --deblock a:b 옵션으로 in-loop deblocking을

사용할 수 있는데 a,b값을 어떻게 정해야 할지가 가장 어려운 부분이죠..

보통은 a,b값이 높을수록 더 많이 deblock된다고 합니다만 a,b값 말고도 in-loop deblocking에 영향을

주는 요소들이 많이 있습니다. QP값이나 매크로블럭 타잎 등 여러 요소들에 의해서 deblocking을

적용할지 안할지가 결정되기 때문에 이 부분은 기본값인 0:0 에서 너무 차이가 나지 않는 범위내로

정하는게 좋을것 같습니다. 그리고 a,b값을 어떻게 정하더라도 QP값이 낮을수록(비트레이트가 높을수록)

in-loop deblocking의 작용이 줄어들기 때문에 웬만큼 저화질로 인코딩 하는 경우가 아니라면

a,b값을 조절하는게 인코딩된 영상에 그리 크게 영향을 주지는 않을겁니다.

여기까지 제가 아는대로 h.264/avc의 in-loop deblocking에 대해서 써봤는데요..

앞서 말씀드린대로 여기저기서 주워들은 내용이기 때문에 얼마든지 잘못된 내용이 있을 수 있습니다;

그리고 사실 인코딩을 하는 입장에서 몰라도 아무런 상관없는 내용이기도 하고요..그냥 보통의 후처리 필터와

어떤점이 다른지 또 어떤식으로 in-loop deblocking이 작용하는지 참고만 하시는 정도로 보시면 좋을것 같습니다.