멀티모달 모델 이해하기: 이미지와 텍스트를 함께 처리하는 원리

최근 인공지능 모델이 텍스트를 넘어 이미지, 음성 등 여러 형태의 데이터를 동시에 이해하는 모습에 많은 관심을 보입니다. AI가 단순히 텍스트를 생성하는 것을 넘어, 사진을 보고 상황을 설명하거나 차트를 분석하는 능력을 보여주기 때문입니다. 사용자들은 이러한 멀티모달 AI의 결과물에 놀라지만, 실제 내부에서 어떤 원리로 다양한 데이터 유형을 하나의 언어로 통합하여 이해하는지 궁금해하십니다.

멀티모달 모델은 텍스트, 이미지, 음성 등 각기 다른 형태의 데이터를 별개의 구성 요소로 처리한 후, 이들을 하나의 공통된 공간에서 연결하는 방식으로 작동합니다. 즉, 모든 데이터가 동일한 방식으로 처리되는 것이 아닙니다. 각 데이터 유형은 고유한 인코더를 거치며 모델에 입력됩니다. 이 구조 덕분에 모델은 텍스트의 문맥적 의미와 이미지의 시각적 정보를 분리하여 처리하면서도, 최종적으로는 이 둘을 연결하여 하나의 통합된 이해를 만들어냅니다.

이 글은 멀티모달 모델이 이미지를 어떻게 이해하고 처리하는지에 대한 핵심 원리를 설명합니다. 이미지 입력이 모델에 들어가기 위해 어떤 과정(토큰화)을 거치는지, 그리고 비전 인코더가 시각 정보를 어떻게 수학적 데이터로 변환하는지 그 작동 방식을 집중적으로 다룹니다. 이 내용을 통해 멀티모달 AI가 단순히 데이터를 나열하는 것이 아니라, 깊이 있는 방식으로 의미를 연결하는 원리를 파악하실 수 있습니다.

이미지 입력의 토큰화 원리

이미지 데이터는 기본적으로 픽셀 값들의 배열로 시작합니다. 이 픽셀 값들은 단순히 밝기나 색상을 나타내는 수치들의 집합체입니다. 대규모 언어 모델(LLM)과 같은 모델이 이러한 원시적인 픽셀 배열을 직접 처리하기는 어렵습니다. 따라서 모델이 이해할 수 있는 형태로 이미지를 변환하는 과정이 필요합니다.

이 변환 과정의 핵심은 이미지를 일정한 크기의 조각, 즉 패치(patch)로 나누는 것입니다. 모델은 이미지를 통째로 보는 것이 아니라, 이 패치 단위로 정보를 분할하여 처리합니다. 각 패치는 독립적인 시각적 정보를 담고 있는 작은 단위로 간주됩니다.

다음 단계는 이 패치들을 모델의 입력 단위인 토큰(token)으로 변환하는 것입니다. 토큰은 모델이 수학적으로 연산하고 이해할 수 있는 벡터(vector) 형태의 수치입니다. 패치 하나하나가 추출된 특징을 담은 고차원 벡터로 매핑됩니다. 이 과정은 마치 이미지의 시각적 특징을 숫자로 압축하는 것과 같습니다.

이러한 패치 기반의 토큰화 방식은 모델이 이미지의 지역적인(local) 특징과 전역적인(global) 관계를 동시에 파악하는 데 도움을 줍니다. 단순히 픽셀 값을 나열하는 것보다 훨씬 풍부하고 구조화된 정보를 모델에 제공합니다.

이러한 이미지 토큰화 과정을 거치면, 텍스트에서 나온 단어 토큰과 이미지에서 나온 패치 토큰이 동일한 차원의 공간에 존재하게 됩니다. 즉, 언어와 시각 정보가 같은 '토큰 공간'으로 통합되는 것입니다. 이로 인해 모델은 텍스트의 설명(예: "고양이")과 이미지의 실제 패치 정보(고양이를 구성하는 픽셀 패턴)를 직접적으로 연결하여 이해할 수 있습니다.

이러한 벡터 변환과 정보 연결의 원리는 임베딩과 벡터 검색 개념과 깊은 관련이 있습니다. 패치 임베딩(Patch Embedding)은 이미지의 각 패치를 고유한 벡터로 변환하는 역할을 수행합니다. 이 벡터들은 모델의 다음 레이어(layer)로 전달되어 전체적인 의미를 파악하는 데 사용됩니다.

결과적으로 멀티모달 모델은 픽셀 배열 $\rightarrow$ 패치 분할 $\rightarrow$ 벡터 변환 $\rightarrow$ 토큰 시퀀스라는 단계를 거쳐, 시각 정보를 언어 모델이 처리할 수 있는 언어적 토큰의 흐름(sequence)으로 변환하게 됩니다. 이 과정을 통해 모델은 텍스트와 이미지를 하나의 일관된 정보 흐름으로 받아들이고 추론할 수 있게 됩니다.

비전 인코더의 역할과 작동 방식

비전 인코더(Vision Encoder)는 이미지 데이터를 이해하고 이를 언어 모델이 처리할 수 있는 형태로 변환하는 핵심 구성 요소입니다. 이 인코더는 이미지를 구성하는 시각적 특징을 추출하여 고차원의 표현 벡터(representation vector)를 생성합니다. 이 벡터는 단순히 이미지를 압축하는 것이 아니라, 이미지의 내용적 의미를 담아내는 일종의 '시각적 언어' 역할을 수행합니다.

과거의 컴퓨터 비전 시스템은 정해진 몇 가지 객체 카테고리를 예측하도록 훈련되어 활용 범위가 제한적이었습니다. 그러나 최신 비전 인코더는 자연어 감독 학습(natural language supervision)을 활용하여 이러한 한계를 극복합니다. 이미지와 텍스트 쌍을 통해 훈련함으로써, 모델은 특정 객체 분류를 넘어 광범위한 시각적 개념을 학습할 수 있습니다. 이 과정은 모델이 훈련에 사용되지 않은 새로운 시각적 개념에도 적용될 수 있는 일반화 능력을 확보하게 합니다.

인코더가 생성한 시각적 벡터는 텍스트 토큰이 처리되는 언어 모델(LLM)의 입력 흐름에 결합됩니다. 이 결합 과정이 멀티모달 이해의 핵심입니다. 비전 인코더가 추출한 시각적 정보와 언어 모델의 문맥 정보가 결합되면서, 모델은 이미지와 텍스트가 서로 어떤 관계를 가지는지 파악하게 됩니다.

이러한 구조 덕분에 모델은 사용자의 질문이나 지침(instruction)을 받으면, 이미지의 내용을 해석하고 그에 맞는 언어적 답변을 생성할 수 있습니다. 즉, 시각적 입력과 언어적 출력을 연결하는 다리 역할을 하는 것입니다. 이처럼 시각적 특징을 효과적으로 벡터화하고 언어 모델과 결합하는 원리는 LLM은 어떻게 문장을 만드는가 원리를 확장한 형태입니다. 이 과정을 통해 모델은 단순한 이미지 인식 수준을 넘어, 이미지에 대한 추론이나 지침 수행이 가능한 수준으로 발전하고 있습니다.

자연어 감독 학습을 통한 모델 확장

모델이 학습할 때, 기존의 컴퓨터 비전 시스템은 미리 정의된 제한적인 범주의 데이터에 의존했습니다. 이러한 방식은 모델의 일반화 능력에 한계를 가져옵니다. 모델이 특정 범주를 벗어난 새로운 시각적 개념을 처리하려면 추가적인 레이블링 데이터가 필요했기 때문입니다. 따라서 모델이 광범위한 텍스트 설명 자체를 감독 신호(supervision signal)로 활용하는 것이 대안으로 제시됩니다.

이 방식은 이미지와 텍스트 쌍(image-text pair)을 활용하여 학습을 진행합니다. 모델은 주어진 이미지에 가장 적합한 캡션(caption)이 무엇인지 예측하는 과제를 수행합니다. 이 과정은 모델이 이미지의 시각적 특징과 텍스트적 설명 간의 복잡한 관계를 이해하도록 만듭니다. 즉, 단순히 이미지를 분류하는 것을 넘어, 이미지를 언어적으로 설명하는 방법을 학습하는 것입니다.

이러한 자연어 감독 학습(Natural Language Supervision)을 통해 모델은 새로운 시각적 개념을 텍스트를 참조하여 이해할 수 있게 됩니다. 예를 들어, 모델은 학습 데이터에 포함되지 않은 새로운 종류의 사물이나 행동에 대해서도 텍스트 설명을 통해 개념을 추론합니다. 이는 모델의 지식 기반을 획기적으로 확장하는 원리입니다.

이러한 방식으로 학습된 멀티모달 모델은 단순히 이미지를 이해하는 것을 넘어, 언어적 지침(instruction)을 받아 시각적 정보를 처리하는 능력을 갖춥니다. 모델은 캡션과 같은 자연어를 통해 시각적 개념을 참조함으로써, 특정 작업에 대한 추가적인 데이터 훈련 없이도 성능을 발휘할 수 있습니다. 이 능력을 **제로샷 전이(zero-shot transfer)**라고 부릅니다.

이러한 원리는 모델이 단순한 패턴 인식 기계를 넘어, 인간의 언어적 사고방식과 유사하게 시각적 정보를 해석하고 설명할 수 있게 하는 기반이 됩니다. 모델이 어떻게 문장을 만드는지 이해하는 것도 이 과정과 연결됩니다.

문서 이해와 지침 기반 학습

멀티모달 모델은 단순히 이미지와 텍스트를 나열하는 것을 넘어, 사용자로부터 받은 구체적인 지침(Instruction)을 수행하도록 학습합니다. 모델은 주어진 지침과 이미지를 하나의 작업 단위로 인식하고, 이 지침에 따라 시각적 정보를 해석하는 능력을 습득합니다. 이러한 학습 방식은 모델이 특정 데이터셋에 국한되지 않고, 일반적인 시각 및 언어 이해 능력을 갖추도록 돕는 핵심 과정입니다.

지침 기반 학습(Instruction-based learning)에서는 모델이 '무엇을 해야 하는지'에 대한 명확한 목표를 받습니다. 예를 들어, "이 이미지에서 고양이가 무엇을 하고 있는지 설명해 주세요"와 같은 질문과 이미지가 함께 입력됩니다. 모델은 단순히 이미지를 캡션화하는 것을 넘어, 지침에 맞춰 이미지를 분석하고 그 결과를 언어로 구조화하여 출력합니다. 이 과정에서 모델은 질문의 의도와 이미지의 내용을 연결하는 추론 능력을 강화합니다.

이러한 지침 기반의 훈련은 모델의 일반화 성능을 높입니다. 모델은 학습 과정에서 접하지 못한 새로운 종류의 시각적 개념이나 복합적인 상황에도 대응할 수 있는 능력을 갖춥니다. 이는 모델이 다양한 시나리오에서 언어와 이미지를 결합하여 목표를 달성하는 방식으로 작동함을 의미합니다. 결과적으로, 모델은 단순한 정보 추출을 넘어, 복잡한 시각적 추론이 필요한 작업에 활용될 수 있습니다.

멀티모달 모델의 한계점 이해

모델의 성능은 학습 데이터의 범위와 질에 직접적인 영향을 받습니다. 초기 시각 시스템은 미리 정해진 제한적인 객체 범주에 맞춰져 있어, 다른 시각적 개념을 다루려면 추가적인 레이블링 데이터가 필요했습니다. 하지만 텍스트 설명을 활용하여 학습하면, 훨씬 넓은 범위의 지식을 참조할 수 있어 모델의 일반성을 높일 수 있습니다.

모델이 학습 과정에서 접하지 못한 새로운 개념이나 복잡한 추론 과정이 요구되면 정확도가 떨어질 수 있습니다. 모델은 텍스트를 통해 시각적 개념을 참조하여 이해하는 방식으로 발전했지만, 추론의 깊이가 깊어지면 한계에 부딪힙니다. 특히, 모델이 지침(Instruction)을 따라 이미지를 처리하도록 학습했을 경우, 그 지침의 구조를 벗어난 상황에서는 이해력이 떨어지는 현상이 발생합니다.

특정 작업에 최적화된 모델은 해당 영역에서는 높은 성능을 발휘합니다. 그러나 그 작업 범위를 벗어나는 다른 영역에서는 성능 저하가 발생할 수 있습니다. 따라서 모델을 사용할 때는 해당 모델이 어떤 종류의 학습 데이터와 어떤 종류의 추론 과정을 거쳤는지 이해하는 것이 중요합니다. 모델이 지침을 따르는 방식에 대해 더 깊이 알고 싶으시면 LLM 추론 모델 원리를 참고하실 수 있습니다.

흔한 오해

"멀티모달 모델은 텍스트와 이미지를 완전히 분리하여 처리합니다." 멀티모달 모델은 비전 인코더와 언어 모델을 연결하여 두 정보를 통합적으로 이해합니다. 이 연결을 통해 텍스트와 이미지를 분리된 정보로 취급하지 않습니다.

"모델이 이미지를 이해하려면 반드시 해당 이미지가 레이블링된 데이터셋으로 학습해야 합니다." 광범위한 텍스트 설명과 이미지 쌍을 이용한 사전 학습이 가능합니다. 이 과정을 통해 모델은 새로운 시각적 개념을 학습하며, 특정 데이터셋의 레이블링 없이도 기능을 확장할 수 있습니다.

"모델이 새로운 지침을 수행하려면 사람이 직접 모든 데이터를 라벨링해야 합니다." 기계가 생성한 지침-따르기 데이터를 활용하여 모델을 학습시킬 수 있습니다. 이러한 방식으로 모델을 훈련하고 새로운 능력을 부여할 수 있습니다.

정리

• 멀티모달 모델은 이미지와 텍스트를 결합하여 일반적인 시각 및 언어 이해 능력을 갖춥니다.
• 이미지는 패치 단위로 분해되어 토큰화 과정을 거쳐 모델의 입력으로 사용됩니다.
• 비전 인코더는 이미지의 시각적 특징을 추출하여 언어 모델이 처리할 수 있는 벡터 형태로 변환합니다.
• 모델은 광범위한 데이터와 지침 기반의 학습을 통해 다양한 작업에 적용 가능한 능력을 갖추게 됩니다.

참고 자료

• Learning Transferable Visual Models From Natural Language Supervision — 이미지와 텍스트를 함께 학습한 CLIP
• Visual Instruction Tuning — 이미지를 이해하는 대화 모델(LLaVA)