정의 : 다양한 형태의 데이터를 사용하여 모델을 학습하는 것. 즉 다른 특성의 데이터를 embedding하여 특성이 같은 데이터로 추출한다.
Multimodal Data는 서로 다른 형태의 정보로 이루어져 뚜렷한 특성이 구분되는 데이터이다.
•
modality : 데이터의 형태 (visual, auditory, reading, kinesthetic 등)
1.
Representation
multimodal data를 어떻게 잘 요약하는가
2.
Translation
entity를 다른 modality의 entity로 변환(생성)
3.
Alignment
서로 다른 modality의 데이터의 관계를 파악
4.
Fusion
a.
Model-agnostic approach: 모델에 관계없이 적용 가능한 방법론
b.
Model-based approach: 특정한 모델에 대해서만 가능한 방법론
5.
Co-learning
a.
Parallel
b.
Non-Parallel