ソーシャルメディアにおけるテキスト・画像融合に基づくマルチモーダル感情分析モデルの研究

本研究では、ソーシャルメディア上のテキスト・画像ペアを対象として、正、負、中立の3クラスに分類するマルチモーダル感情分析手法を検討する。まず、BERTを用いたテキスト単独の感情分類モデルをベースラインとして構築する。次に、BERTによって抽出したテキスト特徴と、ResNetによって抽出した画像特徴を統合するBERT＋ResNetモデルを構築する。さらに、画像とテキストを共通の意味空間に写像するCLIPを導入し、事前学習済みの画像・言語表現を利用した感情分類モデルを構築する。

本研究では、ソーシャルメディア上のテキスト・画像投稿を対象としたマルチモーダル感情分析の研究枠組みを設計した。具体的には、BERT-only、ResNet-only、BERT＋ResNetおよびCLIP-basedモデルを比較する実験構成を整理し、単一モダリティと複数モダリティの性能差を検証するための評価方法を構築した。
また、単純な正解率だけでなく、テキストと画像の感情関係を一致型、補完型、矛盾型および非関連型に分類し、モデルの特性を詳細に分析する方法を提案した。これにより、マルチモーダルモデルがどのような投稿に対して有効であるかを、全体性能と事例分析の両面から評価できる。
さらに、BERTとResNetによる異種特徴の結合、およびCLIPのクロスモーダル表現を利用したモデル構成を設計し、テキスト・画像間の意味的一致と差異を分類に利用するための融合方法を検討した。