どんなものか

• ViTバックボーンに対して性能の高い自己教師あり学習器を提案した
• masked autoencoderを用いて事前学習したモデルのencoder部分を使って学習させると非常に高い性能を出せることを示した

どんなものか

• Attention RolloutのSelf-Attentionによる情報の流れを定量化する問題を考え, 入力トークンへの注意そ近似する方法としてAttention RolloutとAttention Flowという2つの手法を提案した

どんなものか

• 人間に親しみやすい概念の形でニューラルネットワークの内部状態の解釈を提供する手法
• 概念活性化ベクトル(CAV)を導入しユーザーが定義した概念が分類結果に対してどの程度重要であるかを定量化する（例えばシマウマの予測がストライプの存在にどの程度敏感であるか）

どんなものか

画像のクラス分類に対してあるクラスの典型的な例（prototype）を示すことで予測に対する説明を行う手法。

どんなものか

説明手法としていくつかのsaliency maps手法が提案されてきた。本研究ではsaliency maps手法を評価するための実用的な方法論を提案する。