-
どんなものか
- 自己回帰型大規模言語モデルにおける汎化の性能に関して「逆転の呪い; The Reversal Curse」と呼ぶ性質を検証
- 「逆転の呪い」とは「AはBである」という形の分に対して学習された場合、自動的に逆方向の「BはAである」に汎化されることがないというものである
Blog
tech diary
The Reversal Curse: LLMs trained on "A is B" fail to learn "B is A"
category: papers
Video PreTraining (VPT): Learning to Act by Watching Unlabeled Online Videos
category: papers
-
どんなものか
- インターネット規模の逐次的な意思決定領域タスク（ロボット、ビデオゲーム）に対して半教師付き模倣学習を行う
- 少量のラベル付けされたデータでラベル付けされていない膨大なオンラインデータををラベル付けし学習できることを示す
Battle of the Backbones: A Large-Scale Comparison of Pretrained Models across Computer Vision Tasks
category: papers
-
どんなものか
- コンピュータビジョン分野において、データもモデルもどんどん大規模化するなかBackborn（事前学習済みモデル）として何が優秀かを検証した
- より大規模データセットによる教師あり学習が優秀な他、データセットの規模が同じ場合SSLも非常に高い性能を出せることが分かった
Grounding Visual Illusions in Language: Do Vision-Language Models Perceive Illusions Like Humans?
category: papers
-
どんなものか
- VLM（VIsion and Language Model）は人間が捉えた膨大なデータを基に学習され人間の世界認識をエミュレートする
- 人間の現実認識は必ずしも物理世界に忠実ではない
- そこでVLMが人間同様の錯覚を持つのか、現実を忠実に表現して学習しているのか調査を行った
GROOT: Learning to Follow Instructions by Watching Gameplay Videos
category: papers
-
どんなものか
- オープンワールド環境(minecraftなど)において、コストの高いテキストゲームプレイアノテーションを使わずにオープンエンドな指示に従うエージェントを学習させるフレームワークを提案する
- Causal Transformerに基づくエンコーダデコーダアーキテクチャで実装
*****
Non sunt multiplicanda entia sine necessitate
Pudhina is a free Jekyll theme by Knhash.
copyright ©️ 2022 - 2024
Pudhina is a free Jekyll theme by Knhash.
copyright ©️ 2022 - 2024