[AI/Vision] Apple의 AIM(대규모 비전 모델)

Apple의 AIM, 대규모 비전 모델의 새로운 지평을 열다

AIM
- Autoregressive Image Model 자기회귀영상모델

Apple사의 AIM
-  LLM 에서 영감을 받아 개발된 Apple사의 대규모 비전 모델 ( LLM, Large language model 거대언어모델 : 자기 지도 학습이나 반자기지도학습을 사용하여 레이블링되지 않은 데이터로 학습하여 수많은 파라미터를 보유한 인공 신경망으로 구성, AI 챗봇 기술을 가능하게 하는 요소이며 작동 방식은 크게 3가지(토큰화, 트랜스포머 모델, 프롬프트))
- 시각적 특징의 성능이 모델 용량과 데이터 양에 따라 확장됨
- 2억 개 이미지에 대해 70억 개 매개변수로 사전 훈련
- ImageNet-1k에서 높은 정확도를 달성하여 대규모 비전 모델 훈련 분야에서 새로운 지평을 열 수 있음을 시사함
- 대규모 학습을 위한 안정화 전략이 필요하지 않다는 점에서 비전 모델 발전에 중요한 기여를 함

https://huggingface.co/papers/2401.08541

Paper page - Scalable Pre-training of Large Autoregressive Image Models