인 컨텍스트 러닝 in context learning- 대규모 언어 모델 LLM이 프롬프트 안에 있는 예제 (=context) 기반으로 추론하는 능력- 학습된 매개변수를 모델이 변경, 재조정 하지 않고 프롬프트에서 제공된 맥락만을 통해 작업을 이해하고 수행하는 방법 - 모델이 새로운 데이터나 작업을 수행하기 위해 다시 훈련되는 일 없이 입력된 프롬프트 기반으로 작업을 한다- 프롬프트 안에 작업의 정의와 몇 가지 입출력 예시를 포함시켜서 가이드를 줄 수 있다 - zero shot 작업에 대한 맥락 즉 프롬프트 안에 예시 없이도 일반적인 명령과 질문을 수행- few shot 프롬프트에 몇 가지 예시를 제공해서 작업을 이해 - 모델은 프롬프트 내 정보를 우선적으로 사용하고 그에 더하여 사전 훈련 과정에서 학습..
[ Artificial Intelligence ]/Trend
1. 온디바이스 AI 란 = On-Device AI = 기기에 탑재된 인공지능 = 기존의 서버 기반 AI는 클라우드 서버에서 데이터를 수집 학습한 후 디바이스로 결과를 전송하는 방식이라 데이터 수집과 전송으로 인한 전력 소모가 크고 인터넷 연결이 어려운 경우 사용할 수 없다는 단점이 있으므로 간단한 AI는 디바이스 자체에 AI 연산을 수행할 수 있는 칩을 내장하여 통신 연결 없이 엣지단에서의 디바이스 컴퓨팅으로 동작시키려는 것 -> 장점 : 데이터 수집 전송시간 감소로 인한 저지연, 데이터를 클라우드 서버에 전송하지 않으므로 개인정보 보호, 인터넷 연결이 불가능한 상황에서도 사용 가능한 안정 -> 클라우드 중심 AI에서 하이브리드 AI로 전환되며 Device, Edge Computing, Cloud 로 ..
1. GAN - GAN = Generative Adversarial Networks = 적대적 생성 신경망 - 생성형 모델 Generative Model 의 일종 - 실제에 가까운 이미지나 사람이 쓴 것 같은 글 등 여러 종류의 가짜 데이터들을 생성하는 모델 - 서로 다른 두 개의 네트워크를 적대적으로 학습시키고 실제 데이터와 유사한 데이터를 생성하는 모델 - 생성 데이터에는 라벨링된 값이 없기 때문에 비지도 학습 Unsupervised learning 기반 생성형 모델 Generative Model에 속함 - 이미지, 영상, 텍스트 생성 등에 적용 2. GAN을 제안한 Lan Goodfellow의 비유 위조 지폐범은 최대한 진짜 같은 가짜 화폐를 생성해 경찰을 속이기 위해 노력하고 경찰은 진짜 화폐와 ..
InstantID - 개인화된 이미지 합성의 문제를 해결하기 위한 디퓨전 모델 기반 솔루션 (디퓨전 모델, Diffusion model 확산 모델 확산 확률 모델 : 확산 과정을 수행한 뒤 원본 이미지를 만들기 위해 노력하는 과정을 기계학습하여 새로운 이미지를 만드는 생성형 모델. 과거에는 적대적 생성형 신경망(GAN)이 최고 기술이었으나 그보다 성능이 훨씬 뛰어남.) (적대적 생성형 신경, Generative Adversarial Networks GAN : 실제에 가까운 이미지나 사람이 쓴 것과 같은 글 등 여러 가짜 데이터들을 생성하는 모델 ) - 단일 얼굴 이미지를 사용하여 다양한 스타일의 이미지 생성 - 높은 충실도를 유지하며 강력한 의미론적 조건과 약한 공간적 조건을 결합해 이미지 생성 유도 -..
Apple의 AIM, 대규모 비전 모델의 새로운 지평을 열다 AIM - Autoregressive Image Model 자기회귀영상모델 Apple사의 AIM - LLM 에서 영감을 받아 개발된 Apple사의 대규모 비전 모델 ( LLM, Large language model 거대언어모델 : 자기 지도 학습이나 반자기지도학습을 사용하여 레이블링되지 않은 데이터로 학습하여 수많은 파라미터를 보유한 인공 신경망으로 구성, AI 챗봇 기술을 가능하게 하는 요소이며 작동 방식은 크게 3가지(토큰화, 트랜스포머 모델, 프롬프트)) - 시각적 특징의 성능이 모델 용량과 데이터 양에 따라 확장됨 - 2억 개 이미지에 대해 70억 개 매개변수로 사전 훈련 - ImageNet-1k에서 높은 정확도를 달성하여 대규모 비전 ..
