[AI/On-Device AI] 3대 빅테크 기업의 온디바이스 AI 전략

1. 온디바이스 AI 란 

= On-Device AI 

= 기기에 탑재된 인공지능

 

= 기존의 서버 기반 AI는 클라우드 서버에서

데이터를 수집 학습한 후 디바이스로 결과를 전송하는 방식이라

데이터 수집과 전송으로 인한 전력 소모가 크고

인터넷 연결이 어려운 경우 사용할 수 없다는 단점이 있으므로

간단한 AI는 디바이스 자체에 AI 연산을 수행할 수 있는 칩을 내장하여

통신 연결 없이 엣지단에서의 디바이스 컴퓨팅으로 동작시키려는 것

 

-> 장점 :

데이터 수집 전송시간 감소로 인한 저지연,  

데이터를 클라우드 서버에 전송하지 않으므로 개인정보 보호,

인터넷 연결이 불가능한 상황에서도 사용 가능한 안정

 

-> 클라우드 중심 AI에서 하이브리드 AI로 전환되며

Device, Edge Computing, Cloud 로 분화될 것으로 예측됨

 

 

2. 빅테크 기업의 온디바이스 AI 전략

온디바이스 AI는

디바이스 자체 하드웨어를 활용해 작업을 수행하므로

디바이스에 가속기를 더하여 구동의 효율성을 높일 수 있다

서버와의 통신 없이 전력 소모를 줄이며 AI 연산을 수행할 수 있으므로

인공신경망인 NPU(Neural Network Processing Unit 신경망 처리 장치) 칩이 중요한 역할을 한다

 

( 클라우드 기반의 기존 AI는 GPU (Graphics Processing Unit 그래픽 처리 장치)가 중요했음)

 

2-1. Apple - 오픈소스 개방 전략

애플이 공개한 논문과 툴킷

 

- 휴먼 가우시안 스플랫

(HUGS, Human Gaussian Splats)

동영상 속 인물과 배경을 분리하고 컨텐츠에 다시 활용하는 기술

50~100프레임 비디오만으로도 30분 이내에 움직이는 인간 아바타 생성 가능

 

- 제한된 메모리로 효율적인 대규모 언어 모델을 추론하는 법

(Efficient Large Language Model Inference with Limited Memory)

DRAM 용량의 제약이 있는 환경에서의 대규모 언어모델 작업을 위한 애플의 메모리 최적화 기술

추론 시간 4-5배 절약, 속도 20-25배 향상 가능 ( M1 맥스 CPU 환경 )

 

- MLX 

깃허브에 공개된 AI 개발 툴킷

애플 실리콘 M3 칩에서 실행 가능한 머신러닝용 데이터 어레이 프레임워크와 모델 라이브러리

연산 결과가 실제로 사용되기 전까지는 연산 작업을 최대한 미루는 방식인 lazy evaluation 을 사용

 

2-2. Google - Gemini

구글의 생성형 인공지능인 Gemini를 픽셀 스마트폰에 탑재하여

사용자의 개인정보가 클라우드에 전송되지 않도록 보호하고

AI 기능 기반으로 비디오 부스트, 야간 시야 비디오와

녹음 요약과 지보드 스마트 답장을 제공한다

 

2-3. MicroSoft - Bing 업그레이드 전략

지난 해에는 코파일럿에 집중하던 MS사가

이번에는 하드웨어쪽으로 더 진출하는 듯 하다

 

자체 검색 엔진인 Bing의 성능을 강화하여

윈도우 센트럴은 130억 개 파라미너를

네트워크 없이 구동 가능하도록 했고

새로 출시하는 서피스 프로와 서피스 랩탑에

코파일럿과 온디바이스 AI를 지원하도록 했다