온디바이스 AI는 기능이 아니라 작업으로 골라요

애플이 판단 순서를 개발자 문서에 적어놨어요

애플 개발자 문서에는 온디바이스 모델과 서버 모델 중 무엇을 쓸지 정하는 순서가 적혀 있어요. 기기 안에서 도는 모델로 먼저 만들어 평가 도구로 품질을 확인하고, 추론 능력이나 컨텍스트 윈도¹가 모자란다고 판단됐을 때만 서버로 보내라는 순서예요.

이 문장이 놓인 자리를 보면, 기기에서 처리할지 말지를 제품 전체를 두고 한 번에 정하라는 게 아니에요. 기능 하나를 실제로 만들어 재본 결과로 정하라고 벤더가 먼저 말하고 있어요. 판단 단위가 서비스가 아니라 작업이라는 뜻이에요.

---

같은 코드, 다른 한도

애플이 같은 문서에 붙여둔 비교표는 다섯 줄이에요. 두 모델 다 개인정보를 지키고, 오프라인 동작은 기기 쪽만 되고, 사용량은 기기 쪽이 무제한·서버 쪽이 하루 한도예요. 여러 단계로 생각하는 추론 모드는 서버에서만 돌아가고, 한 번에 넣을 수 있는 입력은 4K와 32K 토큰으로 8배 차이가 나요.

항목	기기 내 모델	서버 모델(Private Cloud Compute)
오프라인 동작	가능	불가능
사용량 제한	없음	사용자당 하루 한도
추론 모드	없음	3단계 지원
컨텍스트	4K 토큰	32K 토큰

세션을 만들 때 모델 객체 한 줄만 바꾸면 같은 프롬프트가 서버로 가요. 도구도 지시문도 그대로 넘어가고요. 그래서 개발팀이 실제로 답해야 하는 질문은 “온디바이스를 쓸까”가 아니라 “이 작업이 4K 안에서 끝나는가, 여러 단계로 따져야 하는가, 비행기 안에서도 돌아가야 하는가”로 내려와요.

안드로이드도 구조가 비슷해요. 구글은 ML Kit GenAI라는 묶음으로 요약, 맞춤법 교정, 문체 변환, 이미지 설명, 음성 인식, 자유 프롬프트를 제공하고, 이 기능들은 AICore²가 관리하는 공유 Gemini Nano 위에서 돌아가요. 구글이 문서에 적은 이점은 셋이에요. 입력과 추론과 출력이 기기 안에서 처리되고, 인터넷이 불안정해도 기능이 그대로 돌아가고, 호출마다 붙는 서버 비용이 없어요.