온디바이스 AI가 클라우드 AI를 완전히 대체하나요?

가까운 시일 안에는 어렵습니다. 기기에서 돌릴 수 있는 모델은 크기 제약이 크기 때문에, 복잡한 추론은 여전히 서버가 맡습니다. 현재는 자주 쓰는 가벼운 기능만 기기로 내리고 나머지는 서버로 보내는 하이브리드 구성이 일반적입니다.

NPU가 있으면 무조건 빠른가요?

아닙니다. NPU는 특정 연산에 최적화된 장치라, 모델이 그 연산 패턴에 맞게 변환되어 있어야 성능이 나옵니다. 같은 모델도 양자화 방식과 런타임에 따라 체감 속도가 크게 달라집니다.

기기 파편화입니다. 같은 코드가 기기마다 다른 성능을 내기 때문에, 최소 사양을 정하고 그 아래에서는 서버로 넘기는 폴백 경로를 반드시 설계해야 합니다.

온디바이스 AI라는 말은 몇 년째 반복되고 있지만, 실제로 무엇이 달라지는지는 자주 생략됩니다. 정리하면 바뀌는 것은 세 가지입니다. 비용 구조, 데이터가 지나는 경로, 그리고 앱을 설계하는 순서입니다.

추론 비용 때문입니다. 서버에서 모델을 돌리면 사용자가 기능을 한 번 쓸 때마다 비용이 발생합니다. 사용자가 늘수록 비용도 정직하게 따라 늘어납니다.

기기에서 돌리면 이 구조가 끊어집니다. 모델을 내려받는 시점에 한 번 비용이 들고, 그 뒤로는 호출을 아무리 많이 해도 추가 비용이 붙지 않습니다. 무료로 제공하는 기능이나 사용자가 하루에 수십 번 쓰는 기능일수록 이 차이가 결정적입니다.

체감 속도는 빨라지지만 이유가 흔히 생각하는 것과 다릅니다. 연산 자체는 서버의 고성능 가속기가 훨씬 빠릅니다. 기기가 이기는 부분은 네트워크 왕복이 사라진다는 점입니다.

짧은 응답을 자주 주고받는 기능(자동완성, 요약, 번역)은 왕복 지연이 전체 시간의 대부분을 차지합니다. 이런 기능에서는 기기 쪽이 확실히 유리합니다. 반대로 긴 문서를 한 번에 처리하는 작업은 여전히 서버가 낫습니다.

기기에서 처리하면 원문이 외부로 나가지 않습니다. 개인정보를 다루는 기능에서 이 차이는 큽니다. 사용자에게 설명하기 쉽고, 데이터 처리 위탁에 대한 검토 부담도 줄어듭니다.

다만 "기기에서 돌린다"와 "아무것도 전송하지 않는다"는 다릅니다. 사용 로그나 오류 리포트가 여전히 서버로 갈 수 있으므로, 실제 전송 항목을 기준으로 설명해야 합니다.

세 가지가 대표적입니다.

기능 단위로 나눠서 판단하는 편이 낫습니다. 자주 쓰이고, 짧고, 개인정보를 다루는 기능은 기기로 내릴 후보입니다. 드물게 쓰이고, 길고, 최신 정보가 필요한 기능은 서버에 두는 편이 낫습니다.

한 번에 전부 옮기려는 시도는 대체로 실패합니다. 폴백 경로를 먼저 만들어두고 기능을 하나씩 옮기는 순서가 안전합니다.