안녕하세요, log 쌓는 MK 입니다.
제가 개인적으로 로컬에서 AI 모델을 돌리면서 가장 인상깊었던 오픈소스 모델은 음악을 생성하는 ACE-Step 1.5 였습니다.
맥에서 이정도 수준의 음악 생성을 이렇게 빠르게 진행할 수 있다는 게 정말 놀라웠어요.
아래는 맥에 설치해서 처음 만들어봤던 노래입니다.
M1 맥북프로 16기가 램 모델에서 몇 분 정도만에 생성해낸 음악입니다. 꽤 그럴듯 하지 않나요? 그래서 이런 생각이 들었어요. 스마트폰에서도 직접 온디바이스로 생성도 가능할까?
내가 지금 느끼는 기분을 프롬프트로 입력하고 노래가 만들어지면 꽤 재밌겠다는 생각도 들더라고요.
검색해 보니 딱히 온디바이스로 음악을 생성한 사례를 발견하지 못했고, 저는 그렇게 Andoroid 개발 경험이 없던 저는 무모한 도전을 시작했습니다.
우선 목표는 다음과 같았습니다.
- 온디바이스로 외부 인터넷 연결없이 폰 안에서 음악 생성이 가능해야 한다.
- 앱 안에서 프롬프트와 가사를 입력할 수 있어야 한다
제가 사용 중인 갤럭시 S24+ 모델을 기준으로 삼고 작업을 시작했습니다.
시작은 Gemini CLI, 뼈대 완성은 Claude Code, 마무리는 Codex
첫 시작은 Gemini CLI와 함께 시작했는데요. 특별한 이유는 없었고 유료 플랜을 이용 중이었기 때문에 바로 시작할 수 있어서 였습니다.
하지만 이내 한계를 느꼈습니다. 앱을 구동하는데 큰 모델들을 로드하고, 연속적으로 이어나가는데 있어서 앱이 강제 종료되는 문제가 해결되지 않았습니다.
그리고 별다른 지시없이 생성한 디자인도 Gemini와 Claude가 꽤나 차이가 있어서 Gemini로는 ‘아 이렇게 굴러가는구나’ 만 파악하고, 결국 Claude로 넘어가게 되었습니다.
(Gemini 디자인 갬성)
(Claude 디자인 갬성)
결과적으로는 Claude Code에서도 최적화에 실패했고, Codex를 이용해 5.5 모델에서 마무리가 지어졌습니다.
그래도 Gemini를 통해 삽질을 했던 게 큰 도움이 되었습니다.
다음 편에서는 실제 어떤 모델을 사용했고, 어떤 결과가 나왔는지 공유해 드리겠습니다.