AI를 사용하여 한 장의 이미지로부터 캐릭터가 실제로 움직이는 애니메이션을 제작할 수 있는 애니메이트 애니원(Animate Anyone)을 살펴본다. 더불어 애니메이트 애니원과 유사한 기능을 지니고 있는 Magic Animate도 추가한다.
- 제품명 : 애니메이트 애니원(Animate Anyone)
- 종류 : AI 애니메이션 개발 플랫폼
- 플랫폼 및 라이선스 : PC 및 모바일 / 개발중
다음에서 움직임이 없는 문자 그대로 정적인 사진이 해당 이미지 속 캐릭터 특성을 유지한 채 움직임을 추가한 동적인 애니메이션으로 전환하는 애니메이트 애니원가 무엇이고, 어떻게 개발해서 활용할 수 있는지 자세히 살펴본다.
애니메이트 애니원이란?
한 장의 사진 또는 이미지 속 사람, 동물 등 캐릭터를 원하는 대로 움직임을 추가한 애니메이션 영상으로 전환하는 애니메이트 애니원은 현재 중국의 알리바바 그룹에서 개발 중인 기술이다. 이미 공식적으로 애니메이트 애니원 기술 보고서를 공개했지만 정확한 해당 소스는 공개하지 않았다.
위에 첨부한 문서가 알리바바 그룹에서 제공한 애니메이트 애니원 공식 문서인데, 해당 연구진은 애니메이트 애니원 기술이 완성되면 깃허브에 오픈 소스로 코드를 공개한다고 밝히고 있다. 따라서 현재로서는 실제 애니메이트 애니원 기술을 적용할 수는 없고, 향후 소스가 공개될 때까지 기다려야 하는 상황이다.
더불어 해당 애니메이트 애니원은 독립된 기술이 아니라 기존의 AI 이미지 생성 플랫폼이 스테이블 디퓨전에 추가된 확장모델(확장기술)로 작동한다. Stable Diffusion 자체가 오픈소스로 공개됨에 따라 이를 기반으로 추가되는 checkpoint라는 주모델과 lora, VAE 등 보조모델 등도 오픈소스로 공개되고 있다.
스테이블 디퓨전 확장 모델 ControlNet
스테이블 디퓨전에는 checkpoint 항목에 들어가는 주모델 이외에도 lora, vae 등 보조모델이 존재한다. 여기에 2023년에 ControlNet이라는 확장 모델을 추가했다. 여기에서는 ControlNet 확장 모델을 Stable Dif
dasfl.com
바로 애니메이트 애니원도 스테이블 디퓨전을 토대로 작동하는데, 스테이블 디퓨전 엔진에 해당하는 주모델과 보조모델과는 별도로 개발되어 합쳐지므로 ControlNet 즉, 일명 확장모델에 해당한다. 즉, 기존에 스테이블 디퓨전에서 널리 알려진 확장모델인 Openpose, Canny 등과 유사하게 생성한 이미지 속에 담긴 캐릭터 형태를 바꿀 수 있는 별도의 기술이다. 상기에 추가한 기존 콘텐츠에서 스테이블 디퓨전 확장 모델 ControlNet을 먼저 보면 애니메이트 애니원이 무엇인지 조금 더 빠르게 파악할 수 있다. 다음은 현재까지 알려진 애니메이트 애니원의 작동 원리 및 기본적인 사용 방법을 정리한 내용이다.
1) 이미지에서 움직을 추가한 해당 사물(캐릭터)을 선택한다.
2) 해당 캐릭터가 지닌 특징을 추출한다.
3) 캐릭터 움직임을 사용자가 포즈 막대를 조절하여 원하는 동적 움직임을 결정한다.
4) 사용자가 지정한 포즈에 따라 애니메이션을 생성한다.
5) 상기 방법으로 생성한 각각의 애니메이션을 병합하여 영상으로 제작한다.
애니메이트 애니원 작동 방식
앞에서 언급했듯이 애니메이트 애니원은 스테이블 디퓨전을 토대로 작동하는 확장모델 중 하나인데, 기존의 확장모델은 단순히 생성한 이미지의 손, 발 등 몸짓을 연출한 정적 이미지를 추가로 생성했다. 바로 애니메이트 애니원이 여기에서 한 걸음 더 나아가 정적 이미지가 아니라 동적으로 움직이는 애니메이션을 생성한다는 점에 큰 의의가 있다.
하지만 아직 소스가 공개되지 않아서 실제로 사용할 수는 없지만, 향후 정식으로 공개되면 다른 확장모델처럼 기존 스테이브 디퓨전에 추가하는 방식이므로 사용에는 별다른 어려움이 없을 듯하다.
참고로, 애니메이트 애니원과 같이 스테이블 디퓨전을 토대로 동적인 이미지로 변환하는 확장모델로 사용이 가능한 Magic Animate가 존재한다.
Magic Animate
Magic Animate도 애니메이트 애니원처럼 정적인 이미지를 동적인 애니메이션으로 전환하는 확장모델로, 현재 스테이블 디퓨전과 연계해서 사용이 가능하다. 단, 사용자가 갑자기 몰리다 보니 제대로 구현이 되지 않을 수 있으므로, 접속자가 별로 없는 시간에 사용해야 한다.
스테이블 디퓨전과 동일하게 Magic Animate도 오픈 소스로 공개되어 있으므로 상기 Magic Animate 깃허브 페이지를 방문하면, 해당 Magic Animate 기술과 사용 방법을 확인할 수 있다.
앞에서 언급했듯이 Magic Animate와 애니메이트 애니원은 기존 AI 이미지 생성 플랫폼이 스테이블 디퓨전을 토대로 작동하는 확장모델이므로, 오른소스로 공개한 스테이블 디퓨전을 설치하는 방식에 따라서 해당 확장모델도 설치하는 방법이 다양하다. 물론, 설치 후에 사용하는 방법은 동일하다.
스테이블 디퓨전 설치 사용법 2023 최신 버전
AI를 활용하여 이미지를 생성하는 플랫폼인 스테이블 디퓨전 설치 사용법을 살펴본다. 워낙 변화가 빠른 분야이다 보니 스테이블 디퓨전을 설치하거나 사용하는 방식도 바뀌었다. 2023년 현재 시
dasfl.com
따라서 해당 Magic Animate와 향후 애니메이트 애니원을 사용하려면 사전에 스테이블 디퓨전 사용 방법에 친숙해질 필요가 있다. 상기 방법은 개인적으로 현재 사용하는 스테이블 디퓨전 설치 방식인데, 최근에 이보다 더 혁신적인 스테이블 디퓨전 사용 방식인 스테빌리티 매트릭스도 공개됐다.
스테빌리티 매트릭스는 기존에 오픈 소스로 공개된 스테이블 디퓨전을 사용할 수 있는 다양한 방식을 모아논 포터블 버전으로, 상기 스테빌리티 매트릭스 설치하기 버튼을 눌러서 전환하는 웹사이트에서 다운로드한 후에 설치해서 바로 사용할 수 있다는 장점이 있다.
다만, 기존에 작동하는 모든 스테이블 디퓨전 UI를 모아 놓았으므로 현재 실행되지 않는 UI도 있고, 각각의 UI가 업데이트가 빠른 편이므로 얼마나 유지 관리를 해줄지는 의문이 남는다. 그럼에도 아직까지 스테이블 디퓨전 설치가 어려워서 사용하지 못했다면, 그냥 다운로드해서 실행할 수 있는 포터블 버전이므로 정확한 사용법을 몰라도 대충 누르다 보면 AI 이미지를 생성할 수 있다. 물론 기본적인 스테이블 디퓨전 사용법 정도는 알면 원하는 고퀄리티 AI 이미지를 생성할 수 있다.
AI 이미지 포털 사이트 CIVITAI
AI를 사용하여 이미지를 생성하는 AI 이미지를 대표하는 포털 사이트로 자리하고 있는 CIVITAI는 오픈소스 형태로 AI 이미지를 한눈에 감상할 수 있을 뿐만 아니라 AI 이미지 생성 플랫폼에 필요한
dasfl.com
이때 프롬프트 문구 작성이 고퀄리티 이미지 생성에 직접적인 영향을 주는데 영어로 문구를 작성해야 하고, 프롬프트에도 기본 문법이 존재하므로 초심자라면 AI 이미지 포털 사이트 CIVITAI에서 마음에 드는 이미지에서 프롬프트 문구를 차용해서 사용하는 방식을 추천한다.
