인공지능으로 그림을 생성하는 프로그램 중 스테이블 디퓨전에 모델을 다운로드하고 설치하는 방법을 소개한다. 현재 가장 인기 있는 모델로 꼽히는 동양적인 실사화 이미지로 인기를 끄는 학습 모델로 ChilloutMIX를 비롯하여 서양풍의 Deliberate, 애니메이션 화풍의 OrangeMix 모델을 다운로드하고 Stable Diffusion Web UI에 적용하는 방법을 살펴본다.
스테이블 디퓨전 모델 설치하기
텍스트를 입력하면 이미지를 생성하는 인공지능 그림 생성 프로그램인 스테이블 디퓨전은 사실상 구글 코랩 서버와 연계해서 실행하는 Stable Diffusion Web UI를 지칭한다. 물론 고사양 컴퓨터라면 컴퓨터 자체에 설치할 수도 있지만 대부분은 구글 드라이브와 연동해 사용한다. 이러한 스테이블 디퓨전을 사용하면서 처음에는 Stable Diffusion Web UI 사용법을 익힐 동안에는 기본 모델을 사용하지만, 그 이후부터는 다른 모델을 사용하는 게 일반적이다. 따라서 스테이블 디퓨전 모델을 설치하기 전에, Stable Diffusion Web UI 설치와 기초적인 사용법은 알고 있어야 한다. 만약 아직 Stable Diffusion Web UI 설치법과 사용법을 모른다면, 해당 링크를 먼저 보길 추천한다.
Stable Diffusion Web UI 기초 사용법
스테이블 디퓨전 모델 변경
스테이블 디퓨전 모델이란 Stable Diffusion Web UI를 실행했을 때 최상단에 위치한다. 바로 여기에 적용하는 학습 모델을 변경하는데, 대부분 더 퀄리티가 높은 이미지를 생성하거나 특별히 선호하는 스타일로 이미지를 생성하기 위한 목적이다.
하지만 Stable Diffusion Web UI에 적용할 모델은 계속해서 더 진화한 모델들이 등장하므로 모델을 다운로드해서 변경하는 방법을 아는 게 중요하다. 현재 인기를 끌고 있는 모델은 얼마 지나지 않아 또 다른 학습 모델에게 자리를 뺏길 수밖에 없기 때문이다. 다음에서 Stable Diffusion Web UI에서 모델을 변경하는 방법을 자세히 확인할 수 있다.
1) 원하는 모델을 다운로드한다.
2) 다운로드한 모델을 구글 드라이브에 해당 폴더에 저장한다.
3) Stable Diffusion Web UI에서 모델을 적용한다.
우선, 이 3가지 순서만 기억하면 된다. Stable Diffusion Web UI에서 모델은 자동차에 비유하면 엔진과 같이 가장 중요한 요소이다. 이러한 모델은 개발자분들이 학습시킨 모델을 무료로 제공해 주는데, 아직도 완성형 모델이라고 할 수 없을 만큼 빠른 시간 안에 더 진화한 모델들이 양산하고 있다. 더불어 모델 이외에도 VAE, LORA 등 추가 파일들도 Stable Diffusion Web UI에 적용하는데, 이러한 추가 파일은 모델을 돕는 옵션에 불과하다. 따라서 이러한 옵션은 모델보다 더 빠르고 더 많이 쏟아져 나오므로, 먼저 모델을 변경한 후에 옵션은 추후에 설치하는 것을 추천한다. 위에서 제시한 Stable Diffusion Web UI에 모델을 설치하는 3가지 순서를 아래에서 순서대로 살펴본다.
학습 모델 다운로드
현재 Stable Diffusion Web UI에서 인기 있는 학습 모델은 3가지이다. 첫 번째로 동양적인 실사화 이미지로 인기를 끄는 학습 모델로 ChilloutMIX가 있다.
Civitai | Stable Diffusion models, embeddings, hypernetworks and more
Civitai is a platform for Stable Diffusion AI Art models. We have a collection of over 1,700 models from 250+ creators. We also have a collection of 1200 reviews from the community along with 12,000+ images with prompts to get you started.
civitai.com
위의 링크를 누르면 다양한 학습모델뿐만 아니라 옵션 파일들을 다운로드할 수 있는 Civitai 사이트로 바로 연결하는데, 이 사이트를 이용하려면 우선 로그인을 진행해야 한다. 로그인은 구글 계정으로 간단히 진행할 수 있다. 이후 검색 공간에 ChilloutMIX를 입력하고 엔터를 치면 다양한 이미지가 나오는데, 여기에서 CHECKPOINT라고 쓰인 이미지를 누른다. Stable Diffusion Web UI에서 모델이 담긴 항목이 checkpoint이므로, 이 항목을 모델이라고 생각하면 된다.
해당 이미지를 누르면 페이지가 전환한 후에 다운로드 링크가 나온다.
위에서 보듯이 ChilloutMIX 모델은 3.97GB로 상당한 용량을 지니고 있으므로, 다운로드 시에 약간의 시간이 필요하다. ChilloutMIX 모델을 다운로드할 수 있는 페이지 url은https://civitai.com/models/6424/chilloutmix 이지만, 로그인이 되어 있어야만 접속이 가능하다.
만약 civitai 사이트에 로그인을 하지 않고 해당 ChilloutMIX 모델을 다운로드하려면 위에 링크한 ChilloutMIX 모델 다운로드 버튼을 누르면 된다. 하지만 가능하면 civitai 사이트에 로그인 후에 해당 모델을 다운로드하는 것을 추천한다. civitai 사이트에는 이 모델 이외에도 2번째로 소개할 Deliberate 모델도 제공한다. 또한 앞에서 언급했듯이 모델 이외에도 추가적인 옵션에 해당하는 다양한 파일들도 제공하는 Stable Diffusion Web UI 사용 시에 필수 사이트로 손꼽힌다. 바로 이어서 현재 인기를 끌고 있는 두 번째 모델인 Deliberate를 소개한다.
Deliberate 모델도 실사적인 이미지를 제공하는데 ChilloutMIX 모델이 동양적인 이미지라면 Deliberate 모델은 서양적인 이미지를 제공한다는 명확한 차이점이 존재한다. 이러한 Deliberate 모델도 ChilloutMIX 모델을 다운로드한 방식대로 하면 된다. civitai 사이트에 접속 후에 Deliberate로 검색 후에 CHECKPOINT라고 쓰인 이미지를 누른 후에 다운로드 페이지에서 해당 모델을 다운로드하면 된다.
Deliberate 모델은 1.99GB 용량으로 비교적 학습 모델 중 적은 용량을 지니고 있다. 모델은 구글 드라이브 사용 시 무료 계정은 15GB가 제공하므로, 모델을 많이 저장할 수 없다. 따라서 모델은 1개 내지 2개 정도만 장착해 사용하는 게 일반적이다. 물론 유료 계정이라면 저장 공간에 따라 많은 모델을 저장할 수 있다.
위에 링크한 Deliberate 모델 다운로드 버튼을 누르면 해당 모델 파일을 다운로드할 수 있다. 마지막으로 소개할 모델은 OrangeMix이다. 일반적으로 애니메이션 이미지를 생성할 때 사용하는 OrangeMix 모델은 아래에 링크한 https://huggingface.co/ 사이트에서 다운로드할 수 있다.
Hugging Face – The AI community building the future.
The AI community building the future. Build, train and deploy state of the art models powered by the reference open source in machine learning.
huggingface.co
위 Hugginf Face 사이트에 접속한 후에 검색 공간에 OrangeMix로 검색한 후에 해당 페이지에서 Files and versions 항목을 누른다.
이후에 나오는 목록에서 Models 폴더로 들어가면 다양한 OrangeMix 모델 폴더가 나온다. 이중에서 가장 최근에 수정한 폴더로 들어가면 된다. 또한 이전 폴더들은 DirectoryCleanup이라고 폐기됐다는 표시가 있는데, 이런 폴더들은 사용할 수 없다는 의미이다.
최신 OrangeMix 모델 폴더에 들어가면 여러 파일이 존재하는데, 모두 다 동일한 파일이므로 어떤 파일을 다운로드해도 상관없다.
위에서 제시한 Hugginf Face 사이트에서 다운로드를 하거나 아래에 링크한 OrangeMix 모델 다운로드 버튼을 누르면 해당 모델 파일을 다운로드할 수 있다.
참고로, 위에서 인기 모델로 제시한 3가지 모델 파일은 safetensors라는 확장자를 지니고 있다. 또한 3가지 모델 전부 다 civitai 사이트 또는 Hugginf Face 사이트에서 다운로드할 수 있으므로 사용하기 편한 사이트에서 다운로드하면 된다. 개인적으로는 모델 최신 버전은 Hugginf Face 사이트가 빠르지만, 모델을 다운로드하는 데에는 civitai 사이트가 편의성이 더 높은 듯하다.
다운로드 한 모델 저장하기
위에서 다운로드한 모델은 Stable Diffusion Web UI 설치 시에 연동한 구글 드라이브에 저장해야 한다. 우선 구글 드라이브에 접속한 후에 sd 폴더로 들어간 후에 stable-diffusion-webui 폴더로 들어간다.
그런 후에 models 폴더로 들어간 후에 stable-diffusion 폴더로 들어간다.
바로 이 stable-diffusion 폴더 안에서 마우스 오른쪽 버튼을 누른 후에 파일 업로드를 선택한 후에 다운로드한 모델 파일을 선택하면 된다.
그러면 선택한 모델 파일을 업로드하는데 파일 용량이 크므로 약간의 시간이 소요된다.
모델 적용하기
구글 드라이브에 다운로드한 모델을 저장했으면 마지막으로 Stable Diffusion Web UI 실행 창에서 모델을 리프레쉬해야 한다.
Stable Diffusion Web UI에서 모델 항목이 보이는 우측에 위치한 리프레쉬 아이콘을 누른 후에 잠시 시간이 지나면, 해당 모델을 적용할 수 있다.
간혹 리프레쉬 아이콘을 누르거나 새로운 모델을 적용할 때 에러가 발생한다. 그러면 구글 드라이브에서 처음부터 다시 Stable Diffusion Web UI를 실행하는 것을 추천한다. Stable Diffusion Web UI 사용자가 계속 증가하다 보니 구글 코랩 서버에서 오류를 발생하는 일이 잦아지고 있다. 이럴 때는 그냥 처음부터 다시 Stable Diffusion Web UI를 실행하는 게 최선이다.
