초기에는 노벨 AI와 같은 일러스트 생성 사이트가 유행을 하였지만 최근에는 스테이블 디퓨전 WebUI 프로그램으로 그린 AI 여자 실사 그림이 유행하고 있습니다. 오늘은 AI 실사 그림을 만드는법과 프로그램 및 사이트를 소개합니다.
AI 실사 그림
AI 실사 그림을 생성하기 위해서는 RTX 2060 이상의 그래픽카드와 스테이블 디퓨전 WebUI라는 오픈소스 프로그램을 다운로드 받아야 합니다. 이 방법에 대해서는 이전 글에 정리해두었기에 링크를 클릭해 Webui를 설치한 후 아래 내용을 진행해주세요.
AI 실사 적용
Stable Diffusion WebUI를 설치하였다면 이번에는 학습 모델을 설치 및 적용해주어야 합니다. 학습 모델은 여러가지 있는데 실사 그림에서는 대표적으로 바질믹스와 오렌지믹스 모델을 함께 사용합니다.
바질 믹스 사이트로 이동한 후 Basil mix.safetensors 파일을 클릭해 다운로드 받습니다. 그리고, 오렌지믹스 다운로드에서도 .safetensors 확장자로 끝나는 sfw, nsfw, hardcore 중 하나를 설치합니다.
두 AI모델을 모두 다운로드 받았다면Webui가 설치된 폴더를 열고 WebUI 설치 폴더 > models > Stable-diffusion 폴더에 다운 받은 파일을 붙여넣기 합니다.
마지막으로 https://huggingface.co/stabilityai/sd-vae-ft-mse-original/tree/main 사이트에서 vae-ft-mse-840000-ema-pruned.safetensors 파일을 다운로드 받고, WebUI 설치 폴더 > models > vae에 붙여넣기 합니다.
WebUI 설정
붙여넣기 이후에는 stable-diffusion-webui 폴더에 있는 webui-user.bat 파일을 기동해 Stable Diffusion Webui를 실행합니다.
Stable Diffusion Webui를 실행한 후 인터넷 브라우저(크롬)을 실행하고, 주소 창에 127.0.0.1:7860를 입력해 Webui에 접속할 수 있습니다.
webui 사이트에 이동한 후 Checkpoint Merger를 클릭하고, 아래와 같이 설정해주세요.
- Primary Model (A) 부분에 AbyssOrangeMix2 선택
- Primary Model (B) 부분에 Basil mix 선택
- Custom Name 부분에 영어로 아무 이름이나
- Multiplier (M) – set to 0 to get model A 0.5로 변경
- Check point format safetensors 선택
- Save as float16에 체크
- Make in VAE 부분에 840000 어쩌고 파일 선택
위 설정을 진행한 후 Merge를 클릭하면 자동으로 병합 모델이 생성됩니다. 이때 WebUI가 설치된 폴더 경로에 한글이 들어있으면 오류가 발생하며 설치 경로에 한글이 있다면 영어로만 이루어진 경로로 WebUI 파일을 옮기고 다시 시도해주세요.
Stable Diffusion checkpoint에서 병합한 모델을 선택한 후 Negative prompt에 (worst quality, low quality:1.4), loli, child를 입력하고, prompt에 생성을 원하는 그림 태그를 영어로 입력한 후 생성 버튼을 눌러 AI 반실사 그림을 생성할 수 있습니다.
100% 실사 여자 그림을 생성하고 싶은 경우에는 Stable Diffusion checkpoint에서 Basil mix.safetensors를 선택한 후 그림을 생성하시면 됩니다. 그림이 잘 안 나온다면 CFG Scale 값을 5~9로 설정해보세요.
AI 실사화 하는법
만약 프롬프트를 입력하는 것이 힘들다면 AI 프롬프트 공유 사이트 에서 다른 사람이 만든 프롬프트를 복사해 AI 실사 그림을 생성하실 수도 있습니다. 직접 프롬프트를 찾는 재미는 줄어들지만 빠르고, 좋은 퀄리티로 생성할 수 있습니다.
오늘 소개한 오렌지믹스, 바질믹스 모델 이외에도 퀄리티 높은 ai 실사 그림을 생성해주는 AI 모델도 많이 있으며 대표적으로 한국, 아시아 여자 스타일로 그림을 생성해주는 ChilloutMix나 서양 여성 스타일로 그림을 생성해주는 Deliberate모델이 있습니다. ChilloutMix의 경우 여러가지 버전을 선택할 수 있는데 7.17GB 용량의 Chilloutmix 버전이 가장 좋은 성능을 보여줍니다.
webui-user.bat과 webui-user는 동일한 파일입니다.
폴더에서 보기 > 파일 확장명에 체크하면 .bat도 표시됩니다.
webui-user.bat
이라는 파일이 보이지가 않습니다……
webui-user은 있는데 어떻게 해야 할까요…?
webui user bat을 실행한 상태에서 입력해야 합니다.
127.0.0.1:7860 사이트 연결이 안된다고 하네요 거부되었다고…;; 이건 왜그러죠?
webui-user라는 파일도 없는건가요?
설치를 다 했는데.. webui-user.bat 이라는 파일 자체가 보이지 않는데 도와주실 수 있나요..?
https://github.com/AUTOMATIC1111/stable-diffusion-webui/issues/7901 게시글을 참고해보세요.
venv “C:\Users\ecogniard\Downloads\ai\stable-diffusion-webui\venv\Scripts\Python.exe”
Python 3.10.7 (tags/v3.10.7:6cc6b13, Sep 5 2022, 14:08:36) [MSC v.1933 64 bit (AMD64)]
Commit hash: 22bcc7be428c94e9408f589966c2040187245d81
Installing requirements for Web UI
Launching Web UI with arguments:
No module ‘xformers’. Proceeding without it.
Loading weights [0873291ac5] from C:\Users\ecogniard\Downloads\ai\stable-diffusion-webui\models\Stable-diffusion\AbyssOrangeMix2_nsfw.safetensors
Creating model from config: C:\Users\ecogniard\Downloads\ai\stable-diffusion-webui\configs\v1-inference.yaml
LatentDiffusion: Running in eps-prediction mode
DiffusionWrapper has 859.52 M params.
여기서 더이상 진행이 안됩니다.
1. 모델 병합시 vae도 적용했는지 확인합니다.
2. 그림 생성시 hires fix에 체크하고, anime 6b 디노이즈 0.5이하로 선택해보세요.
3. config.json를 삭제하고 webui를 다시 실행해보세요.
그림 완성되면 색깔이 흐려지는데 왜그럴까요..?
네 유저 이름이 한글이면 모델 병합이 안됩니다.
Error merging checkpoints: Parent directory C:\Users\홍선호\Downloads\aitest\stable-diffusion-webui\models\Stable-diffusion does not exist.
users이름이 한글이라서 그런건가요?
네 다른 모델도 똑같은 방법으로 적용할 수 있습니다.
ChilloutMix나 Deliberate모델 도 바질믹스나 오렌지 믹스 처럼 Stable-diffusion 폴더에 넣고 webui-user.bat 파일을 다시 실행하면 돼는건가요?? 모든 모델들 추가할때 다시 똑같이 하면 되는건가요???
설정파일을 변경한 적이 없는데도 오류가 나신다면 https://arca.live/b/aiart/67672200?p=1# 참고해보세요.
venv “C:\Download\test\stable-diffusion-webui\venv\Scripts\Python.exe”
Python 3.10.7 (tags/v3.10.7:6cc6b13, Sep 5 2022, 14:08:36) [MSC v.1933 64 bit (AMD64)]
Commit hash: a9fed7c364061ae6efb37f797b6b522cb3cf7aa2
Installing requirements for Web UI
Launching Web UI with arguments:
No module ‘xformers’. Proceeding without it.
Loading weights [19b82621a7] from C:\Download\test\stable-diffusion-webui\models\Stable-diffusion\abc.safetensors
loading stable diffusion model: RuntimeError
Traceback (most recent call last):
File “C:\Download\test\stable-diffusion-webui\webui.py”, line 136, in initialize
modules.sd_models.load_model()
File “C:\Download\test\stable-diffusion-webui\modules\sd_models.py”, line 407, in load_model
state_dict = get_checkpoint_state_dict(checkpoint_info, timer)
File “C:\Download\test\stable-diffusion-webui\modules\sd_models.py”, line 262, in get_checkpoint_state_dict
res = read_state_dict(checkpoint_info.filename)
File “C:\Download\test\stable-diffusion-webui\modules\sd_models.py”, line 241, in read_state_dict
pl_sd = safetensors.torch.load_file(checkpoint_file, device=device)
File “C:\Download\test\stable-diffusion-webui\venv\lib\site-packages\safetensors\torch.py”, line 100, in load_file
result[k] = f.get_tensor(k)
RuntimeError: shape ‘[1280]’ is invalid for input of size 0
Stable diffusion model failed to load, exiting
계속하려면 아무 키나 누르십시오 . . .
무슨 오류인가요…?
1. webui를 삭제하고 재설치합니다.
2. ai 모델이 적용되었는지 확인합니다.
3. 그래도 안된다면 https://arca.live/b/aiart/60305776 를 참고해보세요.
exit code: 1
stderr:
C:\Users\82107\AppData\Local\Programs\Python\Python310\python.exe: No module named pip
Launch unsuccessful. Exiting.
계속하려면 아무 키나 누르십시오 . . .
잘따라오다 마지막 webui-user.bat 실행에서 막혔습니다..
네 그래픽카드 CUDA가 부족하다고 하네요.
OutOfMemoryError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 4.00 GiB total capacity; 2.27 GiB already allocated; 90.20 MiB free; 2.35 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
이 오류가 뜨면 그냥 컴퓨터가 구려서 못하는거죠?
webui 태그 자동완성을 아마 여기서 못본것 같은데 요것도 설명해주면 좋을듯.
포즈 설정은 이상하게 안되서 못해봄.
오렌지 1 2 3 바질 칠아웃 16 32비트 7기가짜리 2개씩 머지 하고 머지한거 또 머지해서 하나의 safetensors 파일 만들어서 해보고 했는데
칠아웃7기가 바질 이렇게 2개만 머지 하거나 칠아웃 단독 바질 단독으로 써도 좋았음.
샘플링 여러개 중에서 오일러 말구 이름이 기억 안나는데 하여튼 오일러는 약간 흐릿? 한 수채화 느낌이라면 다른거는 실사에 컬러만 입힌것 같은 느낌의 실사라 좋았음.
태그 공유 사이트에서 프롬프트 카피해서 해보기도 하고 태그 자동완성 설치해서 하나씩 태그 넣으면서 해보기도 하고
시간 가는줄 모르고 하다가 밤새버려서 오늘 집에와서 지웠음.
완전 악마의 프로그램임 ㅋㅋㅋ
샘플링 단계랑 cfg인가? 요거 단계 설정하는게 애먹었음.
만약 이쁜 얼굴에 포즈까지 완벽한데 손가락이 24개 이렇게 나오면 seed 불러와서 샘플링 10단계~30단계까지 돌려보고 cfg 요것도 5~10까지 해봤는데 cfg는 숫자가 높을수록 완전 다르게 나오거나 사이버펑크가 되어버림.
5보다 낮으면 또 높은 확률로 엉망인 이미지가 뜨기도 하는데 간혹 5보다 낮은 숫자에서도 진짜 간혹 좋은 이미지가 뜨기도 함.
해상도? 픽셀은 400×400 이하로 하게되면 높은 확률로 눈깔이 사시가 됨.
800×600 정도의 해상도는 그렇게 오래 걸리지도 않고 나쁘지 않지만 해상도 한쪽이 1000 넘어가버리니깐 처리속도가 현저히 늦어짐.
물론 각자의 컴퓨터 사양마다 다르겠지만 ㅠㅠ
하여튼 요기 블로그? 사이트?는 정말 webui에 대해서 설명을 매우 잘해놨고 링크는 바로 클릭하지 말구 우클릭 해서 새탭으로 보는것을 추천함.
모델 병합 중에는 PC 사양에 따라 렉이 심하게 걸릴 수 있습니다. 잠시 기다려보세요. (진행이 안된다면 webui cmd 창을 클릭하고, Enter키를 몇 번 눌러보세요.)
설정하고 Merge 누르면 무한 로딩 되면서 렉이 심하게 걸리는데 원래 이런가요?