중국의 IT 기업 알리바바와 modelscope에서 합작해 공개한 text-to-video 모델이 최근 화제를 모으고 있습니다. 해당 모델은 텍스트를 입력해 AI 영상 제작을 가능하게 만들어주는 비디오 프로그램으로 오픈소스로 공개되어 누구나 무료로 사용해볼 수 있습니다.
여러 개발자분들의 노력으로 huggingface 사이트에서 바로 AI 비디오를 제작해볼 수 있고, 높은 사양의 PC를 가지고 있으신 분이라면 WebUI에 확장 프로그램으로 modelscope 설치해 개인 PC에서도 AI 영상을 생성할 수 있습니다.
AI 동영상 제작 사이트
먼저 huggingface 사이트에서 무료로 AI 비디오를 제작하는 방법에 대해 소개합니다.
1. 허깅 페이스 영상 제작 페이지로 이동한 후 Enter your prompt 입력란에 영상을 표현하는 프롬프트를 입력합니다.
프롬프트는 반드시 영어로 입력해야 하며 아래 프롬프트 예제처럼 간결하게 한 문장으로 영상을 표현하는 것이 좋습니다. 예를 들어 달리는 고양이 영상을 생성하고 싶다면 running cat을 입력합니다.
2. 프롬프트를 작성한 후 Generate video를 클릭하면 영상 제작을 시작합니다. 보통 3~5분 정도가 소요됩니다.
서버 상태에 따라 ERROR가 발생하며 동영상 생성이 안되는 경우가 종종 있는데 이런 경우에는 30분~1시간정도 후에 다시 시도해보세요.
3. 영상이 생성된 후 사이트에서 바로 재생할 수 있고, 마음에 든다면 마우스 우클릭 > 동영상을 다른 이름으로 저장을 클릭해 다운로드 받을 수 있습니다.
AI 영상 제작 프로그램
PC 사양이 좋다면 WebUI란 프로그램에 modelscope이란 확장 플러그인을 설치해 개인 PC에서도 사용해볼 수 있습니다. 먼저 WebUI 프로그램을 다운로드 받고, webui-user.bat 파일을 실행한 후 아래 내용을 진행해주세요.
1. AI모델 설치 페이지로 이동한 후 아래 목록에 포함되는 파일들을 클릭해 다운로드 받아주세요. 모두 반드시 필요한 파일입니다.
- VQGAN_autoencoder.pth
- configuration.json
- open_clip_pytorch_model.bin
- text2video_pytorch_model.pth
2. 다운로드 받은 AI모델을 WebUI 설치 폴더 > models > ModelScope > t2v 폴더에 붙여넣기 합니다.
models 폴더에 ModelScope가 없는 경우 마우스 우클릭 > 폴더 순으로 클릭해 새폴더를 생성하고 이름을 ModelScope 변경합니다.
다음으로 ModelScope 폴더를 열고, 해당 폴더에 다시 t2v 폴더를 생성하고, 해당 위치에 다운로드 받은 4개의 파일들을 모두 붙여넣기해주세요.
3. webui-user.bat을 실행한 후 인터넷 주소 창에 127.0.0.1:7860을 입력하여 WebUI 사이트에 접속합니다.
4. Extensions(확장) > Install form URL을 클릭하고, URL for 아래에 https://github.com/deforum-art/sd-webui-modelscope-text2video 해당 주소를 붙여넣기한 후 Install을 눌러 설치를 진행합니다.
5. 설치가 완료되었다면 아래에 Install…이라는 글자가 나타나고, WebUI를 종료 후 다시 실행합니다.
AI 비디오 만들기
1. WebUI를 다시 실행해 새롭게 추가된 ModelScope text2vid 탭을 클릭합니다.
2. Stable Diffusion checkpoint 아래 목록을 클릭해 v1-5-pruned-emaonly.v1-5-pruned-emaonly 모델을 선택합니다.
3. Enter your prompt here 입력란에 영상을 표현하는 프롬프트를 영어로 입력하고, Generate 버튼을 눌러 AI 영상을 생성할 수 있습니다.
Generate 버튼을 클릭한 후 cmd를 보면 confing namespace에서 몇초~몇십초 정도 멈추어있을텐데 프로그램을 작동시키기 위해 로딩하는 중으로 이 때 Generate 버튼을 다시 누르면 webui 및 PC가 튕길 수 있습니다.
4. AI가 생성한 동영상은 Webui 설치 폴더 > outputs > img2img-images > text2video-modelscope에서 확인할 수 있습니다.
저는 really attractive anime girl skating, by makoto shinkai, cinematic lighting(정말 매력적인 애니메이션 소녀 스케이트, 마코토 신카이, 영화 조명)이란 프롬프트를 사용해 AI 영상을 제작해보았습니다.
생성된 AI 영상 퀄리티가 조금 낮기는 해도 스케이트를 타는 모습을 그럭저럭 잘 표현한 것이 신기하네요. 오픈소스로 공개되었기 때문에 앞으로 어떤 방식으로 발전할지 정말 기대됩니다.
오류가 발생할 경우 해결하는 방법
text to video 방식은 아직 개발 초기 단계라 다양한 오류가 발생하고, 높은 사양의 PC를 필요로 합니다. 정상적으로 사용하기 위해서는 최소한 12GB의 NVIDIA GeForce RTX 2080 Ti 그래픽카드르 필요로하며 그 이하는 사용하기 힘들 수 있습니다. (github에서 192×192 해상도의 비디오를 vram 4gb로 구동에 성공한 사례가 있긴 합니다.)
The file may be malicious, so the program is not going to read it.
You can skip this check with –disable-safe-unpickle commandline argument.
혹은 torch.cuda.OutOfMemoryError: CUDA out of memory 에러의 경우 각각 파일을 악성으로 잘못 인식해 실행하지 않는 버그와 그래픽카드 vram이 부족해 발생하는 오류입니다.
이 두가지 오류는 아주 간단하게 해결할 수 있습니다. 먼저 webui를 종료하고, webui-user.bat을 마우스 우클릭 > 편집을 클릭해 메모장을 열어줍니다. set COMMANDLINE_ARGS= 옆에 --disable-safe-unpickle --lowvram를 추가한 후 저장하고, webui를 다시 실행하시면 오류가 해결된 것을 확인할 수 있습니다.
그래픽카드 Vram이 12GB 이하인 경우 해당 명령줄을 추가하더라도 CUDA out of memory가 발생할 수 있는데 이런 경우에는 ModelScope text2vid에서 영상을 생성할 때 그림 크기를 192×192로 줄이고, 프레임 값도 줄인 후 생성을 시도해보세요.
