구글 AI 그림 Imagen Video
구글 AI 동영상 제작 Phenaki
_
■구글 AI 그림 Imagen Video
최근 AI와 관련된 사이트 제작 경쟁이 치열해지고 있습니다.
메타 ai 메이크 어 비디오 공개 (Meta ai Make a Video)
메타 ai 메이크 어 비디오 ai 동영상 만드는 사이트 메타 ai 그림 Make a Video _ 메타가 텍스트를 입력하면 동영상 클립을 만들 수 있는 메이크 어 비디오(Make a Video)를 공개했습니다. 메타는 Make-A-Video
dingdo.tistory.com
(얼마전 메타가 공개한 메이크 어 비디오 자료) 얼마 전 메타에서 먼저 Make A Video를 발표한 것에 이어서 구글도 텍스트 입력을 받아 동영상을 만드는 AI 'Imagen Video'를 발표했습니다.
텍스트 입력을 하는 텍스트 프롬프트에서 저해상도(24x48px/3fps, 16프레임) 동영상으로 만든 후 높은 해상도(1280x768/24fps)로 업스케일링 하는 방식이라고 합니다.
기존 AI 그림 gif형식 그림 보다 월등하게 수준 높은 그림을 보여준다고 하며 최근 메타가 공개한 텍스트 비디오 변환 AI모델인 '메이크 어 비디오(Make A Video)'를 훌쩍 뛰어넘는 성능이라고 평가 받고 있습니다.
구글 AI 그림 Imagen Video는 유명 화가 작품을 기반으로 한 비디오 생성, 개체 구조를 유지하면서 3D 회전 개체 생성, 다양한 애니메이션 스타일의 텍스트 렌더링과 같은 여러 가지 주목할만한 기능을 포함되어 발표 하였습니다.
Imagen Video는 Cascaded Diffusion 모델로 고해상도 비디오를 생성합니다. 첫 번째 단계는 입력 텍스트 프롬프트를 가져와 T5 텍스트 인코더로 텍스트 임베딩으로 인코딩하는 것입니다.
그런 다음 기본 비디오 확산 모델은 24×48 해상도와 초당 3프레임으로 16프레임 비디오를 생성합니다.
그런 다음 여러 시간 초해상도(TSR) 및 공간 초해상도(SSR) 모델이 이어져 1280×768 해상도와 초당 24프레임으로 최종 128프레임 비디오를 생성하여 최종 5.3초의 고화질 비디오를 생성합니다.
Imagen Video는 Video U-Net 아키텍처를 사용하여 공간 충실도와 시간 역학을 캡처합니다.
시간적 자기 주의(도표에 표시됨)은 기본 비디오 확산 모델에 사용되는 반면, 시간적 컨벌루션(도표에 표시되지 않음)은 시간 및 공간 초해상도 모델에 사용됩니다.
비디오 U-Net 아키텍처는 Imagen Video가 장기적인 시간 역학을 모델링할 수 있도록 지원합니다.
_
구글 Imagen Video 소개
Google Research, Brain Team 우리는 비디오 확산 모델의 캐스케이드를 기반으로 한 텍스트 조건부 비디오 생성 시스템인 Imagen Video를 선보입니다.
텍스트 프롬프트가 주어지면, Imagen Video는 기본 비디오 생성 모델과 인터리브 공간 및 시간 비디오 초해상도 모델을 사용하여 고화질 비디오를 생성합니다.
우리는 특정 해상도에서 완전 컨볼루션 시간 및 공간 초해상도 모델의 선택과 확산 모델의 v-파라미터화 선택과 같은 설계 결정을 포함하여 시스템을 고화질 텍스트-비디오 모델로 확장하는 방법을 설명합니다.
또한, 우리는 확산 기반 이미지 생성에 대한 이전 작업의 결과를 비디오 생성 설정으로 확인하고 전송합니다.
마지막으로, 우리는 빠르고 고품질의 샘플링을 위해 분류기 없는 지침으로 비디오 모델에 점진적인 증류를 적용합니다.
우리는 고충실도의 비디오를 생성할 수 있을 뿐만 아니라 다양한 예술적 스타일과 3D 객체 이해로 다양한 비디오와 텍스트 애니메이션을 생성할 수 있는 능력을 포함하여 높은 수준의 제어성과 세계 지식을 가지고 있다는 것을 발견합니다.
_
■구글 AI 동영상 제작 Phenaki
구글 연구원들이 만든 Phenaki(페나키)라는 또 다른모델도
발표되었는데 이것 또한 큰 화제 입니다.
앞서 설명한 Imagen Video가 5.3초 정도 짧은 그림 영상 이라면 이건 좀 더 긴 문장을 입력해서 2분 정도의 조금 더 긴 영상을 만들 수 있다고 합니다.
기존에는 텍스트 프롬프트의 '단어'를 기반으로 AI가 장면을 유추해서 영상을 만들었다면, Phenaki(페나키)는 '연속적이고 구체적인 문장'으로 동영상을 만들어낸다고 합니다.
(구글 AI 동영상 제작 Phenaki로 만든 영상)
Google Phenaki로 만든 영상 명령어는 아래와 같습니다.
미래 지향적인 도시에서 많은 교통. 외계 우주선이 미래 도시에 도착한다. 카메라는 외계인 우주선 안에 들어간다. 카메라는 파란색 방에서 우주 비행사를 보여줄 때까지 앞으로 나아간다. 우주 비행사가 키보드를 타이핑하고 있다. 카메라는 우주비행사에게서 멀어진다. 우주 비행사는 키보드를 떠나 왼쪽으로 걷는다. 우주 비행사는 키보드를 떠나 떠난다. 카메라는 우주 비행사를 넘어 화면을 본다. 우주비행사 뒤의 화면은 바다에서 헤엄치는 물고기를 보여준다. 파란 물고기를 확대하세요. 우리는 어두운 바다에서 헤엄치는 푸른 물고기를 따라간다. 카메라는 물을 통해 하늘을 가리킨다. 미래 지향적인 도시의 바다와 해안선. 미래 지향적인 마천루를 향해 충돌 확대. 카메라는 많은 창문 중 하나로 확대된다. 우리는 빈 책상이 있는 사무실에 있다. 사자가 사무실 책상 위에서 달린다. 카메라는 사무실 내부의 사자 얼굴을 확대한다. 사무실에서 어두운 양복을 입은 사자를 축소하세요. 옷을 입은 사자는 카메라를 보고 웃는다. 카메라는 마천루 외부로 천천히 축소된다. 현대 도시의 일몰 타임랩스.
_
앞서 설명한 Imagen Video는 “품질”에 중점을 두었다면 Phenaki는 “일관성과 길이”를 우선시한다는 것이 구글의 설명입니다.
결론을 짓자면 좋은 품질의 5초 정도 짧은 gif형식 움짤이냐, 2분 길이의 영화같은 동영상이냐 선택을 할수 있는 시대도 오는거 같습니다.
_
읽어주셔서 감사합니다.
_
다른 다양한 AI 그림 사이트
ai 캐릭터 사이트 (캐릭터 그림 실사화 그리기 Artbreeder 사용법)
ai 캐릭터 사이트 ai 캐릭터 실사화 Artbreeder 사용법 _ 요즘 AI로 그리는 풍경, 인물, 캐릭터 등 다양하게 너무 화제 입니다. 덩달아 몇개월 전 유행하던 인공지능(AI)을 이용해 인기 애니메이션 속
dingdo.tistory.com
(AI 캐릭터 실사화 사이트)
Novel AI 노블 ai 사용법 (ai 일러스트 애니 그림 그려주는 사이트)
노블 ai (Novel AI)사용방법 ai 애니메이션 일러스트 그림 그려주는 사이트 _ 노블 ai 무엇인가요(?) AI Dungeon과 같은 인공지능 텍스트 게임으로, 플레이어가 텍스트를 입력하면 인공지능이 학습된 데
dingdo.tistory.com
(노블 ai 사용 사이트)
AI 그림 그려주는 사이트 TOP5
AI가 그림 그려주는 사이트 여자 남자 AI 인공지능 그림 사람 인물 배경 물건 풍경 AI가 그려주는 사이트 추천 _ 오늘은 AI 가 그림 그려주는 사이트를 소개해드리겠습니다. AI 인공지능 프로그램
dingdo.tistory.com
(AI 그림 그려주는 사이트 TOP5)
댓글