Gemini Omni 1.1 Flash의 숏 연속성: 어떤 엔드포인트가 어떤 흔들림을 잡는가

Google은 같은 출시에서 이 모델에 대해 두 문장을 공개했고, 그 둘은 반대 방향을 가리킵니다.

첫째는 발표문에 있습니다. Omni가 클립을 이어 갈 때 이제 "최대 10초의 이전 맥락을 읽습니다. 마지막 1초만 참조하던 이전 모델들로부터의 도약입니다." 열 배의 기억입니다. 둘째는 DeepMind의 모델 카드 제약 항목에 있습니다. "편집 전반에 걸쳐 완전한 일관성을 유지하는 것, 복잡한 움직임이 있는 장면을 생성하는 것, 완벽하게 정확한 텍스트를 렌더링하는 것은 여전히 과제로 남아 있습니다."

둘 다 참이고, 함께 놓으면 그 일이 무엇인지 묘사합니다. 여기서 연속성은 켜는 스위치가 아니라 입력 단계에서 내리는 선택의 묶음입니다. 어느 엔드포인트를 부르는지, 이미지로 무엇을 고정하는지, 어떤 문장을 한 글자도 바꾸지 않고 반복하는지입니다. 네 부분짜리 시퀀스의 비용은 별개의 논의이고 여기서 다시 다루지 않겠습니다.

네 개의 엔드포인트, 붙들어 두는 네 가지 다른 것

E2X에서 gemini-omni-1.1-flash는 하나의 가격에 네 가지 기능으로 제공됩니다. 어느 쪽을 부르시든 4K 기준 초당 0.18달러입니다. 그것이 이들을 생각하는 방식을 바꿉니다. 이들 사이의 선택은 결코 예산 결정이 아니라 오직 기술 결정입니다.

각각이 고정하는 것입니다:

그것을 기능 목록이 아니라 진단표로 읽으십시오. 보고 계신 흔들림에 이름을 붙이신 다음, 그것을 다루는 엔드포인트를 고르십시오.

숏의 시작이 틀립니다. 두 번째 앵글이 다른 방에서 열리거나, 인물이 이미 동작 중인 상태로 걸어 들어옵니다. 프레임을 주십시오. image-to-video는 정지 이미지를 받아 거기서 시작하므로, 두 번째 숏은 첫 숏의 마지막 프레임에서 딴 캡처나 여러분이 앞서 승인한 스틸 렌더에서 열릴 수 있습니다. 이 모델이 제공하는 가장 값싼 연속성 해법입니다.

숏의 끝이 틀립니다. 무빙은 맞는데 착지가 아닙니다. 손이 문을 향해 뻗는데 문이 다른 곳에 있습니다. 그것이 start-end-frame-to-video입니다. start_frame_url과 end_frame_url을 공급하시면 모델이 그 사이를 채우고, 다음 컷이 맞춰야 할 프레임은 건네받은 것이 아니라 여러분이 고른 것이 됩니다.

사람이 바뀝니다. 프레이밍도 배치도 아니고 얼굴, 머리, 재킷입니다. 그것이 reference-to-video이며, 넷 중 정체성을 목적으로 하는 유일한 기능입니다. 저희 image_urls 배열은 최소 하나에서 최대 일곱을 받습니다. Runware도 같은 상한을 문서화하며 *"최대 7장의 이미지"*라고 적습니다. Google의 레퍼런스는 숫자를 밝히지 않지만 계산된 예시는 태그 여섯 개를 씁니다. 일곱은 공개된 보장이 아니라 제3자 합의로 다루십시오.

영상 레퍼런스는 더 강하게 제한되고 Google도 그 숫자는 공개합니다. *"영상 레퍼런스는 최대 3개 클립, 각 최대 3초를 지원합니다"*이며, 나란히 *"여러 영상에 걸친 참조나 추론은 지원되지 않습니다"*라고 적혀 있습니다. 셋은 채워야 할 목표가 아니라 다가가는 상한입니다. 레퍼런스 이미지에 무엇이 들어가야 하는지에 대해서는 Runware의 문서가 Google의 것보다 구체적이며, 깔끔한 미디엄 숏 인물 사진을 권합니다. 허리 위 프레이밍, 중립적인 배경, 식별 가능한 디테일이 보이는 상태입니다. "전신 숏, 복잡한 배경, 극단적인 앵글은 캐릭터에 대한 모델의 판독을 희석시키기" 때문입니다.

seed가 고정하는 것, 그리고 고정하지 않는 것

이 엔드포인트에는 샘플러가 없습니다. Google 문서는 그 점에서 단조롭습니다. "시스템 지시, temperature, top_p, 정지 시퀀스, 네거티브 prompt는 지원되지 않습니다." 샘플링 표면이 없다는 것은 재현성 제어가 하나뿐이라는 뜻이고, 그것이 seed입니다. 저희 네 기능 스키마 모두가 받는 선택적 정수입니다.

그 필드가 어디서 왔는지 알아 둘 만합니다. Google의 레퍼런스에는 아예 없기 때문입니다. Runware의 1.1 문서는 seed를 담고 있으며 여러분이 아무것도 주지 않을 때 *"무작위로 생성된 seed"*를 돌려준다고 설명합니다. 저희는 모든 기능에서 그 필드를 열어 둡니다. Google은 여러분이 가장 먼저 확인하실 페이지에서 아무 말도 하지 않습니다. 쓰시되 계약으로 다루지는 마십시오.

사람들이 걸려 넘어지는 지점은 이것입니다. seed는 피사체가 아니라 표본을 고정합니다. 같은 seed에 바이트 단위로 동일한 prompt면 반복입니다. 같은 seed에 한 단어를 고치면 새로운 추출입니다. 살짝 미는 것이 아니라 새로 샘플링하는 것입니다. 이는 temperature 손잡이와 정반대이며, seed를 붙들어 두고 prompt를 조율하던 이미지 모델의 습관이 여기로는 옮겨 오지 않는다는 뜻입니다.

그래서 seed는 멀티 숏 작업에서 정확히 두 가지에 쓸모가 있고 세 번째에는 쓸모가 없습니다:

• 남길 테이크를 더 높은 티어에서 다시 렌더링하기. 드래프트로 돌려 테이크를 찾으신 다음, 같은 prompt와 seed를 납품 해상도에서 돌리십시오. 바뀐 것이 없으므로 다시 샘플링되는 것도 없습니다.
• 변수 하나를 분리하기. 조명 문장을 바꾸고 seed를 붙들어 두시면, 움직이는 것은 그 문장 탓으로 돌릴 수 있습니다. 통제된 실험은 아니지만 눈 감고 다시 샘플링하는 것보다 빠릅니다.
• 서로 다른 두 숏 사이로 얼굴을 옮기기. 되지 않습니다. 두 prompt는 두 prompt이고, seed는 여러분의 캐릭터를 기억하지 않습니다. 숏을 넘는 정체성은 정수가 아니라 레퍼런스 이미지에서 옵니다.

테이크가 통한 그 순간에 seed를 prompt 옆에 적어 두십시오. 나중에 그것을 되찾아 올 이력 같은 것은 없습니다.

락 블록: 같은 단락을 한 글자도 바꾸지 않고 반복하기

text-to-video 호출은 여러분의 이전 호출을 기억하지 못하므로, 현장에서 가장 흔한 연속성 지시는 아무에게도 향하지 않습니다. "Keep everything consistent with the previous shot"는 모델이 한 번도 본 적 없는 숏을 가리킵니다.

해법은 멋있지 않습니다. 외양과 세트에 대한 사실 블록을 하나 쓰신 다음, 시퀀스의 모든 prompt에 그대로 붙여 넣으십시오. 바꿔 쓰지도, 다듬지도, 순서를 바꾸지도 마십시오. 새로운 묘사는 새로운 추출입니다.

두 숏짜리 시퀀스에서 같은 두 번째 숏의 두 판본입니다. 먼저 흔들리는 쪽입니다:

Continuing the same scene, a tighter shot of the same man at his
workbench in the garage. Cinematic lighting, moody atmosphere,
highly detailed, professional colour grading. He lifts the machined
part into the light and turns it slowly while his colleague watches
from the right. Keep the characters and the location consistent
with the previous shot. Single continuous shot, no scene cuts.
Sound design: workshop room tone and quiet handling noise.

그 prompt가 고정하지 않고 남긴 것을 세어 보시면 마음대로 바뀔 수 있는 것들의 목록이 나옵니다. 재킷의 정확한 초록색, 소맷부리가 해졌는지, 반다나가 있기는 한지, 타공판에 무엇이 걸려 있는지, 빛이 어디서 오는지입니다. 어느 것도 적히지 않았으므로 어느 것도 여러분에게 빚진 것이 아닙니다. 다른 오후를 찍은 잘 만든 숏은 요청된 것에 대한 옳은 답입니다.

다시 쓴 쪽은 동작을 유지하면서 단어를 형용사가 아니라 사실에 씁니다:

In a single continuous shot, no scene cuts. Medium two-shot in a
cluttered garage workshop, 40mm lens at f/4, both subjects sharp.

[Lock - repeat verbatim in every shot of this sequence]
Man: mid-forties, close-cropped grey hair parted on his left, faded
green canvas work jacket, frayed left cuff, oil stain on the right
pocket, steel watch on his left wrist. Woman: thirties, dark hair
tied back, grey knit sweater, red bandana at her neck, clipboard in
her right hand. Set: steel workbench, pegboard behind with three
wrenches hanging left of centre, one overhead fluorescent tube,
cold white key from above, no window light.

Action: he lifts a machined aluminium part into the light and turns
it once; she does not move. Sound design: fluorescent hum, the part
clicking down onto steel. No dialogue.

대괄호로 된 라벨은 모델이 아니라 여러분을 위한 것으로, 복사하실 구간을 표시합니다. 블록에 자리를 얻는 것은 비대칭이거나 손상된 것들입니다. 머리가 어느 쪽으로 갈라지는지, 어느 소맷부리가 해졌는지, 어느 손목에 시계가 있는지, 어느 손이 클립보드를 들고 있는지입니다. 흔들림이 숨는 곳이 대칭입니다. 좌우가 뒤집힌 대칭 디테일은 혼자 보면 맞아 보이지만 컷에서는 틀리기 때문입니다. 색 이름도 거기 들어가고 빛도 그렇습니다. 방향, 단단함, 그리고 원하지 않으시는 광원의 명시적인 부재입니다.

블록에서 빼 두어야 할 것이 하나 있습니다. 인쇄된 라벨, 간판, 소품에 읽히는 글자입니다. 모델 카드는 정확한 텍스트를 미해결 문제 중 하나로 열거하므로, 두 숏에서 같게 읽혀야 하는 소품은 쓸 수 있는 것 중 가장 믿을 수 없는 닻입니다. 대신 형태와 얼룩에 닻을 내리십시오.

확장은 앞으로만 가므로, 계획은 거꾸로 세우십시오

Google의 표현에는 여지가 없습니다. "영상 확장은 영상의 끝에 덧붙이는 것으로 제한됩니다. 클립의 앞에 붙이거나 중간을 확장하는 것은 지원되지 않습니다." 이어 가기는 10초 단위로 "총 길이 40초까지" 진행되고, 업로드된 클립은 확장하시기 전에 *"길이가 10초 이하"*여야 합니다.

계획 측면의 결과는 보이는 것보다 큽니다. 사슬에는 되돌리기가 없습니다. 첫 숏이 그 뒤에 덧붙는 모든 것의 팔레트, 빛, 카메라 문법을 정하므로, 거기서의 실수는 다시 렌더링할 숏 하나가 아니라 다시 세울 시퀀스입니다. 그리고 가장 위험한 숏 — 어려운 동작, 까다로운 반사 — 은 대개 한가운데, 정확히 손이 닿지 않는 곳에 앉아 있습니다.

그래서 첫 호출 전에 내려야 할 구조적 선택이 있습니다:

• 하나의 확장 사슬은 진짜 프레임 대 프레임 이어 가기와 모델이 실제로 읽는 10초의 맥락을 사 줍니다. 대가는 꼬리 말고는 아무것도 고칠 수 없다는 것입니다.
• 편집 프로그램에서 이어 붙이는 독립 생성물들은 각각 레퍼런스 이미지나 시작 프레임으로 닻을 내리며, 매끈한 이음매를 대가로 치르는 대신 첫 숏과 둘째 숏을 건드리지 않고 셋째 숏을 서른 번 다시 돌릴 수 있게 해 줍니다.

눈에 띄게 컷되면 안 되는 동작에는 확장을 쓰십시오. 어차피 컷이 들어가는 시퀀스에는 따로 생성하십시오. 그것이 클라이언트의 피드백을 견디는 선택지이기도 하고, 대부분의 시퀀스는 피드백을 하나쯤 받습니다.

그 클립은 두 숏을 이어 붙인 것이 아니라 리프레이밍을 담은 하나의 생성물입니다:

A two-shot in a cluttered garage workshop, 40mm lens at f/4, both
subjects sharp. A man in a faded green work jacket with a torn left
cuff stands at the bench; a woman in a grey knit sweater with a red
bandana tied at her neck stands to his right holding a clipboard.
The camera holds the wide two-shot for four seconds while he lifts
a machined aluminium part into the light and turns it. Then the
camera pushes in and reframes to a tighter two-shot from the same
axis - same jacket, same torn cuff, same bandana, same bench clutter
behind them, same overhead fluorescent light. No cut, no wardrobe
change, no relight. Sound: fluorescent hum and the part clicking
down onto steel.

컷 지점은 오디오의 컷 지점이기도 합니다

오디오는 그림과 함께 생성되고 그것을 거절할 스위치는 없습니다. 보통은 사운드 디자인 항목에 들어가는 이야기지만, 연속성 측면에서는 제약입니다. 여러분의 컷이, 여러분이 작곡하지 않았고 원본에서 다듬을 수도 없는 사운드트랙 한가운데에 떨어지기 때문입니다.

규칙 둘이 따라 나옵니다. 의상 블록을 반복하시는 것과 같은 방식으로, 컷의 양쪽에서 주변음을 동일한 단어로 묘사하십시오. 두 prompt 모두에 "fluorescent hum"이지, 한쪽은 "fluorescent hum"이고 다른 쪽은 "the buzz of the overhead light"가 아닙니다. 이음매에서 바뀌는 룸톤은 색조가 바뀌는 재킷보다 무시하기 어렵습니다. 귀에는 뒤에 숨을 숏 경계가 없기 때문입니다.

그다음 소리를 염두에 두고 어디서 컷할지 고르십시오. 동작 중간에서 컷하는 것은 반대편에서 모델이 같은 운동 벡터를 재현하기를 요구하는 일이며, 이는 모델 카드가 지목하는 바로 그 "복잡한 움직임" 사례입니다. 자리 잡은 자세에서, 부품을 내려놓고 손이 멈춘 지점에서 컷하면 다음 생성에는 모호하지 않은 시작 조건이, 오디오에는 자연스러운 이음매가 생깁니다. 박자 하나를 대가로 치르고 버티는 이음매를 사는 것입니다.

이 모든 것에 앞서야 할 결정이 하나 있습니다. 화면비입니다. 이 모델은 16:9와 9:16을 제공하고 그 외에는 없습니다. 확장은 덧붙이기만 하고 레퍼런스 이미지는 촬영된 프레이밍을 물려받으므로, 시퀀스 도중에 방향을 바꾸는 것은 설정 변경이 아닙니다. 그 위쪽의 모든 자산을 무효로 만듭니다. 첫 숏에서 납품을 염두에 두고 방향을 고르십시오.

네 숏짜리 시퀀스의 값

이 모델에서 연속성 도구는 공짜입니다. 이미지 일곱 장을 쓰는 reference-to-video 호출의 값은 맨몸의 text-to-video 호출과 같고, start-end-frame-to-video에 넘기시는 프레임은 아무것도 더하지 않습니다. 값을 치르시는 대상은 초와 해상도입니다.

8초짜리 숏 넷이면 32초입니다. 최상위 티어에서는 이렇습니다:

그 격차는 할인 이야기가 아니라 배수 이야기입니다. 두 사다리 모두 360p에서 1080p까지 같은 방식으로 올라갑니다. 맨 윗단에서 Google은 자기 720p 요율의 세 배를, 저희는 두 배를 매기므로, 완성된 시퀀스가 납품되는 바로 그곳에서 폭이 가장 넓어집니다. 최상위 티어가 왜 업스케일인지를 포함한 티어별 계산은 저희 4K 글에 있습니다.

이제 그것을 연속성 작업이 실제로 흘러가는 방식에 적용해 보십시오. 아무도 생성 네 번으로 숏 넷을 안착시키지 못합니다. 셋째 숏에 여섯 번, 넷째 숏에 세 번이 든다면 작업은 열다섯 개이고, 4K에서 여기서는 21.60달러, 직접 부르면 36.49달러입니다. 이것이 하나의 사슬보다 독립 생성물을 택할 가장 강력한 논거입니다. 다시 돌리기의 값이 시퀀스의 꼬리가 아니라 숏 하나이기 때문입니다. 연속성 테스트는 초당 4K 요율의 6분의 1인 360p에서 돌리시고, 그 테이크를 승격시키십시오.

여전히 미끄러지는 곳

정직한 판본입니다. 모델 카드가 그것을 말할 언어를 주었으니까요.

그 경계는 두 메커니즘이 무엇을 부호화할 수 있는지에서 따라 나옵니다. 문장과 레퍼런스 사진은 거칠고 이름 붙일 수 있는 속성을 실어 나릅니다. 실루엣과 의복 색, 머리 길이와 색, 방의 기하, 팔레트, 빛의 방향과 단단함, 큰 소품의 대략적인 배치입니다. 그것들은 락 블록이 진술할 수 있고 레퍼런스 이미지가 보여 줄 수 있습니다.

어느 쪽도 실어 나르지 못하는 것은 이름 아래 수준의 정밀함입니다. 멀리 떨어진 프레이밍들 사이의 정확한 얼굴 기하, 장신구, 작은 배경 물체, 미세한 원단 디테일, 그리고 인쇄된 모든 것인데, 마지막 것은 모델 카드가 따로 신뢰할 수 없다고 열거합니다. Google은 그 양상을 일반적인 표현으로만 지목하고, 제3자 리뷰어들은 그것이 고정된 숏 안에서보다 장면 전환과 카메라 무빙에서 가장 심하게 나타난다고 묘사합니다. 이는 문서와 보도에 대한 저희 해석이지 측정된 주장이 아닙니다. 그것에 숫자를 붙일 만한 장비를 돌려 보지 않았습니다.

실무적으로는 이렇습니다. 주인공 클로즈업이 들어가는 시퀀스라면 그 클로즈업은 와이드에서 물려받는 대신 레퍼런스 세트에서 생성돼야 합니다. 정체성은 스케일 변화보다 리프레이밍을 더 잘 견디기 때문입니다. 단일 숏의 얼굴 기법 자체는 그 나름의 글에 있고, 두 숏을 하나의 축 위에 유지하는 카메라 어휘는 카메라 글에 있습니다.

이 모델로 서른 숏짜리 내러티브를 팔면서 절대 변하지 않는 얼굴을 약속해서는 안 됩니다. 파실 수 있는 것은 흔들림이 컷 안에 들어앉을 만큼 작은 시퀀스이며, 레퍼런스와 락 블록, 그리고 정지 위에서 고른 컷 지점으로 닿을 수 있습니다.

맨 위의 표에서 시작하십시오. 흔들림에 이름을 붙이고, 도구를 고르고, 블록을 한 번 쓰고, 그것을 정확히 반복하십시오. Google의 API 레퍼런스에는 레퍼런스를 이름으로 묶는 태그 형식이 있고, 기능 페이지에는 현재 요율과 스키마가 있습니다.

가격과 제품 약관은 바뀝니다. 구매를 결정하시기 전에 각 제공자의 현재 가격을 확인하십시오.

자주 묻는 질문

Gemini Omni 1.1 Flash에서 숏을 넘어 캐릭터를 일관되게 유지하려면 어떻게 합니까?

두 메커니즘을 함께 씁니다. reference-to-video로 캐릭터를 레퍼런스 이미지로 넘기시고 — 저희 스키마는 하나에서 일곱까지 받고 Runware도 같은 상한을 문서화합니다 — 외양 사실의 동일한 블록을 모든 prompt에 바꿔 쓰지 말고 복사해서 반복하십시오. 레퍼런스는 정체성을 나르고, 반복된 텍스트는 의상, 소품, 빛을 나릅니다. Google의 모델 카드는 편집 전반의 완전한 일관성이 여전히 미해결이라고 명시하므로 어느 하나만으로는 충분하지 않습니다.

seed가 두 Gemini Omni prompt에 걸쳐 같은 캐릭터를 지켜 줍니까?

아닙니다. seed는 피사체가 아니라 표본을 고정합니다. 서로 다른 두 prompt는 seed와 무관하게 서로 다른 두 추출이고, 나머지가 동일한 prompt에서 한 단어를 고친 것도 변주가 아니라 새로운 표본입니다. seed가 값을 하는 곳은 승인된 테이크를 더 높은 해상도로 다시 렌더링할 때와 바뀐 문장 하나를 분리할 때입니다. 숏을 넘는 정체성은 레퍼런스 이미지에서 옵니다.

특정 프레임에서 끝나야 하는 숏에는 어느 Omni 기능을 써야 합니까?

start-end-frame-to-video입니다. 시작 이미지와 끝 이미지를 공급하시면 모델이 그 사이를 생성하고, 다음 컷이 맞춰야 할 프레임은 여러분이 고른 것이 됩니다. E2X에서는 초당 값이 평범한 text-to-video와 같으므로 피하실 가격상의 이유가 없습니다.

Gemini Omni 1.1 Flash가 영상을 뒤로 확장할 수 있습니까?

아닙니다. Google 문서는 확장이 클립의 끝에 덧붙이기만 하며 앞에 붙이거나 중간을 확장할 방법은 없다고 말합니다. 이어 가기는 10초 단위로 총 40초까지 진행되고, 확장하실 클립은 10초 이하여야 합니다. 그래서 첫 생성이 그 뒤 모든 것의 룩을 정하며, 초반의 실수는 사슬을 다시 세우지 않고는 고칠 수 없습니다.

Gemini Omni 1.1 Flash는 레퍼런스 이미지를 몇 장까지 받습니까?

저희 reference-to-video 스키마는 하나에서 일곱까지 받고, Runware 문서도 같은 최댓값을 명시합니다. Google 자신의 레퍼런스는 숫자를 공개하지 않지만 계산된 예시는 하나의 prompt에서 태그가 붙은 이미지 여섯 장을 묶습니다. 그러니 일곱은 문서화된 보장이 아니라 제3자 합의로 다루십시오. 영상 레퍼런스는 Google이 따로 최대 3개 클립, 각 최대 3초로 제한합니다.

생성된 두 숏 사이에서 컷하기 가장 좋은 지점은 어디입니까?

움직임 한가운데가 아니라 정지 위입니다. 자리 잡은 자세는 다음 생성에 모호하지 않은 시작 조건을 줍니다. 동작 안에서의 컷은 모델에게 운동 벡터를 재현하라고 요구하는 것이고, 이는 Google의 모델 카드가 알려진 약점으로 열거하는 복잡한 움직임 사례입니다. 그리고 모든 클립이 거절할 수 없는 사운드트랙과 함께 도착하므로, 이음매 양쪽에서 주변음을 동일한 단어로 묘사하지 않으면 컷에서 룸톤이 바뀝니다.

하나의 Omni 시퀀스에서 16:9와 9:16 숏을 섞을 수 있습니까?

쓸모 있게는 안 됩니다. 그 두 비율이 유일한 선택지이고, 확장은 시작한 방향 그대로 덧붙이며, 레퍼런스 이미지는 촬영된 프레이밍을 지니고 옵니다. 그래서 도중에 방향을 바꾸면 그 위쪽의 모든 자산이 무효가 됩니다. 첫 숏 전에 납품 포맷에 견줘 가로인지 세로인지 정하십시오.

시퀀스를 확장으로 만드는 것과 숏을 따로 생성하는 것 중 어느 쪽이 쌉니까?

초당 요율은 어느 쪽이든 동일하며 확장에는 할인이 없습니다. 그러니 차이는 다시 돌리기의 값입니다. 사슬에서는 앞선 숏을 고치면 거기 덧붙은 모든 것이 버려집니다. 레퍼런스 이미지나 시작 프레임으로 닻을 내린 독립 생성물이라면 나쁜 숏의 값은 숏 하나입니다. E2X에서 4K 32초는 5.76달러이고 Google 직접은 9.73달러이며, 그 격차는 버리시는 테이크마다 벌어집니다.