Como a IA e a nuvem estão apagando as fronteiras na produção de filmes e TV

Se parece que as conversas sobre inteligência artificial e computação em nuvem estão em toda parte hoje em dia, não apenas nos círculos rarefeitos de tecnologia e investidores, é verdade. E em nenhum lugar isso é mais verdadeiro do que no ramo do entretenimento, onde as classes criativa e empresarial estão preocupadas com as possíveis implicações para o ofício que aprimoraram durante anos e entusiasmadas com o poder democratizador das tecnologias.

No recente Sundance Film Festival, conversei com vários diretores, editores e outros que usam os novos recursos de IA e nuvem para câmera, transformando o processo de produção de filmes e TV, e executivos da Adobe, que fabrica o software de edição amplamente usado Premiere Pro e outras ferramentas para permitir a criatividade.

É uma época notável, em rápida evolução, com previsões de tirar o fôlego, tanto positivas quanto negativas, mas também algumas ótimas oportunidades para refazer o modo como o cinema e a TV (vamos chamá-los apenas de vídeo) foram feitos por mais de um século.

A aceitação da indústria está apenas começando. ComcastCMCSA
, por exemplo, acabou de receber um Emmy técnico pelo uso de IA para gerar rapidamente destaques de vídeos esportivos.

As estrelas e seus representantes também estão percebendo, à medida que as tecnologias de IA surgem até mesmo em cantos especializados da indústria.

Por exemplo, agência de talentos A CAA firmou parceria estratégica com a Metaphysic, que está fornecendo ferramentas de "desenvelhecimento" em Aqui, um recurso da Miramax baseado em uma história em quadrinhos. As estrelas Tom Hanks e Robin Wright interpretarão personagens em uma única sala à medida que envelhecem ao longo dos anos, desde sua juventude em diante.

Para uma agência, o apelo de tal tecnologia é óbvio: suas maiores estrelas/clientes são subitamente viáveis ​​em mais papéis, por décadas a mais.

As possibilidades estimulantes da nova tecnologia

Mas, no dia a dia, as possibilidades se abrem para editores, diretores e outros envolvidos na complexa tarefa de criar um projeto baseado em vídeo. Em conversas com autores iniciantes cujos projetos independentes e de documentário preenchem a programação do Sundance, fica claro que eles veem o Premiere Pro como uma plataforma colaborativa de alta velocidade que permite uma gama cada vez maior de usos criativos possíveis, por uma variedade cada vez maior de possíveis criadores.

AdobeADBE
Meagan Keane, diretora de marketing de produto para vídeo profissional, chamou a IA de “uma grande abertura de portas quando pensamos no futuro do cinema. Acreditamos que o futuro é para todos.”

Com isso, ela quer dizer como a IA pode aumentar a criatividade humana, em vez de substituí-la, como alguns temem. As ferramentas alimentadas por IA podem capacitar criadores com habilidades técnicas, recursos ou conexões modestas ou inexistentes para criar projetos atraentes em vídeo e outras mídias. Mesmo agora, para criadores profissionais, a IA reduz a rotina de tarefas repetitivas, como vasculhar a filmagem de uma cena específica, permitindo que editores e outros criadores se concentrem na imagem (literalmente) maior.

Mas é maior do que isso, disse Michael Cioni, diretor sênior de inovação global da Adobe e um defensor de longa data de tecnologias de câmera para nuvem com a Frame.io, de propriedade da Adobe.

Todo ativo digital também é um ativo de nuvem

Ele coloca de forma simples: “Até o ano de 2031, todo ativo eletrônico gerado em mídia e entretenimento será gerado na nuvem, pela nuvem. Essa é a verdade. Chamo isso de certeza tecnológica, de que todo ativo eletrônico gerado por um dispositivo será gerado na nuvem” em vez de, digamos, em um disco rígido local, celulóide, fita de vídeo ou cartão de memória.

Em um ciclo familiar de transformação de mídia, os documentos de texto foram os primeiros a ir para a nuvem (e para a IA). Agora eles são criados, compartilhados e reformulados rotineiramente em serviços baseados em nuvem, como Google Docs, Apple Pages, Microsoft Word e Adobe Acrobat. Centenas de milhões de pessoas ouvem (e criam, colaboram e vendem) música na nuvem, graças ao Spotify, Apple Music, Amazon Music, Tidal e outros. Agora, está mudando a mídia mais complexa que criamos.

“Digamos que você esteja fazendo uma cena de filme”, disse Cioni. “Você poderá realmente digitar em linguagem, depois de filmar uma cena: 'Faça chover'. E vai aparecer água na tomada, vai começar a chover. 'Faça nevar' e começará a aparecer na cena. E você não precisa ser um engenheiro para fazer isso. Isso realmente parece ficção científica, mas se tornará totalmente factível. Estamos vendo isso acontecer nos estágios iniciais de still (fotos) e sabemos que vai se transformar em vídeo. E esse é um atributo muito importante de onde devemos pensar sobre como isso afeta as pessoas criativas.”

Isso tem uma tonelada de implicações para o futuro da criação de imagens em movimento. Como Leonard Cohen disse há muito tempo, quando passou de poeta a romancista e cantor/compositor na casa dos 30 anos, “as fronteiras entre muitos empreendimentos desapareceram”.

Muitos cineastas mais jovens cruzam rotineiramente essas fronteiras, fazendo um pouco de tudo na realização de seus projetos e colaborando rotineiramente em plataformas digitais. Com entrega de nuvem para câmera e inteligência artificial, eles podem filmar uma cena, gerar rapidamente uma “montagem” grosseira como ponto de partida para uma edição, enquanto determinam se há o suficiente para a cena “funcionar” ou mais filmagens são necessárias .

Eles também podem criar efeitos visuais básicos, correção de cores e até design de som antes de entregá-lo a especialistas para ajustes finos. Como tal, o Premiere tornou-se mais do que um programa de edição de vídeo não linear tradicional para muitos criadores de Sundance.

Construindo um novo relacionamento entre humanos e imagens

“Esta é uma de nossas maiores paixões: a relação entre humanos e câmeras e como isso afeta a sociedade”, disse Maximilien Van Aertryck, codiretor (e coeditor) do provocativo documentário. Máquina Fantástica, o qual ganhou um prêmio especial do júri de Sundance por visão criativa. “Somos como antropólogos que gostam de se divertir.”

Seu documentário pede gentilmente uma abordagem ponderada do mundo que estamos criando com essas novas ferramentas. Como dizia a velha piada política, “em quem você vai acreditar: em mim ou em seus olhos mentirosos?” Cada vez mais, precisamos entender quando nossos olhos e guarante que os mesmos estão deve-se acreditar nas mentiras e nas imagens em movimento, disse o codiretor/editor de Aertryck, Axel Danielson.

“O filme não tem muitas respostas”, disse Danielson. “Tem perguntas. A única resposta que sabemos é que nós, como sociedades coletivamente, precisamos levar a alfabetização midiática muito a sério”.

O projeto reúne mais de um século de imagens em movimento, remontando a pioneiros como Georges Melies (cujo personagem real exclamaria o que se tornou o nome do filme). Ao longo do caminho, ele para em uma Leni Riefenstahl irritantemente ávida, fazendo jogada a jogada de suas fotos favoritas de um comício nazista em Nuremberg, e um lutador do ISIS repetidamente estragando suas falas em um rolo de erro de um vídeo de recrutamento terrorista. Ele também apresenta partes muito mais suaves, mas o ponto é que criadores excelentes e terríveis aproveitarão as novas ferramentas de várias maneiras.

On Fantástica Máquina, Van Aertryck e Danielson passaram anos coletando clipes distintos sobre a complicada relação entre humanos/câmeras e as imagens que eles criam. Quando chegou a hora de montar o filme, eles trabalharam remotamente com o editor Mikel Cee Karlsson e o produtor executivo Ruben Ostlund, roteirista e diretor duas vezes indicado ao Oscar (Triângulo da tristeza) cuja Plattform Produktion produziu o filme.

“Não somos editores treinados; fazemos isso porque temos que fazer isso”, disse Van Aertryck. “A Adobe se torna a ferramenta perfeita para nós, porque podemos colocar tudo lá e compartilhar tudo.”

Os quatro usaram as ferramentas baseadas em nuvem do Premiere para trocar clipes e sequências como se estivessem sentados ao redor de uma mesa, disse Van Aertryck, embora estivessem espalhados pela Europa Ocidental, do Báltico (Gotemburgo, Suécia) às Baleares (Maiorca). Esse é um exemplo particularmente amplo da liberdade que dá aos criadores de vir de qualquer lugar e trabalhar em qualquer lugar, se eles precisarem ou quiserem.

“Ser capaz de compartilhar online torna muito mais possível”, disse Crystal Kayiza, roteirista e diretora de Parada de descanso, que ganhou um prêmio do júri de Sundance para ficção de curta-metragem dos EUA. “Se eu quiser voltar para Oklahoma, posso fazer isso se estiver envolvido (criando) um short.”

No ano passado, a Adobe anunciou novos recursos direto para a nuvem em algumas câmeras populares e outros dispositivos de produção que transmitem simultaneamente o vídeo conforme ele é capturado. Isso permite que editores, produtores, executivos e outros especialistas em pós-produção comecem a trabalhar na filmagem poucos minutos após a filmagem.

Mesmo pequenas produções estão usando as tecnologias. As conexões em nuvem foram essenciais, especialmente no início, para fazer Indo para o time do colégio em Mariachi, disse Daniela T. Quiroz, que ganhou um prêmio de edição do Sundance.

Os diretores Alejandra Vasquez e Sam Osborn ainda estavam filmando o documentário sobre as competições de dança do ensino médio no Vale do Rio Grande, no Texas, quando Quiroz, do Brooklyn, começou a montar o projeto. Sua visão inicial e nova do material já capturado ajudou a moldar as filmagens subsequentes e as áreas de foco.

“Como editores, temos o privilégio único de ver essas pessoas na câmera pela primeira vez”, disse Quiroz. “Você realmente consegue ver por quem está se apaixonando e por qual música está se apaixonando.”

Dispensar aqueles diários digitais imediatamente acessíveis, como os “velhos tempos” de apenas alguns anos atrás, era uma necessidade para filmar Às vezes eu penso em morrer no local em uma parte remota da costa de Oregon. Em vez disso, as filmagens de cada dia eram carregadas em discos rígidos e enviadas durante a noite para Nova Orleans para serem ingeridas por intermediários digitais. Foi um lembrete das melhorias que a tecnologia trouxe, disse o editor Ryan Kendrick.

Um novo tipo de colaboração

Isso permitiu que Kendrick, de Nashville, começasse a editar, colaborando com a diretora Rachel Lambert e outros em vários estados.

“Como é legal poder trabalhar com quem eu quero trabalhar, e não estamos presos ao mesmo lugar”, disse Kendrick. Também muda a dinâmica entre diretores, diretores de fotografia, editores e o restante da produção.

“Você sempre se sentiu isolado dos sets” no passado, disse Kendrick. “Agora, você se sente mais conectado a ele. Você não se sente tão separado do tom que eles estão fazendo. A sala de edição é realmente um ótimo lugar para cometer muitos erros e fazer o oposto absoluto do que você quer fazer. Eu sempre digo: 'Não sei. Vamos descobrir isso.'”

On Às vezes sinto vontade de morrer, Kendrick, Lambert e o diretor de fotografia Dustin Lane começaram a conversar semanalmente muito antes do início das filmagens, para evitar possíveis problemas antecipadamente.

“Falaríamos sobre os problemas de edição que poderiam surgir”, disse Kendrick. “Quando você recebe os roteiros, a coisa mais difícil de pensar é como o filme fará a transição para a próxima parte. Especificamente, no filme, (os protagonistas) vão ao cinema. Conversamos muito sobre como conseguiríamos as imagens de que precisávamos para manter o peso emocional.”

Os retornos rápidos possíveis com o Camera-to-Cloud são particularmente úteis para projetos curtos, como comerciais e videoclipes, disse Kendrick.

“Algumas reviravoltas nos comerciais são loucas”, disse Kendrick. Ser capaz de passar projetos para frente e para trás no Premiere Pro, Frame.io e After Effects realmente só era possível com uma arquitetura baseada em nuvem.

“É o maior (atraso nos fluxos de trabalho de produção) que foi eliminado nos últimos cinco anos”, disse Kendrick.

Os princípios orientadores da construção de uma tecnologia melhor

A abordagem da Adobe para suas tecnologias é construída em torno de cinco "princípios orientadores:" fluxo de trabalho, mídia, colaboração, produtividade e segurança, disse Keane.

“Nós realmente colocamos a IA em 'produtividade'”, disse Keane. “Não se trata de substituir os criativos. Trata-se de substituir o mundano.”

Os sindicatos trabalhistas de Hollywood estão observando de perto o espaço em rápida mudança da IA. Puck informou que o conselho do maior sindicato de Hollywood, SAG-AFTRA, planeja incluir a questão dos direitos de imagem – usando IA para recriar a aparência, a voz ou outros aspectos de seus membros – nas próximas negociações contratuais.

Por enquanto, os advogados de talentos foram informados de que “qualquer linguagem em um contrato que pretenda controlar o direito de simular a atuação de um ator, (é) 'nula e inexequível até que os termos sejam negociados com o sindicato'”, relatou Puck. .

A nova questão complexa pode resultar em algumas negociações de contrato pesadas nesta primavera. Artistas mais jovens e de meia-idade que desejam ampliar suas oportunidades de carreira podem adotar alguns usos da tecnologia, mas sem fortes proteções contratuais, alguns veículos podem usar a tecnologia como uma forma de evitar o pagamento por performances digitais que não são tecnicamente os atores.

Um exemplo grosseiro do que eventualmente pode acontecer pode ser encontrado por semanas no Twitch, onde “watchmeforever” criou um “episódio” interminável, gerado por IA, de Seinfeld. O “show” apresentava vozes geradas por computador, mal inflexíveis, gráficos simples e piadas que não eram particularmente engraçadas. O programa também sugere o que pode eventualmente ser possível em um nível de qualidade muito mais alto. Vale a pena notar que o loop infinito foi interrompido com um aviso de desligamento quando a rotina de stand-up do personagem “Jerry” mudou para o que foi considerado uma rotina anti-trans.

Abrindo o mundo para atividades criativas

Em uma nota muito mais positiva, Keane, da Adobe, aponta para o acesso muito mais amplo a ferramentas criativas que a IA e a nuvem fornecerão. Ele elimina a necessidade de grandes fazendas de renderização para gerar imagens de processo e som, gerar efeitos e tudo mais, ao mesmo tempo em que fornece o poder de computação e a segurança de que qualquer projeto de vídeo moderadamente ambicioso precisa.

“Se você pode centralizar a nuvem, pode abrir a possibilidade de ter histórias vindas de todo o mundo”, disse Keane. “A colaboração precisa estar em todas as etapas. A perspectiva compartilhada reforça suas ideias ou o desafia ainda mais.”

Como exemplo da importância da segurança para os cineastas, Keane apontou Plano C, um documentário de Sundance sobre o aborto. Seus criadores precisavam fazer vários desfoques dos rostos e vozes de algumas entrevistas na câmera, além de segurança rígida para a mídia original sem desfoque.

A explosão em IA generativa, deep fakes e questões relacionadas também significa que a autenticidade é mais importante do que nunca, disse Keane. A Adobe é membro da Content Authenticity Initiative, ao lado de outras empresas de mídia e tecnologia, como o New York TimesEMPRESA
e Canon.

Keanu Reeves, estrela da icônica franquia de ficção científica A matriz, é menos otimista. Ele disse recentemente à Wired que um uso malicioso de vídeo assistido por IA, criando deepfakes, é “assustador”. Os contratos de Reeves rotineiramente incluem uma cláusula que proíbe os estúdios de manipular digitalmente sua performance, uma cláusula que remonta a décadas de uma produção que inseriu uma lágrima virtual em seu rosto.

“O que é frustrante nisso é que você perde seu arbítrio”, disse Reeves sobre práticas invasivas. “Quando você atua em um filme, sabe que vai ser editado, mas está participando disso. Se você entrar na terra do deepfake, não terá nenhum dos seus pontos de vista. Isso é assustador. Vai ser interessante ver como os humanos lidam com essas tecnologias.”

A próxima tecnologia revolucionária

A próxima tecnologia avançada, já disponível em versão beta no Premiere Pro, é a chamada edição baseada em texto, que permite que uma pessoa edite o vídeo editando o texto do diálogo extraído e transcrito do vídeo pela IA. A IA também destaca frases de efeito importantes, pode criar uma montagem inicial do projeto final e gerar pesquisas baseadas em palavras-chave para encontrar rapidamente clipes ou conversas específicas. Os dados criados para o projeto tornam-se uma nova maneira poderosa de gerenciar todas as filmagens com eficiência.

“Você está hidratando a mídia com todos esses dados valiosos”, disse Keane.

Algumas empresas menores já lançaram suas abordagens em tecnologias semelhantes. Descrever e podcast pode criar uma versão digital de sua voz e, em seguida, ler scripts baseados em texto, sem precisar de mais edição. O Descript também adicionou recentemente edição baseada em texto para vídeo, seja podcasts ou outro conteúdo.

O editor Kendrick disse que já usou as ferramentas de edição de texto da Adobe para ajudar um amigo a produzir rapidamente um minidocumentário baseado no Alasca. A edição baseada em texto provavelmente também será imensamente útil para os chamados “preditores”, produtores/editores que normalmente precisam percorrer dias de filmagem para montar rapidamente programas improvisados ​​em cronogramas apertados, disse Kendrick.

Livros de áudio, scripts, mídia social também obtendo IA

A IA também está avançando em muitos outros cantos do entretenimento. MaçãAAPL
lançado um conjunto de ferramentas de IA projetadas para criar narração para audiolivros, criando mais uma opção para os autores criarem versões em áudio de baixo custo de seus projetos “narrados por voz digital com base em um narrador humano”. A notícia desencadeou fortes objeções do corpo de elite de narradores de audiolivros humanos e seus numerosos fãs.

Certamente há motivos para valorizar o melhor trabalho desses narradores humanos, e pode levar muito tempo até que uma ferramenta de IA se aproxime das vozes e performances convincentes dos melhores leitores humanos nos melhores livros.

Mas o custo de usar esse talento está muito além das finanças de dezenas de milhares de livros lançados todos os anos. É aí que o conjunto de ferramentas da Apple pode fornecer acesso a outro mercado para aqueles pequenos livros, autores e editoras que tentam alcançar um mercado anteriormente remoto que já vale cerca de US$ 1.5 bilhão em todo o mundo.

Comece Cena do filme usa IA para detalhar os componentes do roteiro, incluindo elementos como elenco, adereços, figurinos, veículos usados, sons, locações e muito mais.

E no lado dos vídeos curtos do negócio, TikTok, Meta's Reels e Alphabet's YouTube Shorts dependem de aprendizado de máquina e ferramentas de IA para servir o próximo vídeo “recomendado” que eles acham que você vai querer assistir, e conectando anúncios a essa experiência de uma forma mais integrada e envolvente.

O analista Rich Greenberg da LightShed Partners ligou a mudança do Facebook para recomendações aprimoradas de conteúdo orientadas por IA extremamente caras, mas "no final das contas, poderia provar (CEO da Meta, Mark) o segundo pivô mais impressionante de Zuckerberg (depois do celular) em uma plataforma que evolui constantemente desde o seu início".

Fonte: https://www.forbes.com/sites/dbloom/2023/02/24/how-ai-and-the-cloud-are-erasing-the-borders-in-making-movies-and-tv- shows/