Adobe presenteert vier experimentele projecten tijdens zijn jaarlijkse conferentie Adobe Max, als onderdeel van zijn ‘sneaks’. Ze maken het mogelijk om een afbeelding om te zetten in een verkennbare 3D-scène, een AI-personage te ontwerpen door er een gesprek mee te voeren, of fotobewerkingen te reproduceren door simpelweg te kopiëren en plakken.
- Adobe presenteert vier experimentele projecten, de zogenaamde sneaks, op zijn conferentie Adobe Max.
- Project Screen Test laat gebruikers AI-personages vormen via een gesprek en een stem kiezen.
- Project Sight Span maakt van een foto een 3D-scène, en Project Sound Bender genereert geluiden bij een video.
- Project Rinse Repeat past een bewerking automatisch toe op andere onderdelen van dezelfde foto, en alle projecten willen complexe workflows toegankelijker maken.
Personages gevormd door conversatie
Het project Project Screen Test heeft als doel het creëren van door AI gegenereerde personages voor videocontent te vergemakkelijken. In plaats van hun stem en gedrag in een tekstprompt te beschrijven, voert de gebruiker een dialoog met het personage in een omgeving die lijkt op een auditie. Het begint met enkele persoonlijkheidskenmerken, zoals ‘angstig, verlegen, onhandig’, waarna een stem wordt gekozen door een voorinstelling te selecteren, het timbre te beschrijven of een audiofragment te importeren.
Het vervolg verloopt via een gesprek, ‘zoals bij een FaceTime-gesprek’, om de achtergrond van het personage, zijn temperament, doelen, gebreken, angsten of bewegingstics te verfijnen. Een tabblad Personality maakt het mogelijk om elk van deze kenmerken handmatig aan te passen. Zodra het personage is gedefinieerd, genereert de tool geanimeerde proefopnames in een door de gebruiker beschreven omgeving of scenario. Het is niet gespecificeerd hoe, of zelfs of, deze functie zou kunnen worden geïntegreerd in de bestaande videotools van Adobe.
Afbeeldingen, geluiden en bewerkingen op een andere manier gereproduceerd
Het project Project Sight Span transformeert een foto in een 3D-omgeving waarin de gebruiker kan rondlopen en elementen kan herpositioneren. Volgens de beschrijving van de bron genereert de ruimte objecten en achtergronden die zich buiten het oorspronkelijke kader bevinden en die natuurlijk onderdeel van de afbeelding lijken te zijn. De visuals blijven tijdens de navigatie gepixeliseerd, waarbij de resolutie wordt hersteld zodra de hoek is gekozen. De tool werkt op elke platte afbeelding, zoals foto’s, schilderijen of illustraties, en kan artistieke stijlen behouden of reproduceren. Het wordt vergeleken met de functie Spatial Reframing van Apple, waarvan het een veel geavanceerdere versie zou zijn.
Met Project Sound Bender importeert de gebruiker een video en beschrijft vervolgens het gewenste geluid in een prompt, bijvoorbeeld ‘sciencefictionketel die borrelt’. De tool genereert geluidseffecten die gesynchroniseerd zijn met de video en biedt een vierkant canvas om de geluiden in realtime aan te passen. Elke hoek komt overeen met een automatisch gegenereerd geluid, zoals een dicht gorgelend geluid met knappende bubbels, borrelende rotsen, hoge piepjes of knetterend elektrisch vuur. Door de cursor over het canvas te bewegen, worden bepaalde geluiden benadrukt, en elke hoek kan worden aangepast met andere effecten.
Project Rinse Repeat maakt het mogelijk om een bewerking te kopiëren en deze automatisch toe te passen op andere objecten of personen op dezelfde foto. De bron noemt als voorbeeld het verwijderen van puistjes op het gezicht van een persoon, gereproduceerd op andere leden van een groep, of het toevoegen van schaduwen aan producten in marketingvisuals, zelfs wanneer hun vormen en afmetingen verschillen. De tool maakt gebruik van Photoshop en de aanpassingen blijven bewerkbaar, omdat ze opnieuw worden gemaakt met de native tools van de software.
Deze ‘sneaks’ zijn technologische voorproefjes die al dan niet functies kunnen worden in de Creative Cloud-applicaties of het Firefly-platform, zonder garantie op dit moment. De meeste zijn gebaseerd op de ontwikkelingen op het gebied van generatieve AI van Adobe, die een centrale plaats innemen in de groeistrategie van het bedrijf. De rode draad van deze projecten is het toegankelijker en intuïtiever maken van complexe workflows in fotobewerking, videomontage en audiomixing.
‘Door deze interacties intuïtiever te maken, geef je ook ervaren creatieven nauwkeuriger controle’, zei Gautham Mysore, senior hoofdonderzoeker bij Adobe, tegen The Verge. ‘De geluidsexploratiecapaciteit van Sound Bender en de camerapositionering van Sight Span laten zien hoe professionals hun oordeel zouden kunnen toepassen en een resultaat directer kunnen verfijnen. Deze verbinding tussen creatieve intentie en controle is een belangrijk onderdeel van wat we onderzoeken.’
