Cary Phillips won vorig jaar nog een Technical Achievement Award voor Caricature, een programma dat hij ontwikkelde voor Dragonheart en waarmee de animatoren voor het eerst in real time de gezichtsanimatie (facial animation) op hun scherm konden bewonderen. Caricature (Cari) heeft intussen een legendarische status verworven in de fx wereld, en ofschoon het programma sindsdien sterk uitgebreid werd, was het seminarie dat Phillips gaf voor ons persoonlijk (en waarschijnlijk voor heel de zaal) de eerste maal dat we het programma aan het werk zagen.
Cary Phillips studeerde Electrical Engineering en Computer Science aan de Johns Hopkins University , en behaalde later zijn Ph.D. in Computer Graphics aan de universiteit van Pennsylvania. Als software ingenieur werkte hij onder meer mee aan Jumanji, Dragonheart, Mission:Impossible, 101 Dalmatians, Mars Attacks!. The Lost World: Jurassic Park, Men in Black, Small Soldiers en Star Wars: Episode I.
Niettegenstaande zijn niet onaanzienlijke bijdrage aan het succes van ILM blijft Cary Phillips opmerkelijk nuchter, en benadrukt hij nog maar eens dat het programma niet enkel zijn werk is, maar dat heel wat mensen belangrijke bijdragen hebben geleverd. Terwijl de rest van het overgevlogen ILM bataljon uitbundig geniet van hun verblijf op het festival en Cary Phillips al lachend op het hart drukt niet alle eer voor zichzelf op te strijken, installeren we ons in een hoekje van de sprekerskamer. Klaar voor een iets technischer interview.
MOVIE: Gefeliciteerd met uw oscar.
CARY PHILLIPS: Wel, technisch gezien is het geen oscar. Het is een Technical Award. Ze maken het heel duidelijk dat je er niet mag naar verwijzen als naar een oscar. (lacht)
MOVIE: Was het niet eigenaardig dat u vier, vijf jaar nadat u aan het project was begonnen een oscar kreeg?
CARY PHILLIPS: Wel, het was wel interessant, want het was inderdaad een prijs voor iets dat ik lang geleden deed. En die software is nu oud. We zijn nu bezig met andere zaken, voornamelijk voor Star Wars, want we zijn daar al vroeg mee gestart. We ontwikkelen continu nieuwe zaken, en het is niet altijd mogelijk om midden in een project nieuwe technologieën te introduceren. Het is een interessant evolutieproces van de software, want na een tijd wordt je bewust van de zaken die beter kunnen. We zijn dus continu bezig met het veranderen en verbeteren. Het is interessant om presentaties te geven, en prijzen te krijgen voor iets dat vóór deze Star Wars werd gemaakt.
MOVIE: Hoe bent u eigenlijk bij ILM terecht gekomen? U werkte ook reeds bij PDI?
CARY PHILLIPS: Ik ging naar de graduate school in Pennsylvania. Ik geraakte geïnteresseerd in computer graphics in het begin van de jaren tachtig, en mijn under graduate advisor was geïnteresseerd in computer graphics voor er computeranimatie op film was gemaakt. Ik kwam er dus van jonge leeftijd mee in aanraking. Ik werkte later in het computer graphics labo aan de universiteit van Pennsylvania. Ik werkte daar 6 jaar, en op het eind schreef ik alles op wat ik daar gedaan had, en behaalde daar mijn doktoraat. Mijn research betrof ergonomische studies met simulaties van menselijke lichamen. Ik ontwiep en schreef heel wat software om in real time menselijke modellen te manipuleren, met inverse kinematics en zo. En rond die tijd waren verschillende van mijn vrienden uit graduate school naar PDI getrokken, en ik ben hen gevolgd. Ik werkte daar drie jaar, en daarna vertrok ik naar ILM. In die tijd zat PDI in een overgangsfaze. Ik zat ongeveer twee maanden in ILM toen men aan Dragonheart begon. Mijn supervisor vroeg mij om eens na te gaan wat de productiemensen vroegen ivm het facial animation system. Op dat ogenblik bestond er niks ivm facial animation. We waren bezig met Casper, en dat werd gemaakt via shape animation in Softimage. Er was een alternatieve interface dat zeer script-geöriënteerd was. De animatoren probeerde de timing van key-poses uit, en schreven daarna met de hand het beeldnummer op. Daarna zocht men de juiste expressie in pagina's vol tekeningen, waarna men alles in scripts stak. Die gaf men aan de TD's (Technical Director's) die de beelden berekenden. Ik heb er geen idee van hoe we dat allemaal klaargespeeld hebben.
MOVIE: Het was 45 minuten animatie dacht ik.
CARY PHILLIPS: 45 lijkt mij aan de hoge kant, maar voor die tijd was het heel veel. En de animatie is echt excellent. De verbeteringen die we sindsdien hebben aangebracht zorgen ervoor dat we de animatie sneller kunnen maken, en ons meer kunnen concentreren op de acteerprestatie. En het is nu ook mogelijk om veel complexere wezens te animeren.
MOVIE: Wat waren de criteria voor de software? Was het enkel faciale animatie, of meer?
CARY PHILLIPS: Origineel was het enkel facial animation. De twee mensen die de basisidee hadden voor het systeem, James Straus, de Animation Supervisor van Dragonheart, en Alex Seiden die tijdens de pre-productie de Visual Effects Supervisor was toonden mij een mock-up van een interface, die Alex gesketcht had in Photoshop. En het uiteindelijke programma bevatte dus de oorspronkelijke basisideeën van die interface, het venster, de tijdlijn... Vanuit die beschrijving zag ik zo ongeveer wat we wilden. Vanaf het prille begin realiseerde ik mij, omdat het dus ging gebruikt worden voor de draak die enorm complex zou zijn, dat het programma zou staan of vallen met de snelheid. Ik nam dus enorm veel voorzorgen om er voor te zorgen dat het zo snel en interactief mogelijk zou zijn. Het idee bestond er dus uit om een proces te nemen dat in Casper sterk steunde op enorm veel scripting, en om dat interactief te maken. Zodat je een schuifbalk kon vastgrijpen en bewegen, en dat die aanpassingen op het scherm te zien waren. Ik was minder bezorgd over wat er gebeurde als je de slider bewoog, dan dat het interactief gebeurde. De grootste genoegdoening die ik ooit mocht ervaren kwam van de animatoren die het van het begin af gebruikten, en die nog nooit hadden ervaren een zeer gedetailleerd model te bewegen en op te nemen, en dat terug af te spelen. De tijd tussen het denken dat iets iets meer omhoog moet, en het te doen en op te nemen en opnieuw te zien... De bedoeling was om die tijdsspanne zo klein mogelijk te maken. Het samenwerken met die eerste animatoren was briljant.
MOVIE: Hebben jullie eraan gedacht om automatische lipsynchronisatie in te bouwen?
CARY PHILLIPS: Wel, dat komt vaak ter sprake. Maar om de acteerprestatie te krijgen die we willen, wel, daar zijn we nog jaren van verwijderd. In het grafisch labo van de graduate school waar ik werkte, werd er in het kader van het modelleren van menselijke figuren ook facial animation bestudeerd, maar dan bekeken vanuit het standpunt van artificiële intelligentie. Het bepalen van de motivatie van het model. En dan leg je het model een situatie voor en hij spreekt. Het is een interessant research aspect, maar het is niet toepasbaar op wat wij doen. Het meest aangename aspect voor mij is samenwerken met mensen die insanely begaan zijn met de kleine subtiele details. En al die geautomatiseerd zaken... wel, het is een interessant domein om te onderzoeken, maar het is niet zo relevant voor wat wij doen.
MOVIE: Uit de demo bleek dat de software nu al veel meer kan dan zomaar facial animation. Is het andere animatiepakketten zoals Softimage aan het vervangen?
CARY PHILLIPS: Neen. Het gebied waarin de twee producten overlappen is redelijk klein. Er zijn een aantal skeleton-animaties die geschikt zijn om in die interface te doen, zoals kaak- en ooganimatie. De animatoren kunnen dat doen in Softimage of Caricature, wat ze zelf verkiezen. Maar de nadruk van het systeem ligt op de huid. En we zijn dus niet afgeweken van dat doel door een skeleton-systeem te gaan inbouwem. Wat niet wil zeggen dat we dat nooit zullen doen. Maar de meeste energie hebben we gestoken in de huid, en alles wat daaruit volgt. We zitten steeds met het probleem dat we veel meer modellen hebben dan we ooit samen kunnen inlezen, en oorspronkelijk, tot en met 101 Dalmations berekenden we enkele honden per keer. De informatie voor elke hond werd op een verschillende plaats bewaard, in textfiles. En we hebben dat sindsdien dus vervangen door een interactief systeem waarmee je al die parameters kunt specifieren. En dat wordt noodzakelijk omdat de modellen zeer complex worden. Als de modellen eenvoudiger zouden zijn, dan zou je één grote scène kunnen maken in Softimage of zo, maar als de complexiteit een zeker punt bereikt waarbij een dergelijke interface dat niet meer aankan, dan moet je een andere interface maken. En dat paste goed in Caricature, omdat het systeem al zo ontworpen was dat je een compacte voorstelling van de geometrie had.
MOVIE: In uw seminarie toonde u een voorbeeld waarin low-res beelden van op de set werden getoond in Caricature. Ga je in het systeem ook echte filmbeelden kunnen inladen?
CARY PHILLIPS: Neen. De enige compositing die Cariature kan doen is beelden inladen in de achtergrond als referentie. Er gebeurt dus geen echte compositing.
MOVIE: Het systeem zou waarschijnlijk een stuk trager worden.
CARY PHILLIPS: Ja. We hebben zeer gesofistikeerde compositing software (Sabre), en we hebben er over gediscussieerd om de twee te combineren, maar vermits dat het twee verschillende taken zijn denk ik dat ze moeten gescheiden blijven.
MOVIE: U past de software aan terwijl de artiesten de software in productie gebruiken. Hoe gaat dat in zijn werk? Als u iets aanpast dan moet iedereen zich aanpassen...
CARY PHILLIPS: Dat is een heel interessant proces. Het is een vraag waar ik eigenlijk geen goed antwoord op heb, want de manier waarop wij het doen is niet echt formeel. De softwaregroep van ILM werkt in een... tot een zekere graad werken we allemaal als individuelen, en elk van ons heeft in het algemeen een applicatie waar hij verantwoordelijk voor is. En onder de surface is er heel wat gedeelde software. Er zijn dus veel afhankelijkheden, en heel veel componeneten zijn door andere mensen geschreven. Ik ben zo wat verantoordelijk voor de mensen die het systeem gebruiken voor facial animation, verantwoordelijk voor het zien van hun noden en voor het programmeren van oplossingen. En dat is allemaal onder het management van Christian Rouet.
MOVIE: Die oorspronkelijk van TDI komt? (Thompson Digital Images was een in Parijs gevestigde firma die computer graphics software ontwikkelde: Explore. Er werd ook aan productie gedaan, maar die afdeling vormde in 1989 samen met Sogitec het nu gerenomeerde Ex-Machina. TDI zelf werd in 1993 opgekocht door Wavefront, dat op zijn beurt opgekocht werd door Silicon Graphics en gemerged werd met Alias)
CARY PHILLIPS: Inderdaad. Hij is de software manager, het hoofd van R&D. Hij beslist aan welke projecten we gaan werken. En zorgt ook voor de rekeningen. We hebben een zeer losse relatie met hem. Hij is diegene die mij op het project van facial animation heeft gezet, en hij schenkt elk van ons heel veel vertrouwen... om te kijken naar de producties, te zien wat ze nodig hebben, en om dat te programmeren. Elk van ons neemt zelf de verantwoordelijkheid om nieuwe versies van de software te verdelen, op en zodanige wijze dat er zo weinig mogelijk onderbrekingen of problemen zijn. Het is altijd een uitdaging. Ik heb altijd verschillende versies van de software in gebruik. Er is een oude versie die iedereen gebruikt, er is een nieuwere versie met allerhande nieuwe zaken in die door enkele mensen worden gebruikt, dan zijn er één of twee, meestal één, avontuurlijke gebruikers die de allerlaatste versie gebuiken die ik pas gemaakt heb. Als die niet werkt, maak ik een nieuwe, en dat gaat zo heen en weer. Tim (McLaughlin, een van de sprekers op het festival, en Creature Developer Supervisor) bijvoorbeeld heeft in het verleden vaak eerste versies gebruikt. Het releasen van software is dus helemaal niet formeel. We beschrijven het vaak als volgt: de gebruikers krijgen de optie om het nu te hebben maar het zal niet werken, of ze kunnen het hebben over drie weken, maar dan zal het werken. En heel vaak nemen ze het nu. Ze weten waar ze zich aan wagen, maar meestal appreciëren de gebruikers het dat we luisteren naar hun noden, en dat we hun zaken geven die ze anders nergens kunnen krijgen. En omgekeerd appreciëren we hun geduld en hun steun. Er zijn maar heel weinig incidenten geweest, waarvan ik me er nu geen van kan herinneren, dat er mensen persoonlijk kwaad geworden zijn op mij voor iets dat ik gedaan heb. Soms schrijf ik fouten in de software, maar er zijn altijd wel manieren om die te omzeilen. ILM in het algemeen is een heel supporterende omgeving, en niet een soort plaats waar mensen andere mensen persoonlijk aansprakelijk stellen. En dat vind ik fantastisch.
MOVIE: Hoe groot is het Research and Development team nu?
CARY PHILLIPS: 15
MOVIE: En de andere support engineers?
CARY PHILLIPS: Ik weet niet juist hoe groot de andere groepen zijn. de Digital Technology Departement is waarschijnlijk met meer dan 100, waaronder de hardware engineers, de systeemadministratoren... Er is een groep die sterk geassocieerd is met R&D, namelijk de Production Software, en zij dienen als buffer tussen de gebruikers en wij. Als ik werk aan een nieuw stuk software, of een nieuwe feature, dan werk ik rechtstreeks met mensen van de productie, maar voor de andere aspecten van het programma zijn zij er. Software dat op die manier geschreven wordt is niet bepaald tolerant voor gebruikersfouten. Het werkt wanneer je de stappen in de juiste orde neemt, maar als je afwijkt kan je heel gemakklijk in een situatie geraken dat je niet weet wat het programma doet. Dergelijke korte-termijn problemen kunnen heel van van onze tijd in beslag nemen. We hebben een groep die er speciaal is voor dergelijke zaken, en ze programmeren ook kleinere zaken. Vroeger hadden we een systeem met een wrangler, een software-wrangler. Het was een roterende telefoonextensie die door de mensen gekend was als het wrangler-nummer. En één van ons was voor een bepaalde week aangesteld als de software-wrangler. Het waren technische vragen, van problemen met logging-scripts, of een bestand met een speciaal karakter in de naam dat men niet meer kon verwijderen. Ik herinner mij dat ik eens iemand ben gaan helpen die een probleem had. Hij realiseerde zich niet dat hij zijn toetsenbord opzij had gezet, en dat er iets bovenop de Enter toest zat. Hij werkte enkel met de muis. Dat was heel gemakklijk te verhelpen, maar dat soort problemen dus. Maar daar is nu een aparte groep voor. 100 mensen is misschien een te hoog getal. 60 of zo. Maar er zijn heel veel hardware engineers.
MOVIE: Werk je ook aan procedurale animatie?
CARY PHILLIPS: Wat bedoel je juist met procedurale animatie? Want die term kan je voor veel zaken gebruiken.
MOVIE: Zoals de spieren in The Mummy, die autmatisch meebewegen met het skelet.
CARY PHILLIPS: Met proceduraal bedoel je dus een fysisch of algoritmisch ontworpen beweging. De kleersimulator, en het spiersysteem dat gebruikt is voor The Mummy waren geïntegreerd in Caricature, en dat werd gedaan omdat beide systemen toegang moeten hebben tot high-res skin dat (tenminste toch gedeeltelijk) gedreven wordt door die andere technieken die wij Character Implements noemen, zoals Shape Animation. Het meest kritische aan dergelijke processen is hoe je ze in de hand kunt houden. Heel vaak heb je een simulatie dat niet doet dat je wilt dat het doet, en dat moet je op de een of andere manier kunnen aanpassen. We kunnen dat doen door een aantal parameters aan te passen en de simulatie opnieuw te laten lopen, of we kunnen gewoon het resultaat nemen en dat aanpassen. Beide processen leunen dicht aan bij de kern van Caricature. Dat zijn geen dingen die ik gedaan heb. Ik voel me er wel een beetje ongemakkelijk bij dat ik teveel credit krijg voor Caricature. Caricature is nog steeds dat Dragonheart-achtig facial animation systeem, maar ook meer een systeem waar andere zaken in geïntegreerd zijn.
MOVIE: Over welk shot ben u het trotst? Ik heb dit helpen maken?
CARY PHILLIPS: Wel,... ik weet niet of ik een bepaald favoriet shot heb, en ik zou dat liefst beantwoorden in termen van waar ik het meest trots was op het ogenblik dat het gebeurde, in plaats van achterom te kijken. En dan moet ik nog steeds Dragonheart zeggen, want ik heb het gevoel dat het een grotere stap was van wat ervoor kwam, dan Star Wars dat is. Het indrukwekkend aan Star Wars is de omvangrijkheid. We kunnen er heel trots om zijn dat we het gedaan hebben gekregen. Er zit volgens mij heel wat goed werk in. Sebulba bijvoorbeeld werkt beter als karakter dan om het even wat we ooit gemaakt hebben. Hij lijkt helemaal niet CG, maar het lijkt ook niet op iets anders. Hij lijkt niet op een kerel in een pak, je kijkt ernaar, en je gelooft in het karakter. Het is een combinatie van belichting, rendering, modelling, de simulatie... Heel wat komt van het ontwerp, want hij is ontworpen met al die features die heel goed werken. Ik ben dus trots op hem, maar... heel wat aspecten van Dragonheart lijken nu verouderd, maar in die tijd... ja, ik denk dat ik nog steeds het meest trots ben op hem. Maar ik heb ook het gevoel dat het leven in het verleden is. Het wordt tijd voor een nieuwe doorbraak (lacht)