Seaman-bedenker Yoot Saito over de visachtige Dreamcast AI die zijn tijd ver vooruit was

Sega’s Dreamcast werd uiteindelijk een mislukking, aangezien Sony de markt begin jaren 2000 ging domineren met de PlayStation 2. Maar Sega’s machine liet een bibliotheek achter met unieke innovatieve en invloedrijke software. En misschien was geen enkele titel zo memorabel als Yutaka “Yoot” Saito’s iconoclastische Seaman, een virtuele huisdier simulator die je een microfoon liet gebruiken om te praten met een humeurige, sarcastische man-vis, met hulp van een verteller ingesproken door Leonard Nimoy.

Yoot Saito was eerder het best bekend als een Mac-gerichte ontwikkelaar die The Tower maakte, een toren management spel dat SimCity studio Maxis wereldwijd uitbracht als SimTower. (Het vervolg, The Tower II, werd buiten Japan bekend als Yoot Tower.) Na Seaman en het PS2-vervolg ontwierp Saito Odama, een flipperkast-strategie-hybride voor de GameCube waarin spelers spraakopdrachten gebruikten om soldaten op de tafel te dirigeren.

Deze zomer is het 20 jaar geleden dat Seaman werd uitgebracht, dus ik nam contact op met Saito via e-mail om de ontwikkeling en erfenis ervan te bespreken. Zijn antwoorden waren zo diepgaand, met verschillende gepassioneerde raaklijnen in onderwerpen als videogamegeschiedenis en taalkunde, dat ik besloot ze hier met minimale bewerking weer te geven.

Dit interview is licht bewerkt voor de duidelijkheid.

Over hoe Seaman ontstond na SimTower

“Als je alleen de thema’s uit elkaar haalt, is het ene een spel over het bouwen van wolkenkrabbers en het andere over het opvoeden van een vis met een menselijk gezicht, dus ze zien er totaal anders uit. als je mijn startpunt in de game-industrie naspeurt, was dat omdat het meesterwerk dat SimCity is, een diepgaand effect op me had en ertoe leidde dat ik games wilde gaan maken. Dus mijn kerninteresse was toen en is nu nog steeds simulatiegames.

Als ik nog specifieker zou moeten zijn, zou ik zeggen dat ik een enorme belangstelling heb voor communicatie en taal. Voor mij is het meest basale aspect van een computerspel dat je als spelontwerper een nieuwe wereld bouwt via de ’taal’ die het spel is. Om dat te kunnen doen, moet je de overbodige stukken uit de echte wereld verwijderen en datgene wat je kiest om te behouden uitsplitsen als belangrijke speleigenschappen of elementen waarmee je kunt interageren als items of via spelcommando’s. Dat is de ruggengraat van simulatiespellen.

Dus tot zover is Seaman een spel waarbij het de uitdaging was om het filter van de taal te gebruiken om de kloof tussen gamer en niet-gamer te overbruggen. Proberen om werkelijke taal om te zetten in een taalelement / filter voor spellen is ongelooflijk uitdagend, maar het is eigenlijk net zoiets als natuurlijke taaluitingen omzetten in speelkaarten en een kaartspel spelen met een andere persoon.

Dat betekent dat Seaman eigenlijk net zoiets is als pokeren. De sleutelwoorden zijn de ‘kaarten’ die heen en weer worden gespeeld tussen de eindgebruiker en het spelpersonage (Seaman). De meeste gamers zouden het niet beseffen, maar Seaman is een spel met veel push-pull spelelementen op dezelfde manier als poker. Dat heen-en-weer is een drijvende mechaniek van het spel. Net als in SimTower wanneer je een beveiligingskamer in de wolkenkrabber toevoegt, leidt het geven van een ander sleutelwoord aan Seaman tot een geheel nieuw conversatiepad, en dat is misschien wel de eenvoudigste manier om dit concept over te brengen.

Ik bedacht het idee van Seaman op een dag tijdens de lunch. Ik was in gesprek met een ontwikkelaar die samen met mij aan een nieuw Tower-serie spel werkte. We hadden meerdere projecten lopen, en een van de teams werkte aan een simulatiespel waarin je tropische vissen grootbracht in een aquarium. We maakten maar een grapje, maar ik zei: ‘Als ik zo’n spel zou maken, zou ik iets geks doen!’ waarop mijn collega antwoordde: ‘Ja, zoals wat specifiek?’ Ik voelde me alsof ik ter plekke was en snel iets moest zeggen.

‘Ik zou de camera naar de gebruiker laten wijzen en het huisdier in menselijke woorden laten spreken. Zoiets als, ‘Wie was die vrouw die je gisteren hier bracht? Zo’n huisdier zou geweldig zijn. Een andere collega zei: ‘Dat zou echt vreemd zijn,’ waarop ik zei: ‘Ja, vreemd en geweldig!’ Natuurlijk konden we het geen Sea Monkey noemen… we moeten het Seaman noemen! En dat werd de codenaam van het project en de uiteindelijke naam van het spel.

Iedereen lachte om de belachelijkheid van het idee, maar dat weekend vertelde ik het aan mijn vrouw en zij vond het ook vreemd en geweldig. Dus het was een concept dat universeel vreemd was voor mannen en vrouwen. En toen zei ze: ‘Dat is echt een vreemd en ranzig concept, dus je moet het zeker maken!’ En toen realiseerde ik me dat zelfs vrouwen konden genieten en een spel konden waarderen dat vreemd en ranzig was. Die woorden hebben bijgedragen aan mijn beslissing om het spel serieus te gaan maken.”

Over de invloed van virtuele huisdieren uit de jaren ’90 en Shigeru Miyamoto

“Als je zegt dat virtuele huisdieren populair waren in de jaren ’90, neem ik aan dat je Tamagotchi bedoelt, maar ik was niet super geïnteresseerd in die trend. Want, zoals ik al eerder zei, ik hou van complexe simulatiespellen. Hoe complexer het thema, hoe meer het iets is wat nog geen andere maker had gedaan, hoe meer het me interesseerde. Dus ik wilde niet de trend van iemand anders volgen.

De meeste makers van spellen vinden een winnend recept in een populair spel en passen daar een paar elementen of ontwerpstukken, verhaal, enz. aan toe, en noemen dat dan het maken van een spel. Maar ik begrijp die mentaliteit niet. Niet focussen op sequels en iets heel vreemds en nieuws willen maken, of iets dat waarschijnlijk geen geld zal opbrengen, is vrij zeldzaam. Ik heb maar één andere persoon ontmoet die mijn basisgevoel zou kunnen begrijpen en dat is Shigeru Miyamoto van Nintendo.

Miyamoto-san houdt echt van vreemde en afwijkende concepten. Dus terwijl Seaman werd uitgebracht op de Dreamcast, kwamen we achter de schermen heel dicht bij de keuze om het spel te ontwikkelen op de Nintendo 64DD. Rond de tijd dat Seaman werd uitgebracht op Nintendo’s rivaliserende hardware, de Dreamcast, stond Miyamoto zelfs in een tijdschrift met een shirt van Seaman aan. Seaman werd uiteindelijk uitgebracht door Sega, maar Miyamoto was een ongelooflijk belangrijk persoon in het proces om Seaman gemaakt te krijgen, vooral voor iemand als ik met zeer weinig console game-ervaring.

Ook, hoewel Sony’s robothond Aibo rond dezelfde tijd als Seaman werd uitgebracht, werd geen van beide producten beïnvloed door het andere. Toevallig genoeg heb ik wel gesprekken gevoerd over een tweevoetige robot van meerdere bedrijven. Hoewel het 20 jaar geleden is dat Seaman het daglicht zag, maak ik nu een AI-engine die in staat is om te spreken zonder dat daarvoor reeds bestaande scenario’s of tekstreeksen nodig zijn. Het is een lange weg geweest om hier te komen. Het uitvinden hiervan heeft veel tijd gekost en een aanzienlijke hoeveelheid verschillende investeringen opgeslokt, maar als je het mij vraagt is het competities interessanter dan het ontwikkelen van een gewoon spel en zeker spannender.”

Hoe Seaman op de Dreamcast kwam

“Eigenlijk was een man genaamd Irimajiri, die destijds vice-president bij Sega was en later president werd, degene die ertoe leidde dat Seaman op de Dreamcast werd uitgebracht. Een andere maker, Kenji Eno genaamd, vertelde me dat hij iemand had die ik echt wilde ontmoeten en stelde me voor aan Irimajiri.

Toen werd de Dreamcast nog aangeduid met de codenaam Katana en was het een nieuw type spelconsole. Irimajiri was voorheen de president van Honda in de VS en vond dat Sega zich moest richten op nieuwe soorten gamers. Het was de tijd dat Sony koning was en dus besloot ik dat het interessant zou zijn om de marktleider te zijn vanuit een lagere positie en ging ik bij Sega werken. Het was een hele uitdaging om een prototype, gebouwd op Mac, aan te passen aan nieuwe consumenten hardware, maar we slaagden erin om het in ongeveer anderhalf jaar te doen. Het is dankzij al het harde werk van het team toen dat we dit doel konden bereiken.”

Over de Dreamcast hardware

“De Dreamcast microfoon werd ontwikkeld door het Sega periferie team. Ik herinner me dat ze al een prototype hadden draaien. Het overbrengen van een PC-ontwikkeld spel naar een console gaf echter nogal wat problemen. Spellen ontwikkeld voor PC waren gericht op het gebruik van een muis en toetsenbord. In principe zou je je tijd nemen om de meeste PC-gerichte spellen te spelen. Je speelt een paar spelletjes / beurten / rondes op het toetsenbord en de muis en schakelt dan over op het werken met diezelfde invoerapparaten. Het waren spellen waar je gewoon wat tijd aan kon besteden, maar die niet je hele focus vereisten.

Omgekeerd moest je bij consolegames voor de tv gaan zitten met je hele focus op het spel. Je pakte de door elektriciteit aangedreven gamecontroller en zei in feite: “Het is speeltijd!” en werk was niet van plan dat te onderbreken. Je drukte snel op meerdere knoppen, deed verschillende bewegingen en was gefocust op die ervaring. Voor de console-industrie wilden ze spelervaringen met een diepe focus en interactiviteit. Aangezien ons spel op pc was ontwikkeld, pasten onze focus en ervaring niet bij het consoleplatform. We moesten nieuwe manieren van interactie met het spel ontwikkelen die meer acties (knoppen indrukken, etc.) van de eindgebruiker vereisten en dingen om ze constant op het spel te laten focussen tijdens het spelen, wat tot een aantal grote veranderingen in het ontwerp leidde.”

Over het lokaliseren van Seaman in het Engels

“Ik heb Sega of America (SOA) gevraagd om bijna alle lokalisatie voor de Engelse versie van Seaman te verzorgen. De reden hiervoor is dat er een groot cultureel verschil is tussen de verschillende landen en als iemand in Japan je vraagt wat je bloedgroep is, is dat hetzelfde als iemand vragen wat zijn sterrenbeeld is. Dus vertalen alleen zou niet genoeg zijn geweest om een Engelse versie van Seaman te ontwikkelen. Je moest het script zo goed als herschrijven om het te laten werken. SOA kende een derde partij die zeer bedreven was in het herschrijven van scripts, dus richtten ze zich daarop, waardoor ons team zich kon richten op het uitbouwen van het kernsysteem en het spel zonder beperkingen. Het enige voorstel dat ik had was om Leonard Nimoy te gebruiken als de stem voor de gebruikersbegeleiding.

Japans is een zeer genuanceerde, ingewikkelde, op gevoel gebaseerde taal. Het is een taal geweldig voor het nadrukkelijk delen van subjectieve gevoelens, dus Japans echt verbinding maakt met diepe delen van de emoties van een spreker. Aangezien ik geen native speaker van het Engels ben, kan ik geen commentaar geven op de diepe connecties die men kan voelen als men Engels spreekt, maar ik kan wel zeggen dat toen ik de game-vergelijking las tussen Ecco the Dolphin en Seaman in Rolling Stone magazine, het voor mij duidelijk was dat de schrijvers het kernconcept van het spel goed begrepen.”

Over de stand van de spraakherkenningstechnologie op dat moment

“De spraakherkenning-engine die we met Sega in Seaman gebruikten, was in licentie van een Belgisch bedrijf. We gebruikten hun spraakherkenningsengines als gebruikers, niet als makers. Aangezien de geheugengrootte beperkt was in die tijd, was de prestatie van de spraakherkenning volledig anders dan nu. In het bijzonder gebruikten we een functie die navigatie heette. Tegenwoordig heet de gangbare functie dicteren. Wanneer je een gesprek van het navigatietype maakt, moet het van tevoren voorspellen wat de gebruiker waarschijnlijk gaat zeggen en dat als keuze hebben. Als de gebruiker een woord uitspreekt dat geen optie is, krijgt hij een foutmelding. Daarom moet de schrijver van te voren voorspellen wat voor woorden de gebruiker zal zeggen en een conversatie maken die naar een van die woorden leidt. Hierdoor had je een structuur waarin conversaties worden gedaan tijdens het verkennen van intenties. Het was een interessante ervaring die nog niet eerder in een spel was gedaan.”

Over het ontwerpen van het spel rond technische beperkingen

“In die tijd waren er naast Seaman geen andere spellen die spraakconversaties hadden, en zelfs nu niet zo veel, dus het is moeilijk te vergelijken. Maar de spraakherkenningstechnologie zelf evolueert snel op dit moment – als een slimme spelontwerper aan iets zou werken denk ik dat ze een heel interessant spel zouden kunnen maken. Maar als je het hebt over stemherkenning als technologie, is intelligentie vereist wanneer je een bepaalde drempel probeert te overschrijden (zoals bij mensen), niet het gehoorvermogen. Met andere woorden, wat onontbeerlijk is, is niet de stemherkenningstechnologie, maar eerder het begrip van kunstmatige intelligentie. De snelheid van de vooruitgang van AI is echt snel op dit moment, dus ik denk dat het een leuke tijd is.

Terugkomend op het onderwerp, ik was in staat om de ontwikkeling van Seaman te voltooien specifiek vanwege de limiet in de technologie. Als die er niet was geweest, had ik het nooit afgemaakt. Zoals ik al eerder zei, bij het brengen van een spel bedacht op een PC naar de consument, is er een groot verschil in de omgeving genaamd tijdsdichtheid. Hoe dat te overwinnen testte mijn wijsheid, zou je kunnen zeggen.”

Over de persoonlijkheid van Seaman

“De reden dat Seaman’s persoonlijkheid en achtergrond zo onderscheidend zijn is omdat het mijn filosofische idee bevat, niet een specifieke boodschap. Aan het begin van het Seaman-project besloot ik vastbesloten dat het in drie opzichten het tegenovergestelde zou zijn van conventionele games:

• Het zou niet schattig zijn
• Het zou in de wereld van de gamer kijken van binnenin de TV
• Het gespreksthema zou alledaagse dingen zijn, geen fantasiewereld

Ik was ervan overtuigd dat als ik trouw bleef aan deze drie aspecten het totaal anders zou uitpakken dan elk ander spel – iets anders, niet vaak gezien. Dit was mijn strategie en waar ik nog steeds naar streef, zelfs nu.”

Op de reactie op Seaman

“De reactie op de release van Seaman in Japan was veel groter dan in de Verenigde Staten. Het werd een sociaal fenomeen, zoals komieken die in Japanse tv-shows Seaman-kostuums imiteerden en droegen, of het nieuws dat zei: ‘Games zijn zo geëvolueerd!’

Teruggrijpend op mijn persoonlijke filosofie, wanneer een Japanse maker een wereld in het Japans creëert voor Japanse gebruikers die een grote impact heeft, is het sociale fenomeen dat het verschillende media en de samenleving aantrekt. In de Verenigde Staten was het fenomeen als, ‘Een relatief zeldzaam spel is uitgekomen. Het is voor Sega’s nieuwe hardware die ze hebben gepusht in de console-oorlogen.’ Dus ik denk dat de herkenning heel anders is.

Na 20 jaar, zie ik huidige artiesten op TV in Japan nog steeds praten over Seaman. Ze zeiden dat het kwam omdat het een grote impact op hen had toen ze kinderen waren. Ze maakten grapjes en zeiden: ‘Seaman traumatiseerde me in mijn vroege jeugd.’ Als maker is dit een grote eer.”

Over SeaMail, de Windows desktop spinoff

“SeaMail is een soort prototype op een veelzijdiger PC-platform dat iets ingewikkeldere woorden uitwisselt. Door budgetbeperkingen is het niet erg ver gekomen, maar het was een zeer ambitieuze poging. Seaman leeft dus, in tegenstelling tot de gebruiker, in de desktopwereld van een polyvalente PC en kijkt naar de inhoud van de e-mails van de gebruiker, de frequentie van de interactie met specifieke mensen, en opmerkingen over de relatie van de gebruiker met anderen. Het lijkt veel op de huidige Siri. Deze kennis bestaat in de kunstmatige conversatie-engine waar ik nu aan werk.”

Over het gebruik van de microfoon in Odama

“Het doel van de microfoon in Odama is heel anders dan in Zeeman. Odama is een spel dat een gevecht van soldaten simuleert. Ik was geïnteresseerd in deze zogenaamde ‘samoerai-menigte’. De reden voor de microfoon was dat beide handen van de gebruiker in beslag worden genomen door de flipper. De stem werd voor niets anders gebruikt dan het geven van commando’s. Ik was ook gemotiveerd om het te gebruiken omdat ik het gevoel wilde nabootsen van een generaal die bevelen geeft aan een troep soldaten in feodale gevechten. Ik wilde dat het aanvoelde als een voetbaltrainer die bevelen geeft als ‘duwen’ en ‘naar rechts’. Dat is het.

Voor mij was Odama het grootste meesterwerk in mijn leven, maar de lancering werd keer op keer uitgesteld. Ik denk dat ik Nintendo echt geïrriteerd heb. De programmeurs in die tijd hadden geen idee over het besturen van mensenmassa’s met autonome robots of kunstmatige intelligentie, dus de ontwikkeling werd behoorlijk teruggezet.”

Over de huidige AI en voice assistant tech

“Kunstmatige intelligentie is op dit moment in een zeer vergevorderd stadium, maar de methode van conversatie binnen het Japans is in 20 jaar niet veranderd. Seaman was een spel waarbij de planner vooraf bestaande scenario’s schreef en de mensen genoten van hoe die uitspeelden.

Eindeloze conversatie was onmogelijk. Dus, ik ben niet langer geïnteresseerd in dat project. De scenario’s kunnen maar twee of vier keer zo groot worden vergeleken met het vorige spel. Daarom ben ik het Kunstmatige Intelligentie Laboratorium begonnen om een motor te maken die blijft praten, zelfs zonder scenario’s. Als we deze engine kunnen voltooien, beginnen we met de ontwikkeling van een ‘Zeeman zonder einde in scenario.’ Het nieuwe zal zijn dat de stem van de Zeeman ter plekke, in real time, wordt gegenereerd en uitgesproken, en niet een vooraf opgenomen stem. Dit vereist veel inventiviteit, maar op dit moment beginnen we net het licht aan het eind van de tunnel te zien.

Japans is een zeer eigenaardige taal in die zin dat het een degelijke grammatica lijkt te hebben, maar dat eigenlijk niet doet. Nou, eigenlijk is het niet juist om te zeggen dat het dat niet heeft. De Japanse grammatica die we in schoolboeken hebben geleerd, is sterk vervreemd van het Japans dat we in gesprekken gebruiken, en dat is geen echte grammatica. Deze divergentie en tegenstrijdigheid is decennia lang genegeerd. Het was niet nodig om zoiets kostbaars te doen als een nieuwe grammatica affixeren. In het Japans zijn er twee of drie onderwerpen. De SVOC-stijl die na de oorlog door de Verenigde Staten werd voorgesteld, is echter in gebruik geraakt. Taalkundigen hebben hier lang voor gepleit, maar geen van hen, die het bij het schrijven van proefschriften houdt, heeft een AI-engine gemaakt en getracht te bewijzen dat hun hypothese juist is.

En nu is het tijdperk van de conversatie-engines aangebroken. Het was misschien niet nodig de grammatica te herdefiniëren voor scholen, maar het is wel nodig het Japans logisch te herdefiniëren om een robot te laten spreken. Dus daar hebben we aan gewerkt.

Het is moeilijk geweest. Trial and error, aan en uit voor ongeveer 10 jaar. Toen ik de grammatica veranderde in twee of drie onderwerpen door digitalisering en symbolen, begon ik te slagen. Mijn ervaring met de ontwikkeling van Seaman en met nuance in het stemacteren hielp dit mogelijk te maken – vooral het feit dat de betekenis van een woord verandert afhankelijk van hoe ‘melodie’ wordt toegepast. We hebben gemerkt dat de Japanse grammatica zich in melodieën bevindt, niet in letters. Dit was niet duidelijk in het tijdperk van papier en pen. Ik had dit over het hoofd gezien als nuance, terwijl het in feite een pijler van de Japanse grammatica is geweest, en als de stemacteur van de Seaman-serie werd ik me bewust van dit begrip en besloot ik een melodieherkenningsengine te ontwikkelen.”

Over huidige projecten

“Op dit moment ben ik bezig met het maken van een conversatie-engine die blijft praten, zelfs als er geen scenario is. Daartoe hebben we een organisatie opgericht die het ‘Zeeman Kunstmatige Intelligentie Laboratorium’ heet. Als deze motor klaar is, denk ik dat de spraakherkenning in gesprekken sterk zal veranderen.

Ik verwacht dat er over ongeveer een half jaar een pratend robotproduct in Japan op de markt komt. Als het balletje eenmaal gaat rollen, wil ik deze motor in licentie geven aan veel machines en een tijdperk creëren waarin in Japan gemaakte magnetrons, auto’s, camera’s en robots vloeiend spreken. We kijken er naar uit om dit te zien gebeuren en zijn op zoek naar mensen en investeerders die ons willen helpen met Engels. Een Engelse site is nog in voorbereiding, maar u kunt contact opnemen met de website: www.seaman.ai.”

Bekijk alle verhalen in Gaming