Op 20 november heeft de National Transportation Safety Board (NTSB) de resultaten vrijgegeven van zijn onderzoek naar de fatale Uber-crash van 2018 in Tempe, Arizona, waarvan algemeen werd aangenomen dat het ’s werelds eerste dode door een zelfrijdende auto was.
Maar in plaats van de robotauto van Uber in de boeien te slaan, benadrukten onderzoekers in plaats daarvan de vele menselijke fouten die culmineerden in de dood van de 49-jarige Elaine Herzberg. En ze klonken een waarschuwing: het kan opnieuw gebeuren.
“Als uw bedrijf geautomatiseerde rijsystemen test op de openbare weg, deze crash, het ging over u,” NTSB-voorzitter Robert Sumwalt zei in zijn openingsverklaring van de hoorzitting gisteren.
Toen de raad zijn bevindingen over de waarschijnlijke oorzaak van de crash in Tempe voorlas, was de eerste persoon die de schuld kreeg Rafaela Vasquez, de veiligheidsbestuurder in het voertuig op het moment van de crash. Vasquez werd nooit bij naam genoemd, maar haar falen als waakhond voor het geautomatiseerde rijsysteem werd door de NTSB scherp in beeld gebracht.
In de minuten voor de botsing was Vasquez naar verluidt een aflevering van The Voice aan het streamen op haar telefoon, wat in strijd is met het beleid van Uber dat telefoongebruik verbiedt. Onderzoekers stelden vast dat ze meer dan een derde van de tijd dat ze in de auto zat, tot het moment van het ongeluk, een blik op haar telefoon wierp en niet op de weg lette.
Het falen van Vasquez “om de rijomgeving en de werking van het geautomatiseerde rijsysteem in de gaten te houden, omdat ze tijdens de hele rit visueel werd afgeleid door haar persoonlijke mobiele telefoon” werd aangehaald als de belangrijkste oorzaak van het ongeluk. Maar ze deelt de schuld met haar werkgevers bij Uber, waar een jammerlijk ontoereikende veiligheidscultuur ook heeft bijgedragen tot de dood van Herzberg, aldus de raad. Evenzo droeg de federale overheid ook haar deel van de verantwoordelijkheid voor het falen om autonome auto-operaties beter te reguleren.
“Naar mijn mening hebben ze hier technologische vooruitgang boven het redden van levens gesteld,” zei NTSB-bestuurslid Jennifer Homendy over de National Highway Traffic Safety Administration (NHTSA), die verantwoordelijk is voor het reguleren van veiligheidsnormen voor voertuigen.
Op het moment van de crash had Uber’s Advanced Technologies Group geen bedrijfsveiligheidsplan of leidend document dat individuele werknemersrollen en verantwoordelijkheden identificeerde om de veiligheid te beheren, zei Michael Fox, senior snelwegongevallenonderzoeker bij de NTSB. Het bedrijf had ook geen veiligheidsdivisie en had geen speciale veiligheidsmanager die verantwoordelijk was voor risicobeoordeling en -beperking. In de weken voor het ongeluk nam Uber de noodlottige beslissing om het aantal veiligheidsbestuurders in elk voertuig terug te brengen van twee naar één. Dat besluit verwijderde belangrijke redundantie die de dood van Herzberg had kunnen helpen voorkomen.
Niet alleen was Vasquez op dat moment alleen in de auto, maar haar zelfgenoegzame houding over het geautomatiseerde rijsysteem van de auto droeg ook bij aan de crash. En die houding was jammerlijk misplaatst. De auto detecteerde dat Herzberg de straat overstak met haar fiets 5,6 seconden voor de botsing. Maar hoewel het systeem Herzberg tot aan de botsing bleef volgen, heeft het haar nooit correct geïdentificeerd als een mens op de weg, noch heeft het haar pad nauwkeurig voorspeld.
“Automatisering zelfgenoegzaamheid… moet in ieders vocabulaire staan,” zei Bruce Landsberg, een bestuurslid van de NTSB.
Vasquez was zich totaal niet bewust van dit conflict totdat het te laat was. Een van de impliciete lessen van de Uber-crash en het daaropvolgende NTSB-onderzoek is de onderbenutting van veiligheidsbestuurders in zelfrijdende auto’s, zei Mary “Missy” Cummings, directeur van Humans and Autonomy Lab aan de Duke University. Uber en andere bedrijven die testen zelf rijden auto’s meestal huren onafhankelijke contractanten als veiligheid chauffeurs om rond te rijden in de auto’s en kilometers te genereren. Ze worden gezien als niet veel meer dan lichamen op stoelen. In plaats daarvan moeten ze worden gezien als kritische partners in een testprotocol dat zeer nuttige feedback kan geven, zei Cummings.
“Natuurlijk, dit zou geld kosten,” zei ze. “Ondanks ieders lippendienst dat veiligheid voorop staat, ondersteunt niemand die ik ken veiligheidsbestuurders op deze manier.”
Ubers agressieve bedrijfscultuur – de noodzaak om autonome voertuigen te testen, ook al was de technologie nog niet klaar – is niet alleen blootgelegd door dit onderzoek, maar ook door de rechtszaak van Waymo, het zelfrijdende bedrijf dat is voortgekomen uit Google, dat Uber beschuldigt van het stelen van zijn handelsgeheimen op het gebied van zelfrijden.
“De chauffeur had één kans om haar leven te redden,” vertelde een voormalige Uber ATG-werknemer die bij het bedrijf was op het moment van de crash, aan The Verge, “maar Uber had er tientallen.”
Uber ATG stond onder enorme druk om resultaten te laten zien aan de nieuwe CEO, Dara Khosrowshahi, die naar verluidt overwoog om de divisie te sluiten vanwege stijgende R&D-kosten. Dat leidde hen om hoeken te snijden, hoewel het bedrijf sindsdien aanzienlijke stappen heeft gezet om die fouten aan te pakken.
De bestuursleden van de NTSB bewaarden hun meest verzengende beoordelingen voor de federale overheid. Homendy verweet de NHTSA voorrang te geven aan technologische vooruitgang boven het redden van levens, en ze noemde de vrijwillige richtlijnen van het agentschap zo “laks” dat ze “lachwekkend” waren.
De vrijwillige veiligheidsrichtlijnen werden voor het eerst vastgesteld onder president Obama, die vreesde dat restrictieve regels voor het testen van zelfrijdende auto’s de innovatie zouden kunnen verstikken. Die regels zijn nog lakser gemaakt onder president Trump, die nog verder ging door een federaal all-star comité voor automatisering van voertuigen te elimineren dat bedoeld was om te dienen als een “kritieke bron” voor het ministerie van Vervoer. Trump schrapte de commissie zonder het zelfs aan sommige van haar leden te vertellen, The Verge rapporteerde onlangs.
Tot nu toe hebben slechts 16 bedrijven vrijwillige veiligheidsrapporten ingediend bij de NHTSA, waarvan er veel niet veel meer zijn dan “marketingbrochures”, zei Ensar Becic, projectmanager en onderzoeker van menselijke prestaties in het Office of Highway Safety. Dat vertegenwoordigt slechts een fractie van de meer dan 60 bedrijven die alleen al in Californië zelfrijdende auto’s testen.
“Ik bedoel dat je net zo goed kunt zeggen dat we uw beoordelingen zouden willen, maar we vereisen het echt niet,” zei Homendy tijdens de hoorzitting. “Dus waarom zou je het doen?”
Het Department of Transportation heeft drie versies van zijn veiligheidsrichtlijnen voor geautomatiseerde voertuigen uitgegeven, en het is van plan een vierde versie uit te brengen waarin de lessen uit de Tempe-botsing zijn verwerkt, zei Joel Szabat, waarnemend ondersecretaris van beleid bij het Department of Transportation, tijdens een hoorzitting van de Senaat op 20 november. (Het oorspronkelijke document heet “Automated Driving Systems: A Vision for Safety.” “Ze zouden het moeten hernoemen tot ‘A Vision for Lack of Safety,'” grapte Homendy.)
Tot op de dag van vandaag zijn er geen federale wetten die AV-exploitanten verplichten om de veiligheid van hun voertuigen aan te tonen voordat ze ze op de openbare weg testen of gegevens te verstrekken over ontkoppelingen of storingen in hun geautomatiseerde rijsystemen. De enige rol van de overheid is reactief: om een onderdeel terug te roepen als het defect is of een onderzoek te starten in het geval van een crash.
In zijn eindrapport beveelt de NTSB aan dat te veranderen. AV-exploitanten moeten worden verplicht, niet aangemoedigd, om veiligheidsbeoordelingen in te dienen als ze hun voertuigen op de openbare weg willen testen, stelt de NTSB, en er moet een proces zijn voor voortdurende evaluatie om te bepalen of AV-exploitanten zich aan hun veiligheidsdoelen houden.
Maar de dag nadat het rapport werd vrijgegeven, getuigde de hoogste beheerder van de NHTSA tijdens een hoorzitting van de Senaat dat het Congres een wet moet aannemen om de inzet van volledig zelfrijdende auto’s te versnellen die traditionele bedieningselementen zoals stuurwielen en pedalen ontberen. Momenteel mag het agentschap slechts in totaal 25.000 voertuigen per jaar vrijstellen van federale veiligheidsnormen voor motorvoertuigen.
“Zoals we van de industrie horen, is die limiet misschien te klein,” zei NHTSA-waarnemend beheerder James Owens.
De vorige poging om de beperkingen van auto’s zonder menselijke bediening op te heffen, mislukte. Democraten in de Senaat blokkeerde het wetsvoorstel, onder verwijzing naar onvoldoende maatregelen om de veiligheid te garanderen. Een tweede poging is in de maak, maar het valt nog te bezien of het genoeg stemmen kan verzamelen om te slagen.
Overmatig beperkende federale regelgeving in dit stadium van een snel veranderende technologie zal zeer waarschijnlijk aanzienlijk meer kwaad dan goed veroorzaken, zei Raj Rajkumar, een professor in elektrische en computertechniek aan de Carnegie Mellon University. “Alleen omdat Uber en hun operator zich toen slecht gedroegen, moet iedereen niet worden gestraft,” zei hij.
Autonome voertuigen worden verondersteld levens te redden, niet ze te nemen. En als mensen geen vertrouwen hebben in de bedrijven die de technologie bouwen, dan zal het levensreddende potentieel van zelfrijdende auto’s nooit werkelijkheid worden. De auto’s zullen leeg en onderbenut door de straten zwerven, totdat de bestuurders de stekker eruit trekken.
Opiniepeilingen tonen aan dat de helft van de Amerikaanse volwassenen denkt dat geautomatiseerde voertuigen gevaarlijker zijn dan traditionele voertuigen die door mensen worden bestuurd. De meningen zijn al aan het verharden, en het is onduidelijk wat er kan worden gedaan om de schade ongedaan te maken die de Uber-crash al heeft veroorzaakt.