Tesla-Hacker zeigt, wie Autopilot und neuronale Netze die Umgebung sehen

von Moritz Kopp | 07. Juli 2021 | Tesla-Software, Rund um Tesla

Einem Hacker ist es gelungen, Teslas neuronales Netz für die Tiefenwahrnehmung aus einem Auto mit „Full Self-Driving“-Paket zu extrahieren.

In der Darstellung ist zu sehen, wie das Fahrzeug Tiefe mit einer Punktwolkenansicht erkennt, die durch Computer Vision angetrieben wird.

Tesla setzt auf Kameras statt Sensoren

Der E-Auto-Pionier aus Kalifornien hat vor Kurzem damit begonnen, sich von Radarsensoren zu entfernen, der für die Tiefenerkennung nützlich ist. Stattdessen verlässt sich der Autohersteller nur auf kamerabasierte Computer Vision.

Dies ist ein ganz anderer Ansatz als der Rest der Branche nutzt. Hier sind nicht nur Radar-, sondern auch Lidar-Sensoren gängig.

Tesla-Chef Elon Musk behauptet, dass Kameras und neuronale Netze der Schlüssel zum selbstfahrenden Fahren sind.

Laute Electrek kommentierte er dies im letzten Monat (aus dem Englischen übersetzt):

„Das gesamte Straßensystem ist darauf ausgelegt, mit optischen Bildgebern (Augen) und neuronalen Netzen (Gehirn) zu arbeiten. Deshalb sind Kameras und neuronale Netze aus Silizium die Lösung.“

Eines der Probleme mit dem fehlenden Radar ist, dass es die Tiefenwahrnehmung erschwert, wofür Radar sehr gut ist. Der US-Autobauer plant, die Tiefe mit einer Punktwolkenansicht zu erkennen, die von den Kameras und neuronalen Netzen erzeugt wird.

Tesla-Hacker zeigt visuell Wahrnehmung von Software

Der bekannte Hacker Green hat es geschafft, mit Root-Zugriff auf die Tesla-Software in den Fahrzeugen Zugriff zu bekommen und das neuronale Netz zur Tiefenwahrnehmung aufzunehmen:

A whopping 160×120 grid (so 1/8th of the native camera resolution) but hey those are actual 3D points in space. I don't know how to make a 3D video, so just visualizing "distance" as "brighter = closer" on the scale of 5 to 62 meters (the actual limit of the output): pic.twitter.com/1XFa5JwOft
— green (@greentheonly) July 7, 2021

Wie Green erwähnte, könnte dieses neuronale Netz tatsächlich eine 3D-Ansicht der Umgebung des Fahrzeugs erzeugen.

Allerdings ist die Auflösung nicht so hoch wie von Tesla in einer früheren Präsentation gezeigt wurde.

Green merkte an, dass dieses neuronale Netz nur mit der nach vorne gerichteten Hauptkamera läuft, die eine von drei Frontkameras und eine von insgesamt acht Kameras ist.

Dieses neuronale Netz sollte bald mehr Tesla-Fahrzeuge erreichen, da der Autohersteller sein FSD-Beta-Rollout mit der Veröffentlichung des FSD-Beta-v9-Software-Updates voraussichtlich auf mehr Fahrzeuge ausweiten wird.