Welcome to Tesla Motors Club
Discuss Tesla's Model S, Model 3, Model X, Model Y, Cybertruck, Roadster and More.
Register

Nieuws over aankomende 3D-Autopilot

This site may earn commission on affiliate links.
Voor het einde van het jaar zou er een volledig herschreven autopilot moeten verschijnen, die de data 3D verwerkt. Daarom wordt ie al "3D-Autopilot" genoemd door verschillende blogs en nieuwssites. De vorige grote stap was van meerdere neurale netwerken die elke camera apart behandelden tot 1 grote, maar behandelde de data blijkbaar meer 2D. Wat ik begreep is dat de diepte-perceptie nu vooraf gebeurt voordat de neurale netwerken bezig gaan, ipv diepte-data apart aan te bieden.

Elon zegt dat de 3D-versie nog steeds dit jaar zal verschijnen.

Een maand geleden was er overal hetzelfde nieuws over deze versie, zoals in Tesla poised to roll out speed limit recognition and roundabout support worldwide
Voorstel om in dit draadje al het nieuws over 3DAP bij te houden.
 
De vorige grote stap was van meerdere neurale netwerken die elke camera apart behandelden tot 1 grote, maar behandelde de data blijkbaar meer 2D.

Er loopt op verschillende blogs en nieuwssites ook een discussie over wat Tesla werkelijk aan data verwerkt met zijn veel gehypte neurale netwerk. Er blijkt helemaal geen bandbreedte en ook geen servercapaciteit aanwezig te zijn bij Tesla waarmee het door Tesla-religieuzen aanbeden neurale netwerk door de huidige vloot zou worden gevoed met data uit de camera’s.

zie ook Why deep learning won’t give us level 5 self-driving cars

Is Elon Musk wrong about LiDAR? We put the two self driving methods to the test.
 
Last edited:
672B5BC5-4EE9-45D1-873B-A18E6BE819FD.gif


uit het 2e artikel hierboven:
In 2D a few pixels of inaccuracy between the LiDAR + Camera annotation (white) and the Camera-only annotation (orange) becomes a much larger error when projected into 3D.
 
Als deze Autopilot er al komt hebben we ook nog de regeltjes in de EU, dus ik heb weinig hoop.

Ik ben sowieso al erg skeptisch over Full Self Driving. Neem even het woord 'Full' goed in je op. Wat betekend Full nu écht? Ik maak elke keer dat ik auto rijd wel een situatie mee waar menselijk inzicht nodig is.

Al te lang hoor ik mooie verhalen over FULL Self Driving en al te lang ben ik teleurgesteld. Ik heb weinig hoop.

Prachtig nog een keer een rewrite van alle code, maar geef mij nou maar gewoon die FSD zodra het klaar is.
 
Ik denk dat een autopilot door onze generatie nooit als ‘goed genoeg’ zal beschouwd worden.
AP moet een zekerheid van 100% inbouwen. Wij mensen rijden continu met een zekerheid van 99,999%. We vinden dat voldoende. Als een AP in 1 op de honderdduizend gevallen zou falen, dan zou hij dagelijks verantwoordelijk zijn voor ongevallen. Mensen zijn dat ook, maar we aanvaarden dat 1 op de honderdduizend wagens dagelijks schade oploopt door een menselijke fout (pin mij niet vast op absolute cijfers)
ik geef een voorbeeld:
Op de autoweg nader ik heel traag een voorligger, met druk verkeer in alle rijstroken. AP houdt de veiligheidsafstand van 10-tallen meter (100% zekerheid). De voorligger zou ineens vol in de remmen kunnen gaan.
Als ik wil inhalen via AP, moet ik voor het bereiken van die veiligheidsafstand naar het linkse vak en hou ik gedurende gans die veiligheidsafstand het achterliggende snellere verkeer op en ben ik een assh*l*.
Dus, ik bedien bedien voor het inhalen de wattpedaal en doorbreek de veiligheidsafstand totdat ik de voorligger zo dicht genaderd ben dat ik minimaal het verkeer in het linkervak ophoud en ik niet als asociaal gezien wordt. Ik weet immers dat mijn voorligger niet vol in de remmen gaat. Ik ben wel niet 100% zeker, wel voor mij aanvaardbaar zeker.
 
Als deze Autopilot er al komt hebben we ook nog de regeltjes in de EU, dus ik heb weinig hoop.

Ik ben sowieso al erg skeptisch over Full Self Driving. Neem even het woord 'Full' goed in je op. Wat betekend Full nu écht? Ik maak elke keer dat ik auto rijd wel een situatie mee waar menselijk inzicht nodig is.

Al te lang hoor ik mooie verhalen over FULL Self Driving en al te lang ben ik teleurgesteld. Ik heb weinig hoop.

Prachtig nog een keer een rewrite van alle code, maar geef mij nou maar gewoon die FSD zodra het klaar is.
Er zal een soort 'examen' moeten komen waarin een auto per weg slaag. Snelwegen, afritten, n-wegen etc. En alleen bij normaal weer beschikbaar. Althans dat is wat ik denk. Misschien in 5-10 jaar?

Op slecht ingerichte wegen lijkt me een moeilijk verhaal. Maar goed al het er dan toch komt zal degenen met de meest data moeten winnen, en dan kom je nu toch bij Tesla uit.

Al heb je shuttlebusjes die van carpool naar carpool langs de snelweg en N-weg kunnen rijden, dan is het natuurlijk nog steeds nuttig.
 
uit het 2e artikel hierboven:
In 2D a few pixels of inaccuracy between the LiDAR + Camera annotation (white) and the Camera-only annotation (orange) becomes a much larger error when projected into 3D.

Wat ik ervan begrijp is dat de uitdaging toch vooral zit in het interpreteren van de waarnemingen. Niet het doen van de waarnemingen zelf. Daar gaat zeker nog wel eens wat mis (witte vrachtwagens). Maar de systemen met lidar, die de waarnemingen wellicht nog beter doen, maken de interpretatie niet perse makkelijke. Een grove abstractie van de werkelijkheid moet voldoende zijn. Die missende pixels komen bij 4D een microseconde later wel.
 
  • Informative
Reactions: BMW740iL
Ik ben sowieso al erg skeptisch over Full Self Driving. Neem even het woord 'Full' goed in je op. Wat betekend Full nu écht? Ik maak elke keer dat ik auto rijd wel een situatie mee waar menselijk inzicht nodig is.
FSD is inderdaad erg verregaand, maar op korte termijn zou ik een level 3 op de snelweg al erg aangenaam vinden en zo onmogelijk lijkt me dat niet meer.

Dan nog is er het verschil in rijstijl tussen hoe mensen rijden, en hoe een gemiddelde level 4 dat doet. Ik denk dat er een hele hoop mensen geconfronteerd gaan worden met hoe vlot hun eigen rijstijl is.
 
  • Like
Reactions: Phil V
Zag net Tesla Smart Summon patent highlights progress in 3D labeling for full self-driving features over een bespreking van een patent die in de 3D/4D update moet zitten.

Hier een beetje info over het trainen van die nieuwe 3D/4D data (wat niet in de auto gebeurt, maar op de servers van Tesla): Tesla's Elon Musk details Dojo, Autopilot's 4D training program

In https://twitter.com/elonmusk/status/1294374864657162240 spreekt Elon over tweede helft van september voor limited(!) release van enkele features. Dat is dan 2020.36 of 2020.40. Dus dat wordt 2020.44 op z'n vroegst voor ons :)
 
View attachment 577709

uit het 2e artikel hierboven:
In 2D a few pixels of inaccuracy between the LiDAR + Camera annotation (white) and the Camera-only annotation (orange) becomes a much larger error when projected into 3D.
Dat artikel komt wel van een producent van WC-Eend he.

Ik zie het probleem niet zo - dus ok vision-based modeling schat gemiddeld genomen anders voertuigen te groot in aan de 'occluded side'. Lijkt me prima, daar rij ik zelf niet, en sowieso liever te groot dan te klein.

De hele Lidar-discussie vind ik sowieso maar altijd curieus, ik heb er zelf nogal wat over gefilosofeerd en ik ben het eigenlijk helemaal met Musk (en intussen ook vele andere vakexperts) eens dat het niets toevoegt.

Allereerst: Lidar ziet geen road markings, dus het helpt je niets in situaties met slecht zicht. Geen vision = geen idee waar de weg en zijn strepen zijn. Geen toegevoegde waarde Lidar op dat punt.
Tweeds: Lidar ziet alleen DAT er iets is, niet WAT er is. Dus een klein object op de weg voor je ziet hij geen verschil tussen een paar bladeren en en grote steen. Zonder vision kan ie alleen een noodstop maken. Vision kan prima uit zichzelf een noodstop maken als ie iets niet afdoende zeker weet (phantom brakes noemen we dat al jaren). Lidar voegt dus niets toe aan algemene omgevingsbeoordeling.
Derds: dat vision marginaal minder precies is dan Lidar in bounding boxes van objecten om ons heen is bekend. Op de zichtbare vlakken in de rijrichting is dat minimaal als ook getoond in dit filmpje. En op de afstanden waarop dat boeit hebben we 8 ultrasoon sensoren met sub-centimeter precisie. Lidar voegt dus niets toe aan close proximity situaties.
Vierds: Lidar ziet alleen de vorm van objecten, en kan daarop niet inschatten welke kant ze op gaan bewegen, richtingaanwijzers herkennen, een fietser die over een schouder kijkt etc. etc. Een auto is een blob aan punten zonder voor- of achterkant, zonder lichten, zonder wat dan ook. Wat ons terugbrengt op dat Lidar geen echt nuttige data geeft zonder dat vision er de nuttige details bij geeft, wat het zonder Lidar ook kan.

Dus tja nee, ik snap dat er jarenlang op Lidar is gefocust, maar nu duidelijker is wat heftige image analysis kan (dat kon het 10 jaar geleden nog pertinent niet!) is inmiddels denk ik wel bewezen dat Lidar hoogstens enige toegevoegde waarde heeft terwijl vision-based systemen beter worden getraind. Een kruk om mee te leren lopen dus, die gooi je ook weg zodra je het zelfstandig kunt. Vandaar, "Lidar is a crutch".

Laten we ook vooral niet vergeten dat met stereoscopic view het hele dierenrijk prima 3D kan zien voor "dagelijks gebruik". Dat kan een computer net zo goed als je zoals een Tesla meerdere beelden door de tijd heen vanaf een bewegende oorsprong analyseert: https://twitter.com/Tesla/status/1120815737654767616. De precisie van Lidar hebben wij niet nodig om veilig in een auto te rijden, omdat we niet doorlopend met 3mm marge tussen 2 muren willen racen. We willen veilig op een weg blijven rijden waar we links en rechts 20 tot 50cm ruimte is en we een paar meter afstand houden.

Ik heb deze discussie al met heel veel mensen gevoerd, ook met bijzonder slimme mensen hier op de TU Eindhoven die er hun vak van maken. Tot op heden is niemand erin geslaagd om een concreet real world voorbeeld te geven waar de toegevoegde precisie van Lidar ook echt NUTTIG is. Surprise me.
 
Dat artikel komt wel van een producent van WC-Eend he.

Ik zie het probleem niet zo - dus ok vision-based modeling schat gemiddeld genomen anders voertuigen te groot in aan de 'occluded side'. Lijkt me prima, daar rij ik zelf niet, en sowieso liever te groot dan te klein.

De hele Lidar-discussie vind ik sowieso maar altijd curieus, ik heb er zelf nogal wat over gefilosofeerd en ik ben het eigenlijk helemaal met Musk (en intussen ook vele andere vakexperts) eens dat het niets toevoegt.

Allereerst: Lidar ziet geen road markings, dus het helpt je niets in situaties met slecht zicht. Geen vision = geen idee waar de weg en zijn strepen zijn. Geen toegevoegde waarde Lidar op dat punt.
Tweeds: Lidar ziet alleen DAT er iets is, niet WAT er is. Dus een klein object op de weg voor je ziet hij geen verschil tussen een paar bladeren en en grote steen. Zonder vision kan ie alleen een noodstop maken. Vision kan prima uit zichzelf een noodstop maken als ie iets niet afdoende zeker weet (phantom brakes noemen we dat al jaren). Lidar voegt dus niets toe aan algemene omgevingsbeoordeling.
Derds: dat vision marginaal minder precies is dan Lidar in bounding boxes van objecten om ons heen is bekend. Op de zichtbare vlakken in de rijrichting is dat minimaal als ook getoond in dit filmpje. En op de afstanden waarop dat boeit hebben we 8 ultrasoon sensoren met sub-centimeter precisie. Lidar voegt dus niets toe aan close proximity situaties.
Vierds: Lidar ziet alleen de vorm van objecten, en kan daarop niet inschatten welke kant ze op gaan bewegen, richtingaanwijzers herkennen, een fietser die over een schouder kijkt etc. etc. Een auto is een blob aan punten zonder voor- of achterkant, zonder lichten, zonder wat dan ook. Wat ons terugbrengt op dat Lidar geen echt nuttige data geeft zonder dat vision er de nuttige details bij geeft, wat het zonder Lidar ook kan.

Dus tja nee, ik snap dat er jarenlang op Lidar is gefocust, maar nu duidelijker is wat heftige image analysis kan (dat kon het 10 jaar geleden nog pertinent niet!) is inmiddels denk ik wel bewezen dat Lidar hoogstens enige toegevoegde waarde heeft terwijl vision-based systemen beter worden getraind. Een kruk om mee te leren lopen dus, die gooi je ook weg zodra je het zelfstandig kunt. Vandaar, "Lidar is a crutch".

Laten we ook vooral niet vergeten dat met stereoscopic view het hele dierenrijk prima 3D kan zien voor "dagelijks gebruik". Dat kan een computer net zo goed als je zoals een Tesla meerdere beelden door de tijd heen vanaf een bewegende oorsprong analyseert: https://twitter.com/Tesla/status/1120815737654767616. De precisie van Lidar hebben wij niet nodig om veilig in een auto te rijden, omdat we niet doorlopend met 3mm marge tussen 2 muren willen racen. We willen veilig op een weg blijven rijden waar we links en rechts 20 tot 50cm ruimte is en we een paar meter afstand houden.

Ik heb deze discussie al met heel veel mensen gevoerd, ook met bijzonder slimme mensen hier op de TU Eindhoven die er hun vak van maken. Tot op heden is niemand erin geslaagd om een concreet real world voorbeeld te geven waar de toegevoegde precisie van Lidar ook echt NUTTIG is. Surprise me.
Ik vind het een feest om jouw inhoudelijke betoog te lezen. Waar voor dank. Ik zie dat Tesla met camera techniek nu na 5 jaar ontwikkeling:
- auto’s op volle snelheid tegen vaste objecten laat rijden
- kleine objecten (kinderen) dichtbij als grote objecten (volwassenen) verder weg ziet

Als de camera only techniek zo superieur is waarom faalt Tesla hier na 5 jaar nog op?
 
Ik vind het een feest om jouw inhoudelijke betoog te lezen. Waar voor dank. Ik zie dat Tesla met camera techniek nu na 5 jaar ontwikkeling:
- auto’s op volle snelheid tegen vaste objecten laat rijden
- kleine objecten (kinderen) dichtbij als grote objecten (volwassenen) verder weg ziet

Als de camera only techniek zo superieur is waarom faalt Tesla hier na 5 jaar nog op?

Om false positive's te vermijden, worden stilstaande objecten momenteel boven een snelheid van 70km/u niet waargenomen/de opdracht gegeven om dit te negeren.

Waarom faalt elk ander automerk hier na 50 jaar nog op? Of 10 jaar na de eerste implementatie hier nog op? Zelfs Volvo, HET automerk dat focust op veiligheid krijgt het niet beter. Trouwens, daar werkt het systeem maar met een snelheid tot 50km/u.

Misschien eens tijd dat je zelf leert om na te denken en met opzoekwerk te doen, in plaats van steeds je gal te spuwen hier.
 
Ik ben ook kritisch m.b.t. FSD en heb het daarom ook nooit aangeschaft. Het zal mij verbazen als het binnen een paar jaar beschikbaar is in Nederland. Toch denk ik dat auto's prima zonder Lidar kunnen, mits er maar met twee "ogen" gekeken kan worden om diepte te kunnen zien. Dat combineren met een goed neuraal netwerk en ik geloof wel dat je (met genoeg computing power) goed en betrouwbaar objecten kan herkennen. Als je dat met genoeg "frames" doet dan zal je ook nog wel de snelheden van die objecten kunnen bepalen. In de evolutie toch de meest succesvolle manier geweest. De "radar" van de vleermuis is volgens mij juist, omdat deze beesten zonder zicht moeten kunnen vliegen. Daarvoor hebben ze bij Tesla gewoon verlichting gemonteerd (en voor de zekerheid toch nog een radar). :)

Waar ik veel minder vertrouwen in heb is om deze objecten en hun "gedrag" te analyseren en daaruit voorspelling te maken. Op basis van die analyse/voorspellingen moet je acties bepalen en dat is erg lastig. Op de snelweg is dit wellicht nog te doen, maar in de stad lijkt dit nog ver weg. Behalve het technische aspect, komt ook nog het juridische aspect.

Om false positive's te vermijden, worden stilstaande objecten momenteel boven een snelheid van 70km/u niet waargenomen/de opdracht gegeven om dit te negeren.
Ik vraag me af of dit nog altijd zo is. Waarom gaat de auto soms vol in de ankers bij een viaduct, terwijl je 100km/u rijdt. Het gebeurt niet heel vaak meer, maar heel soms gebeurt het toch. Ook heb ik wil eens filmpjes gezien van een Tesla die een ongeluk wist te vermijden, omdat er een auto (vrijwel?) stil stond op de rijbaan.
Misschien eens tijd dat je zelf leert om na te denken en met opzoekwerk te doen, in plaats van steeds je gal te spuwen hier.
Als je de mening van mensen niet meer wilt zien, dan is daar de ignore optie. En je kan ook besluiten er gewoon overheen te lezen. Als iedereen dezelfde mening is toegedaan, dan kan je alle discussie-topics gewoon sluiten. Heb je er geen zin in. Het is geen verplichte kost.
Vertel eens, hoe zou jij het beter doen met al jouw kennis van neurale netwerken, heuristic predictions en 3D world modeling die Karpathy laat verbleken?
Beetje jammer dat je de mening van een ander afdoet als "gezeur". Als je dat al vindt, ga er dan niet op in en negeer het.

Je mag toch wel kritiek hebben of ergens twijfels bij hebben, zonder dat je zelf een pasklaar antwoord hebt hoe het moet? Wellicht dat Tesla het wel het beste voor elkaar heeft, maar is de conclusie dat het nog lang niet goed genoeg is? Of mag je dat alleen beweren als je Bonnie Barstow heet :) Voor de niet kenners:
245237_900.jpg


Deze dame had het in de jaren 80 al voor elkaar. ;)
 
Last edited:
Jammer dat dit soort discussie zovaak ontaarden in een religieuze zaak.

Laten we ook vooral niet vergeten dat met stereoscopic view het hele dierenrijk prima 3D kan zien voor "dagelijks gebruik".

Ja, dieren (en mensen) hebben geen Lidar, maar ook geen GPS, geen radar, geen digitale wegenkaart, geen 8 ogen, en gebruiken meer zintuigen dan alleen hun ogen. En toch vliegen vogels zich soms toch nog te pletter (bv bij ons tegen de ramen).

Om false positive's te vermijden, worden stilstaande objecten momenteel boven een snelheid van 70km/u niet waargenomen/de opdracht gegeven om dit te negeren.

Dit is waar Lidar kan helpen (en radar problematisch is). Niet zo zeer omdat Lidar precieser is, maar omdat het een andere sensor modaliteit is en redundantie helpt in het algemeen robuustheid. Ook MobilEye heeft onder 'nominale' omstandigheden aan vision genoeg, maar wat als het niet nominaal is, en daar zal je met L3 en verder mee moeten dealen...

Met Lidar heeft Waymo in California een driverless permit voor snelheden tot 65 mph: Waymo, take the wheel: Self-driving cars go fully driverless on California roads – TechCrunch

Dat betekent dat Waymo ook stilstaande firetrucks betrouwbaar kan detecteren. Het zou een teken van vooruitgang zijn als Tesla ook een driverless permit krijgt toegekend.

Waarom faalt elk ander automerk hier na 50 jaar nog op? Of 10 jaar na de eerste implementatie hier nog op? Zelfs Volvo, HET automerk dat focust op veiligheid krijgt het niet beter. Trouwens, daar werkt het systeem maar met een snelheid tot 50km/u.

Volvo gaat met Waymo in zee overigens: https://techcrunch.com/2020/06/25/waymo-volvo-partner-to-develop-electric-robotaxis


Open vraag is welke engineering aanpak het eerst tot voldoende betrouwbare (=veilig in toepassing gebied) en voldoende robuuste = (voldoende groot toepassing gebied) techniek zal leiden. Het is een verdraaid lastig probleem, veel lastiger dan men 5-8 jaar geleden dacht.

Daar niemand hier een Karpathy, noch een Urmson, noch een Shastra, noch een Thrun is: geloof wat je wil. We leven in een land met vrijheid van geloof (ook hier is wat religieuze tolerantie gewenst geloof ik). :)