Toezichthouder onderzoekt klachten over plots versnellende Tesla's

[horta]

@wooter Je denkfout is dat single bit errors gedetecteerd kunnen worden, single bit errors kunnen ook in het geheugen of de processor optreden, en dat ga je NIET in de logs zien.

Het verhaal in Inside EVs 1) is leuk maar onvolledig gezien de fouten die ik wel eens heb gezien in hardware. Dat zijn fouten die je alleen met ECC hardware (tot in de processor!) kunt zien, anders niet. Een alfa deeltje kan een oorzaak voor zo'n fout zijn, ram chips en processors zitten in een behuizing die zijn uitgezocht op lage straling, maar niets is uit te sluiten. Kosmische straling is een beruchte oorzaak van single bit errors en niet te voorkomen. Ik geloof simpelweg niet dat een relatief goedkope oplossing zoals dat in Tesla wordt gebruikt daar immuun voor is. Been there, seen that.

1) Tesla Hacker Says Unintended Acceleration Is Impossible In Teslas

 

[horta]

Jason Hughes lijkt uit te gaan van onfeilbare hardware die ten enenmale enkelvoudig is uitgevoerd: de processor zelf.

 

[wooter]

Waarom denk je dat single bit errors niet in de logs zouden tevoorschijn komen? Dat zou namelijk enkel kunnen als zo een single bit error gebeurt na de drive controller.

 

[Jkr85]

De kennis van JH is toch wel gebaseerd op gedetailleerd onderzoek van >10 claims, door de logs te trekken. Zie een van de vele posts over dit soort claims:

More "unexpected" acceleration stuff... ugh.

Ok, first, the Model 3 logs are physically accessible on the logging SD card in the car PC, which is slightly less inaccessible than in the S/X. I've copied my own a while ago, and they're very similar to the S/X, although lots of IDs are redone. So, wouldn't be too difficult to check this with physical access to the car.

That said....... please just don't bother.

I just recently finished what I believe is my tenth private investigation of cases of "unexpected" acceleration in a Tesla where the owners have claimed the car accelerated on its own and they didn't press the pedal, yada yada.

Every single instance has shown that the accelerator pedal was physically pressed to the floor (or nearly) during the event. This is monitored by 100Hz reporting of the two sensors in the pedal by two independent systems (a "pedal monitor" and "drive inverter cross-check", only changes are logged... and this actually used to be 10Hz logging, but Tesla bumped it up probably in response to claims like this). If it were an electronic issue or the car just decided to massively accelerate on its own somehow (not actually possible, for the record), the curve of both sensors would not match perfectly with baseline logs of me mashing my own pedal. In every case I investigated the four logging points for pedal position changes matched perfectly with a physical pedal doing the exact same action. Every. Single. One.

After being unequivocally proven, the parties contracting me to somehow exonerate them have essentially begged me to not stand by my stance of publicly posting the data or sharing it with anyone. (If you may recall, I've offered to investigate such instances free of charge in exchange for the rights to basically do whatever I want with the data, including posting in relevant threads or stories.) Out of respect for those involved, I've honored such requests.

So, sorry for your accident, OP, but it's just not the car's fault. End of story.

Long story short, I think I'm going to stop wasting time on such investigations.

 

[wooter]

Even ter referentie: dat wil zeggen dat in 10 van de 10 gevallen die hij onderzocht, de fout in de logs terug te vinden was en aan het indrukken van het pedaal lag (want beide sensoren gaven dezelfde waarde).

Dat is dus momenteel een 0% voor het aantal gevallen waarin een single bit error bewezen is, en 100% zijn bewezen user errors.

 

[horta]

Waarom denk je dat single bit errors niet in de logs zouden tevoorschijn komen? Dat zou namelijk enkel kunnen als zo een single bit error gebeurt na de drive controller.

Hoe zou je een single bit error willen detecteren zonder ECC?

(PS even voor de techneuten: er is een reden dat ik ZFS als file systeem gebruik).

 

[Firehuntah]

@wooter Je denkfout is dat single bit errors gedetecteerd kunnen worden, single bit errors kunnen ook in het geheugen of de processor optreden, en dat ga je NIET in de logs zien.

Juist wel, je zou dan moeten kunnen zien dat de sensoren van het stroompedaal geen waarde geven, terwijl wel de snelheid omhoog gaat. Snelheid en veel andere zaken worden natuurlijk ook gewoon gelogd. Tenzij iets die waarde van de sensoren kan beïnvloeden maar dan moet dit op beide sensoren gebeuren. Ik ben het bij deze wel met @wooter eens. Kans is wel heel erg klein dat hier iets mis mee kan gaan.

 

[wooter]

Je hebt inderdaad verschillende datapunten die allemaal gelogd worden: je niet allemaal kan verschalken met maar 1 single bit error, maar meerdere single bit errors op hetzelfde moment op dezelfde bit is ook hoogst onwaarschijnlijk:

1. stand van sensor 1 van gaspedaal
2. stand van sensor 2 van gaspedaal
3. AP aan/uit
4. AP gekozen snelheid
5. AP effectief doorgegeven snelheid
6. snelheid die drive controller ontvangt van gaspedaal of AP
7. snelheid uitgelezen van rotatie van de assen

Al die 7 datapunten moeten dus verschalkt worden op hetzelfde moment in de logs als je meent dat een single bit error acceleratie zou kunnen veroorzaken.

 

[horta]

Ook hoogst onwaarschijnlijke gebeurtenissen gebeuren. En ik ben er zeker van dat er tenminste 1 fout is die de bovengenoemde punten allemaal verslaat? Welke? Geen idee. Dat is het kenmerk van meneer Murphy, een ongeluk komt nooit alleen. In de luchtvaart komen uitermate onwaarschijnlijke gebeurtenissen voor, zoals ooit een berekende fout bij een Fokker, 1 op 2 miljard. Helaas kwam die toch voor. Het SPOF is over het algemeen een niet voorziene combinatie van problemen. Tesla is daar niet van gevrijwaard.

Ik kan je aanraden om de serie aircrash investigation te volgen, dan zie je hoe onwaarschijnlijk de samenloop van omstandigheden soms is.

 

[wooter]

Ik ben me bekend met zo een onderzoeken. Voor zover ik weet vinden ze dan vaak genoeg sporen, soms zelf ook in de zwarte dozen, om de oorzaak te ontdekken.

Met 7 datapunten die gelogd worden lijkt me dat Tesla ook kan achterhalen uit de logs wanneer er zo een probleem voorkomt. En mijn punt is nu dat uit de afgelopen onderzochte gevallen altijd een oorzaak is gevonden: beide sensoren van het gaspedaal gaven aan dat het gaspedaal werd ingeduwd.

 

[Firehuntah]

Ook hoogst onwaarschijnlijke gebeurtenissen gebeuren. En ik ben er zeker van dat er tenminste 1 fout is die de bovengenoemde punten allemaal verslaat? Welke? Geen idee. Dat is het kenmerk van meneer Murphy, een ongeluk komt nooit alleen. In de luchtvaart komen uitermate onwaarschijnlijke gebeurtenissen voor, zoals ooit een berekende fout bij een Fokker, 1 op 2 miljard. Helaas kwam die toch voor. Het SPOF is over het algemeen een niet voorziene combinatie van problemen. Tesla is daar niet van gevrijwaard.

Ik kan je aanraden om de serie aircrash investigation te volgen, dan zie je hoe onwaarschijnlijk de samenloop van omstandigheden soms is.

Het mooie van logs is dat je achteraf kunt zien wat er dus fout is gegaan. Of dit nou bij vliegtuigen is die een black box hebben of een van onze Tesla's die zoiets alles wat tijdens het rijden gebeurt opslaat. Tuurlijk kan het onwaarschijnlijke gebeuren, maar dit is dan achteraf in de meeste gevallen gewoon te achterhalen waar het door is gekomen. In de gevallen die al zijn aangehaald die onderzocht zijn geworden bleek dat het een fout van de bestuurder was.

Bij de gevallen van @MaSansky en @MvN.on.Tour is dit niet bekend, zou graag weten of zij al logs hebben laten uitlezen door Tesla middels timestamps door te geven wanneer de onverwachte acceleratie zich voordeed. Alleen op die manier kan onderzocht worden wat er precies is gebeurd.

 

[horta]

@wooter probeert al voordien een fout van Tesla uit te sluiten, en juist dat kan niet. Wacht het onderzoek af. Een spike kan bijvoorbeeld niet worden opgepikt door de logs. Het is te simpel om te zeggen dat de logs alles kunnen uitsluiten, je moet maar net loggen op het moment dat er iets gebeurt.

Hoe komen de logs tot stand? Is dat tijd- of event gestuurd. Hoe lang moet het duren om opgepikt te worden door de logs? Kortom, vragen die hier zeker niet worden beantwoord, en dan is het te kort door de bocht om te zeggen dat de logs alles verklaren. Eerst zal dan forensisch bewezen moeten worden dat de logs afdoende zijn, en daarvan heb ik geen greintje bewijs gezien afgezien van een stelling van Jason Hughes, is hij forensisch expert? Dat kan ik niet uit de stukken opmaken.

 

[wooter]

@horta ik zou zeggen leef je uit:

I've made offers to people several times over cases where people were trying to blame Tesla for user error issues or felt that an autopilot airbag triggered recording would exonerate them from something.

My offer is always the same: You provide me access to the vehicle, I'll pull the logs and parse the relevant data. I'll then share the results, regardless of what they end up revealing, with you, Tesla, your insurance company, and I reserve the right to post the data wherever else it may be relevant.

Thus far only one person decided to take me up on this, then got cold feet at the 11th hour thinking it'd be best not to do so. I'm reasonably certain that these people just didn't want to have confirmation that they'd screwed up.

Every case of "sudden unintended acceleration" with a Tesla is driver error. Period. There is no way for the vehicle to accelerate on its own like people claim. It's also always pedal misapplication, too, where the driver presses the accelerator when they should be braking. Almost always cases where the car is slowing to a stop, then "suddenly" accelerates (because the driver hit the accelerator instead of the brake at the time they would be hitting the brake to stop the car).

I've pulled logs from at least two cars that, when looking back at news and posts, claimed unintended acceleration. The logs in both cases clearly showed the driver applying the accelerator pedal at the time of the accident. Electrek did an article about this: Several Tesla owners claim Model X accelerated/crashed on its own but everything points to user error

The vehicle logs the outputs of both hall effect sensors in the accelerator pedal independently. They both must match their respective output curves during a go-pedal press in order for the car to respond to a request for acceleration. If anything is off, the car doesn't move. If one sensor goes out, the car will operate in limp mode with drastically reduced torque.

Suffice it to say, there quite literally is no way for a Tesla Model S/X/3 to do what people claim without the driver pressing the accelerator pedal.

Hij zit nu al aan 17 auto's waarvan hij de logs heeft kunnen inlezen. In alle 17 keren noteerden de logs dat de bestuurder het gaspedaal had ingeduwd. Dus niet een kwestie van plots een single bit error in de data feed, maar gewoon losweg registratie van een natuurlijke curve van wat een gaspedaal geeft als een mens erop duwt. Een spike kan misschien niet worden opgepikt door de logs, maar in alle gevallen was er geen spike te zien maar wel duidelijk de applicatie van het gaspedaal. Dat wordt niet veroorzaakt door een single bit error.

Het gaat er niet zozeer om dat de logs misschien zo een single bit error of spike niet zien, maar het probleem is dat er in de logs wel in staat dat het gaspedaal door een mens ingedrukt wordt. Dat is een beetje zoals in een zwarte doos zien dat de piloot de hendel koppig naar zich toe bleef trekken en het vliegtuig in een overtrek geraakt, maar toch opperen dat door een single bit error twee potentiometers tientallen seconden lang zouden meten dat de hendel naar achteren getrokken wordt en het niet de piloot was die fout was.

Ik sta te trappelen tot men een bewijs van het tegendeel vind, maar in tussentijd is de score 100% driver error bij alle onderzochte gevallen. Iedereen die dan wazig gaat doen en wil doen alsof het resultaat twijfelachtig is, is gewoon het zonlicht in je ogen ontkennen.

 

[MaSansky]

Ik vind een analyse van een door Tesla vastgelegd log van een door Tesla uitgelezen sensor op een door Tesla ontwikkeld systeem niet meteen doorslaggevend betrouwbaar. Natuurlijk laten de logs zien dat het pedaal is ingedrukt. De auto versnelt immer als gevolg van deze input. Als de logs dat niet zouden laten zien zou er pas echt een groot probleem zijn. De vraag is echter of het kan dat de auto een ingedrukt pedaal registreert terwijl dit niet wordt ingedrukt. Dat kan je alleen van buiten het systeem meten bij mijn weten.

 

[wooter]

Ik vind een analyse van een door Tesla vastgelegd log van een door Tesla uitgelezen sensor op een door Tesla ontwikkeld systeem niet meteen doorslaggevend betrouwbaar.

Dat klopt. Wij van WC-eend.

De vraag is echter of het kan dat de auto een ingedrukt pedaal registreert terwijl dit niet wordt ingedrukt. Dat kan je alleen van buiten het systeem meten bij mijn weten.

Als je even terug scrollt kan je achterhalen hoe het gaspedaal werkt. Andere merken werken volgens hetzelfde principe: twee potentiometers meten de stand van het pedaal: de ene zal bij neutraal 100% meten, de andere 0%. Bij een volledig ingedrukt gaspedaal meten ze net het omgekeerde: de ene 0%, de andere 100%.

Volgens Tesla en de tesla hackers wordt de stand van het pedaal pas geaccepteerd als de som van beide potentiometers altijd 100% blijft. Het is dus aan jou om te geloven of Tesla dat zou negeren en enkel 1 potentiometer zou gaan geloven.

Maar laten we ajb op basis van wat we weten vertrekken, en niet in het los wat gaan veronderstellen. En je mag zeker en vast kritisch zijn naar de bron van je kennis, maar je moet ook aanvaarden dat je soms ook kennis van experten moet accepteren zodat dat je zelf die analyse hebt kunnen doen. Ik bedoel maar: ik heb zelf geen bewijs gemeten dat de aarde rond is of dat 240V aanraken dodelijk is, maar ik geloof experten die me vertellen dat dit wel zo is.

 

[DutchTM3]

Ik ben het bij deze wel met @wooter eens. Kans is wel heel erg klein dat hier iets mis mee kan gaan.

"Heel erg klein" is niet 0. En toch wordt hier steeds beweert elke onverwachtte versnelling per definitie een user error is.

..., maar meerdere single bit errors op hetzelfde moment op dezelfde bit is ook hoogst onwaarschijnlijk:

"Hoogst onwaarschijnlijk". Dat klinkt al beter.

Hij zit nu al aan 17 auto's waarvan hij de logs heeft kunnen inlezen. In alle 17 keren noteerden de logs dat de bestuurder het gaspedaal had ingeduwd.

Al had hij er 100 gecontroleerd ....wat bewijst dat dan? Dat er in die 100 gevallen sprake was van een user error. Maar dat sluit nog niet uit dat er andere redenen kunnen zijn en bewijst ook niet automatisch dat er dus in alle andere gevallen ook sprake was van een user error. Het is gewoon rondom naïef te veronderstellen dat een systeem nooit kan falen, hoe goed het ook ontworpen is. Is het daarmee heel waarschijnlijk dat het systeem ook daadwerkelijk zal falen? Niet perse, maar dat heeft m.i. ook niemand beweerd.

Hoe komt de onderzoeker aan die logs als ik vragen mag?

 

[fabian]

Met “alles kan” kan je elke discussie eindigen en daar begint het hier op te lijken. Levert uiteindelijk niks op behalve dat iedereen gelijk kan hebben.

 

[horta]

Uiteindelijk is forensisch onderzoek van een bevoegde instantie nodig, en dat gebeurt. Laten we de resultaten daarvan afwachten in plaats van bij voorbaat roepen 'user error want de logs'.

 

[Firehuntah]

"Heel erg klein" is niet 0. En toch wordt hier steeds beweert elke onverwachtte versnelling per definitie een user error is.

Dat klopt, ik zeg dan ook niet dat het onmogelijk is dat er gevallen zijn waarbij het niet een gebruikersfout is. Ik zeg dit alleen over de gevallen die wel al onderzocht zijn. De gevallen van @MaSansky en @MvN.on.Tour zijn dit nog niet en kan ook nog nergens iets lezen dat ze al contact met Tesla hebben gezocht om dit te onderzoeken.

Dat is wat mij betreft het eerste wat je dan moet doen zodat als er echt een probleem is, dit kan worden opgelost. Vooral bij veiligheids gerelateerde dingen zoals dus het vanzelf accelereren. Belangrijk is dan om de timestamps wanneer het gebeurde op te schrijven en deze door te geven aan Tesla. Op die manier hebben ze ook een probleem met mijn spiegels die niet open klapte bij slecht netwerkbereik verholpen, want zelfs dat wordt allemaal gelogd. Je kunt veel meer terugzien in logs dan jullie denken hier. Is ook niet voor niks, met alle claims die autofabrikanten tegenwoordig krijgen als er iets gebeurt moeten ze natuurlijk wel bewijs kunnen leveren dat het niet aan de auto zelf heeft gelegen. En zou het wel zo zijn, dan kunnen ze dit natuurlijk met behulp van de logs makkelijker oplossen.

Pas als Tesla niet zou willen meewerken hieraan of als het blijft gebeuren en je echt zeker weet dat je zelf het stroompedaal niet hebt aangeraakt en TACC niet per ongeluk aan had staan kun je misschien eens kijken om een camera in de auto te plaatsen waarbij je beide het display en het stroompedaal kunt zien, en deze dan ook elke rit laten opnemen. Alleen op die manier kun je echt aantonen dat er iets mis zou zijn met de auto en deze daadwerkelijk vanzelf accelereert. Of dus toch erachter komen dat je zelf mogelijk iets fout doet.

 

[DutchTM3]

Dat klopt, ik zeg dan ook niet dat het onmogelijk is dat er gevallen zijn waarbij het niet een gebruikersfout is.

Ik bedoelde ook niet te suggereren dat jij dat zei. Ik wilde alleen maar aangeven dat er meer mensen zijn die de mogelijkheid van echte storingen niet bij voorbaat uitsluiten, zoals sommige anderen dat wel doen.