Trainen vergt extreem veel Compute, het NN wat locaal draait juist niet. Ik verwacht dat HW3 met 100 Watt compute volledig autonoom zal kunnen rijden in de toekomst.
Training vergt inderdaad nog veel meer compute dan het daadwerkelijk uitvoeren, maar ook voor dat laatste is best wat compute en een enorme bak data noodzakelijk. Enkel al snel door die bak data heen akkeren heeft heel wat compute power nodig. Ik ben als ontwikkelaar betrokken bij
Sneller AI en je wilt niet weten wat onze maandelijkse AWS rekening is. Ook voor het gebruiken van een model is best een intensieve taak. HW3 was blijkbaar niet voldoende voor FSD, want Tesla heeft niet voor niets HW4 ontwikkeld. HW4 is 2-4x sneller dan HW3 volgens de
geruchten. Dat zal niet voor niets zijn.
Het hele wezen van een goede AI is training. Tesla heeft de data en investeert dit jaar 2 miljard in compute en volgend jaar vier miljard. Ergens medio 2024 hebben ze de beschikking over een van de krachtigste supercomputers ter wereld.
Zonder training geen werkende AI, maar ook aan de "uitvoerende" kant heb je gewoon veel processing power nodig. Als het zo simpel was als jij voorstelt, dan hadden we al zelfrijdende auto's gehad.
Het Mercedes systeem rijdt alleen achter een voorligger aan. Enkel in naam level 3, met max 60 per uur, enkel op een paar geselecteerde stukjes autoweg.
Het prototype van 10 jaar geleden reed echt zelf, maar er zal ongetwijfeld wat uit de video gehaald zijn waar het niet lekker ging. Waar heb je gelezen dat het level 3 systeem slechts werkt tot 60 km/u en enkel op geselecteerde snelwegen? Enige dat ik weet is dat enkel Californië en Nevada er goedkeuring voor hebben gegeven voor publieke release.
Transformers, diffusion, neurale netwerken zijn allemaal doorbraken van de laatste paar jaar. Tesla heeft doordat de ontwikkelingen zó snel gaan al twee keer hun FSD ontwikkelings strategie radicaal omgegooid.
30 jaar geleden had ik op de HIO Enschede al neurale netwerken in het curriculum zitten (toen AI nog gewoon kunstmatige intelligentie werd genoemd
). Dat was toen wel allemaal theorie, want in de praktijk was er nog niet veel haalbaar. Ik zal de laatste zijn om te ontkennen dat Tesla niet heel veel heeft toegevoegd aan het hele AI gebeuren. Maar dat neurale netwerken een vinding zijn van Tesla is toch echt niet waar...
Maar goed, we gaan het zien, maar de stap naar end to end NN die gemaakt wordt in V12 is in mijn optiek een enorme sprong voorwaarts en training nu nog de enige bottleneck.
Als er één partij veel trainingsdata heeft, dan is Tesla dat wel. Of een volledig neuraal netwerk zonder enige expliciete regels het gaat doen weet ik niet. Dat is natuurlijk wel de puurste vorm van AI en zou het prachtig vinden. Overigens zou het mij niet verbazen dat ook in het huidige model een aantal expliciet geprogrammeerde vangnetten zitten. Zoals altijd zorgen dat je op de weg blijft rijden, je houden aan maximale snelheden, stoppen bij een stopbord (doet vrijwel niemand), ...
Ik ben ook totaal niet tegen autonoom rijden, maar alleen erg sceptisch over de haalbaarheid op de korte termijn. Elon heeft zo ongeveer elk jaar aangegeven dat het "eind dit jaar" zou komen en we hebben het nog steeds niet.
De enhanced auto-pilot in mijn Model S heeft nooit gestopt voor een stoplicht. Enkel als de auto voor mij stopt, dan werd er gestopt. Niet omdat het stoplicht op rood staat, maar omdat die er niet tegenaan wil botsen.
Er waren begin dit jaar wat vacatures als 'ADAS Test operator'.
Hier vind je nog wat details over wat dat zo ongeveer inhield. Lijkt me wel dat ze FSD ook gewoon testen in Europa. Musk heeft al eens gezegd dat FSD ook in Europa mogelijk is 'pending regulatory approval'.
Wat Elon Musk roept wat mogelijk is zegt mij niet zoveel. In hetzelfde artikel staat ook dat Musk in maart 2022 heeft gezegd dat het een paar maanden later beschikbaar zou kunnen zijn. Dat is ook weer gewoon totale BS geweest, want het hangt helemaal niet "pending regulatory approval". Het is gewoon nog niet goed genoeg. Had overigens niet gezien dat ze eigen testers zochten.
Veruit het grootste probleem is dat het voor mensen onacceptabel is dat de computer sowieso slachtoffers gaat maken waar we van mensen fouten min of meer accepteren. Dat het totaal aantal verkeersslachtoffers veel lager zal zijn is irrelevant, als de AI negen levens redt maar er één neemt wordt hij/zij/hen/het daar op afgerekend.
Dat wordt gewoon een kwestie van wennen. De media zal er inderdaad in het begin vol opspringen. Maar mensen stappen ook in een vliegtuig en ook die kan een fout maken en uit de lucht vallen. Ik denk vooral dat het juridisch een lastige zaak gaat worden.
Ik zie hier vooral het niet begrijpen hoe een NN werkt. Het is niet meer de 'know how' van de ingenieurs die telt, maar de 'know how' van je model.
Ik begrijp heel goed hoe een neuraal netwerk in elkaar steekt. Ik heb alleen niet de verwachting dat de huidige stand van de techniek dit kan laten draaien op een "simpel computertje" in de auto. Maar wellicht dat ik in aanraking ben gekomen met NN toen we nog met een Intel 486 werkten. Een auto echt zelf laten rijden vereist echt wat anders dan een neuraal netwerk die gezichten kan herkennen.
Ook, gek dat software engineers met een goede kennis van AI ineens heel veel geld verdienen als het niet meer om de know-how van die engineers gaat. Om tot een goed model te komen is het echt niet voldoende om er maar een hele grote bak met data tegenaan te gooien en te gaan kauwen op die data totdat je magisch een model hebt dat op elke vraag antwoord heeft.
ChatGPT kan perfect met me in het Nederlands communiceren, en dat ligt niet aan dat ze bij OpenAI 80 Nederlandstalige ingenieurs hebben (die hebben ze niet).
Nou laten we dat dan maar eens aan ChatGPT vragen: "How did ChatGPT learn to answer in Dutch?"
"ChatGPT learns to answer in Dutch, as well as other languages, through a process called supervised fine-tuning. In the case of ChatGPT, it starts with pre-training on a diverse range of internet text from various sources in multiple languages. This pre-training helps the model learn grammar, facts, reasoning abilities, and also exposes it to the nuances of different languages.
After pre-training, the model is fine-tuned on a specific dataset for a particular language. Fine-tuning is done using a narrower dataset generated with the help of human reviewers who follow guidelines provided by OpenAI. These guidelines instruct reviewers to review and rate possible model outputs for a range of example inputs. The model generalizes from this feedback to respond to user inputs in a way that aligns with human preferences.
For languages like Dutch, the fine-tuning process involves providing the model with Dutch-language examples and feedback from human reviewers. This iterative process helps the model improve its performance in generating coherent and contextually relevant responses in Dutch.
It's important to note that while ChatGPT can understand and generate responses in multiple languages, its proficiency may vary across languages. The quality of responses can depend on the availability and quality of training data in each language during the fine-tuning process."
Zoals te verwachten valt moet je dus trainen met lokale data, maar moet ook de data ook tot op zekere hoogte door mensen beoordeeld worden. Het hele proces is iteratief, zodat je data steeds beter wordt. Sowieso is heel veel itereren een fundamenteel principe in AI, zodat je steeds beter kan worden. Maar dan moet je wel kunnen bepalen wat beter is. Dat is toch nog steeds voor een heel groot deel mensenwerk. Daarbij wil je ook leren van correct rijgedrag en slecht rijgedrag juist voorkomen.
Dus om terug te gaan naar het originele verhaal... Om FSD ook te laten werken in gebieden waar fietsers je links en rechts om de oren vliegen, waar een 60km provinciale weg bestaat uit twee rode fietsstroken aan de zijkant met één strook voor beide richtingen, ... zal je echt moeten trainen met lokale data. Dat is iets wat het systeem niet vanzelf gaat leren. Mensen zijn goed in het anticiperen op situaties, risico inschattingen te maken en uiteindelijk leren van nieuwe situaties. Een voorgeprogrammeerd model zal niet zelf leren.
Tegelijk, als jij naar de VS op reis gaat, heb jij dan grote moeite met het besturen van een auto op Amerikaanse wegen met Amerikaanse borden? Denk je dat ze daar enkel maar brede rechte wegen hebben?
Ik heb veel in de VS gereden en heb daar inderdaad geen grote moeite mee, omdat het verkeer over het algemeen eenvoudiger is dan bij ons. Het zal de eerste keer wellicht even geduurd hebben voordat ik wist wat een 4-way stop inhield en hoe het ging qua volgorde van wegrijden, maar na een paar keer weet je dat wel. Je leert ter plekke steeds bij en ontwikkelt in je eigen neurale netwerk -oftewel je hersenen- hoe het daar ter plekke werkt. Nu zijn de nuances vaak klein, maar je moet er zeker wel aan wennen. Denk aan 4-way stops, andere voorrangregels, keep-your-lane, ...
Met de huidige stand van de techniek zal een auto dat niet zelf kunnen leren. Die heeft een voorgeprogrammeerd model hebben en daarop acteren. Hoe groter het model wordt (dat wordt het bij meer situaties), des te meer rekenkracht je nodig hebt om dat model te gebruiken. Het zal mij dan ook niet verbazen dat een auto in de EU een ander model zal gebruiken dan eentje die in de VS zal rondrijden. Wellicht dat zelfs op basis van GPS en/of detectie van de huidige soort weg er een specifieker model gekozen wordt om ervoor te zorgen dat je niet een megagroot model hoeft te gebruiken.
Je kan daar als overheid regels tegen hebben, maar als een LLM zoals ChatGPT genoeg Nederlandstalige informatie heeft kunnen destilleren in hun model, gaat je chatbot toch echt wel Nederlands begrijpen en kunnen gebruiken. En als het model van Tesla genoeg Europese wegen heeft kunnen rijden, gaat het ook de nuances tussen Frankrijk, België, Nederland en de VS begrijpen. Net zoals jij die nuances begrijpt.
Ik denk ook zeker dat met genoeg trainingsdata het uiteindelijk mogelijk zal zijn. Ik denk alleen dat het verder weg ligt dan Elon Musk ons (steeds weer) doet geloven...
