Napisałem o tym pare postów wcześniej, ze HW3 i HW4 używa 100+ takich samych sieci. Ale to głównie jest tak zrobione ze te sieci sa wyspecjalizowane w pewnych zadaniach i wyjście jednej podawane jest na wejście innej. Daje to super możliwości debugowania bo można tam wpiąć jakas wizualizacje. Parametry prawie wszystkich tych sieci muszą być caly czas w pamięci, mozna sie przełączać ale pomiędzy tymi ktore mamy już zaladowane
Tak kiedyś to działało ze na całym obrazie były rozpoznawane obiekty i potem kazdy wycinek mogło byc osobno analizowany. Dużo algorytmów opartych o sieci NN tak działa ze dla kazdego obiektu przeliczamy sieć klasyfikacji na nowo.
Ale Tesla od jakiegoś czasu używa Occupancy Network. Czyli obraz ze wszystkich kamer wrzucany jest w taka jedną sieć która generuje siatkę w układzie samochodu wokół. W każdym punkcie mamy informację jak bardzo punkt jest wolny albo zajęty, można to sobie tez inerpolowac pomiędzy punktami i samochód używa potem tego do manewrowania. Na podstawie tego generowany jest ten widok w trybie parkowania taki rozmyty, to jest niezależne od skomplikowania sceny. A dołączając na wejście poprzedni rezultat możemy mieć też wykrywanie zasłoniętych obiektów.
Mimo wszystko wszystkie te sieci NN musza zmieścić sie w pamięci i przeliczenie klatki musi sie wyrobić a wiecej parametrów to tez troszkę dłuższe obliczenia. Przy obliczeniach zawsze można np zmienić ilość klatek na sekundę z 36 na mniej. 20/s to absolute minimum. Wątpię aby w trakcie działania te największe sieci były przeładowywane, po prostu trzeba by dezaktywować FSD na ~ sekundę.
To co będzie działało w tym roku w Austin jako Robotaxi to będzie właśnie prawdopodobnie douczony model specjalnie pod ten obszar wiec bedzie to taki geofencing( Level 4) ale dzięki temu na HW4 bedzie to działało lepiej niz model ogólny na cały kraj. I właśnie to może byc jedyna metoda aby FSD działało lepiej niz człowiek na HW4 czyli np różne modele na różne części kraju albo pory roku itp
Last edited:
