mgła - FSD - autopilot - dobra widoczność

[t3sla4sun]

Hello,

W sumie jestem zaskoczony działaniem autopilota we mgle, który widzi zdecydowanie więcej niż człowiek.
Tam są jakieś kamerki na podczerwień, czy jak?

Jakie macie doświadczenia z autopilotem we mgle/deszczu/śniegu etc.... ?

 

[Michal]

W niektórych warunkach radzi sobie zdecydowanie lepiej niż ja Szczególnie właśnie mgła poza miastem albo miejski deszcz nocą w blasku sodówek.
Z mojej wiedzy wynika, że nie ma tam jeszcze podczerwieni ale kamera ma znacznie lepszą jasność i kontrast oraz zastosowane soczewki najprawdopodobniej mają filtry polaryzacyjne, które znacząco redukują odbicia.

 

[t3sla4sun]

@Michal no właśnie też mam takie odczucie, że we mgle radzi sobie i widzi lepiej niż ja, ale jak już mi przebieg pasów rysuje, to czuję się dużo bezpieczniej

 

[Michal]

Ja mam też często problemy z widocznością linii oddzielających pasy na takich mokrych ulicach w nocy, a tutaj też autopilot radzi sobie świetnie:

Obstawiam, że tutaj właśnie bardzo pomaga polaryzacja na soczewce, tak jak w okularach przeciwsłonecznych. Ona powoduje niwelowanie odbić i wyostrzanie obrazu, do tego kilka sztuczek z przycinaniem jasności, podkręceniem ostrości i można coś zobaczyć...

 

[newbe]

Hello,

W sumie jestem zaskoczony działaniem autopilota we mgle, który widzi zdecydowanie więcej niż człowiek.
Tam są jakieś kamerki na podczerwień, czy jak?

Jakie macie doświadczenia z autopilotem we mgle/deszczu/śniegu etc.... ?

Elon w ostatnim wywiadzie z Lex Friedman twierdził że zwykłe kamerki pozwalają zarejestrować bardzo dużo informacji nawet kiedy okiem już nic nie widzimy.
I teraz zmieniają ponownie architekturę AP żeby 30ms ugrać trenując sieci neuronalne na surowych obrazkach beż post-procesingu.
Twierdził że niema tam żadnej podczerwieni, tylko z sensora można zarejestrować różnice między pikselami i na tej podstawie zareagować...

 

[newbe]

@Michal no właśnie też mam takie odczucie, że we mgle radzi sobie i widzi lepiej niż ja, ale jak już mi przebieg pasów rysuje, to czuję się dużo bezpieczniej

Jechałem latem całą noc przez mgle. Machałem ręką sarnom kilka razy - stały na poboczu i patrzyli na nas, a my - na nich...

 

[slaveq]

No zaraz ale przecież z tego co się orientuję to każda matryca posiada filtr wycinający właśnie pasmo podczerwieni, żeby obraz był naturalny, wystarczy ten filtr wyłączyć i mamy kamerę na podczerwień (tak też robią domowe kamer IP). Więc myślę że kamery w Tesli po prostu "widzą" w szerszym spektrum i pan Elon może co do szczegółów mija się z prawdą.

 

[Michal]

Jak po prostu wytniesz filtr IR, to stracisz informację o jasności w spektrum światła widzialnego. To nie jest takie proste. Aby to zrobić dorze, trzeba by mieć zarówno kamerę IR jak i zwykłą.

 

[tokwi]

Obok tych analogowych cech obrazu spektrum światła, polaryzacja, filtry i optyka soczewek... jest ta cyfrowa magia operacji na tensorach.
Nim takie rzeczywiste obrazy polecą na sieć neuronową, to na początku są obrabiane algorytmami konwolucyjnymi, by wyostrzyć, obrysować, ulepszyć taki obraz do dalszej obróbki.
Na stronce poniżej jest fajnie i przystępnie pokazany proces takiego ulepszania danych wejściowych - https://setosa.io/ev/image-kernels/

Potem kluczowa jest liczba klatek na sekundę przetwarzanych przy obróbce cyfrowej.
Nie wiem dokładnie z jaką częstotliwością HW3.0 analizuje obraz (już podrasowany) - coś gdzieś mi sie obiło że ok. 2 tys obrazów /sekundę - ale jest tego bardzo dużo, by już z całą pewnością FSD odróżniło "punkt" linii od "punktu" mgły/deszczu/śniegu.

 

[newbe]

Obok tych analogowych cech obrazu spektrum światła, polaryzacja, filtry i optyka soczewek... jest ta cyfrowa magia operacji na tensorach.
Nim takie rzeczywiste obrazy polecą na sieć neuronową, to na początku są obrabiane algorytmami konwolucyjnymi, by wyostrzyć, obrysować, ulepszyć taki obraz do dalszej obróbki.
Na stronce poniżej jest fajnie i przystępnie pokazany proces takiego ulepszania danych wejściowych - https://setosa.io/ev/image-kernels/

Potem kluczowa jest liczba klatek na sekundę przetwarzanych przy obróbce cyfrowej.
Nie wiem dokładnie z jaką częstotliwością HW3.0 analizuje obraz (już podrasowany) - coś gdzieś mi sie obiło że ok. 2 tys obrazów /sekundę - ale jest tego bardzo dużo, by już z całą pewnością FSD odróżniło "punkt" linii od "punktu" mgły/deszczu/śniegu.

Obecnie mają 60 klatek na sekundę z każdej kamerki.
Pracują właśnie nad wyłączeniem tych image kernels. Żeby trenować sieci na RAW strumieniu.
Dodatkowo celują w to żeby sieci poradziły sobie obrazu z obrazem 360°C.
Polecam posłuchać co opowiada gościowi który sam pracował w MIT nad computer vision/ autonomous driving.