Tak zakładam. Ogólnie to rozmiar modelu i jego architektura to przestrzeń poszukiwania najlepszego programu. Skoro model został powiększony tzn że w poprzednim rozmiarze nie udało się znaleźć wystarczająco dobrego rozwiązania i nie było już widać postępów. Powiększenie przestrzeni powoduje że proces uczenia jest kosztowniejszy a działanie takiego modelu wymaga lepszego sprzętu. Samo obliczenie ma jakby koszt stały w zależności od ilości i dużej optymalizacji tam się nie da zrobić, mozna np rzadziej liczyć. Ale cały model musi się zmieścić w pamięci operacyjnej. Tylko jakieś odkrycia w procesie uczenia, samej architektury które sprawiają że lepiej wybierzemy odpowiednie wagi. Można to porównać do procesu kompresji danych, np bitrate filmu. Im mniej przestrzni tym gorsza jakość. Nie co dzień odkrywane sa metody na lepsza kompresję, tak samo nie codzień mamy odkrycia jak lepiej uczyć sieci neuronowe. Te z ostatnich lat to głównie pozwalały na lepszą inicjalizacje uczenia, szybsze uczenie, stabilniejsze, czyli w sumie pozwoliło to na trenowanie dużo wiekszych i głębszych sieci
Tutaj też fajna animacja która pokazuje analogię ilości parametrów przy aproksymacji wielomianem. Sieć neuronowa to wiele bardziej skomplikowany twór, ale można mieć z grubsza wyobrazenie o co chodzi. Tylko w przypadku FSD i Tesli tych kropek w takiej skali byłoby znacznie mniej
Według mnie na HW 3 już więcej takich parametrów nie upchniemy. Czyli Tesla dodaje teraz nowe przykłady do danych treningowych żeby auto w coraz to dziwniejszych sytuacjach dobrze się zachowywało, ale za jakiś czas znów przestrzeń do poprawy zostanie wyczerpana. I wtedy nastąpi rozdział na HW3 i AI4. Pewnie bedziemy mieli do czynienia z podobnym rozwojem jak w innych modelach np LLaMA
Za 2 lata spodziewam się innego modelu dla HW3 i dla AI4(jeszcze wiekszego) a po rozpoczeciu produkcji robotaxi może wejdzie ogromny. Oczywiście nadal będziemy mieli aktualizacje na HW3 nowych wersji mniejsego modelu i mimo podobnego rozmiaru program z każda aktualiację będzie troszkę lepszy ale jednak większy model bedzie zostawiał ten mniejszy zawsze w tyle. Mniejszy moze nie jeżdzić nigdy lepiej niż cżłowiek tylko podobnie, a większy może robić błędy 10x rzadziej.
Jeszcze rozważam taka opcję że HW3 może np mieć kilka wersji modelu i przeładowywać je. Np wersja na śnieg/deszcz, wersja miejska, wersja autostradowa. Nie mówiąc już o różnych modelach dla różnych krajów. To moga być te niuanse.
. Jak to zacznie działać kiedyś to wtedy wymienię na HW17.
