AI, odnosno umjetna inteligencija, nezaustavljivo se širi i ne očekuje se da će se to promijeniti u budućnosti. Primjena tehnologije bit će neizbježna u mnogim područjima, a ako je ne iskoristiš, vjerojatno ćeš biti u nepovoljnijem položaju od konkurencije. Ali koja su to područja? To je drugačije za svaku tvrtku, ali jasno je da su LLM-ovi ili veliki jezični modeli trenutno najpopularniji. Oni su lako dostupni kao internetska usluga, mnogi ljudi su vjerojatno upoznati s ChatGPT-om, ali postoji mnogo alternativa. Međutim, ove usluge nisu rješenje za svaku tvrtku, budući da rade na vanjskim poslužiteljima, a resursi su dostupni uz pretplatu. I premda je u gotovo svakoj politici upravljanja podacima zapisano da operater ne koristi podatke koje uneseš za obuku svojih modela, u to se može samo vjerovati, a ne i potvrditi.
Uloga umjetne inteligencije u malim i srednjim poduzećima
Većinu domaćih tvrtki ionako karakterizira nepovjerenje, uostalom, za uspjeh u poslovanju potrebna je zdrava paranoja: zato i postoji koncept korporativnih tajni. Pitanje je kako možeš koristiti AI bez ugrožavanja ovih tajni. Kada gledaš LLM, jedna od najpraktičnijih metoda je lokalno pokretanje pojedinačnih modela. Za to možeš kupiti vlastiti poslužitelj na kojem možeš kreirati internu ChatGPT alternativu. Problem je u tome što dovoljno snažni poslužitelji nisu baš jeftini i većina malih i srednjih poduzeća ne može si priuštiti trošenje stotina tisuća dolara na takav razvoj; te su cijene više usmjerene na velike tvrtke.
Postavlja se pitanje je li moguće izvoditi LLM lokalno na prosječnom računalu namijenjenom krajnjim korisnicima. Djelomično da, jer svaki LLM ima verzije s različitim parametrima. To znači da određeni model, čak i ako je treniran na istom skupu podataka i koristi istu osnovnu arhitekturu, može dati različite odgovore s različitim brojem parametara. Vrlo jednostavno, LLM sa 7 milijardi parametara koji se može pokrenuti na većini modernih računala daje mnogo jednostavniji odgovor na isto pitanje od veće verzije istog LLM-a, na primjer, sa 65 milijardi parametara. Važno je da to ne ovisi o točnosti odgovora, već o njegovoj strukturi. Manji model će dati precizne datume za događaje koji se odnose na povijesno pitanje, ali veća verzija ovog će također staviti te događaje u kontekst.
Ovo jasno pokazuje zašto su poslužitelji koji pokreću veće LLM-ove povoljniji od strojeva namijenjenih krajnjim korisnicima, a proizvođači hardvera već su počeli pružati neku vrstu prijelaza. Ovi strojevi očito neće biti ni blizu tako brzi kao konfiguracije prilagođene umjetnoj inteligenciji čija je cijena veća od 100.000 dolara, ali će barem moći pokretati LLM-ove koji su praktički neupotrebljivi čak i na najsnažnijem stolnom računalu pri prihvatljivim brzinama.
Novi Mac Studio je pionir u tom smjeru, a to uglavnom duguješ činjenici da se uz korišteni sistemski čip može smjestiti mnogo sistemske memorije, a što se tiče osnovne brzine, to je glavni zahtjev LLM-ova koji koriste mnogo parametara. Naravno, propusnost memorije i računalna snaga također su bitni, ali treba uzeti u obzir da ako dati LLM niti ne stane u memoriju za potrebe rada, njegova će brzina izvršavanja biti praktički neprihvatljiva.
Iako je Apple već omogućio konfiguracije s velikom količinom memorije s prvim Mac Studijom, s najnovijom verzijom podigli su stvari na višu razinu. Dizajn koji koristi snažniji sistemski čip M3 Ultra može biti opremljen s do 512 GB LPDDR5X sistemske memorije, a cijena stroja samo je djelić cijene poslužitelja. Ovdje želimo napomenuti da se ne isplati birati ni mali SSD, jer LLM-ovi koji koriste mnogo parametara također imaju ozbiljne zahtjeve za pohranom, ali ako si zadovoljan instaliranim modelom, onda bi ti mogao odgovarati stroj opremljen SSD-om od 1 TB, koji se također može naručiti iz Mac Studija.
Ali što bi to moglo značiti u praksi?
Jedna od najatraktivnijih značajki novog Mac Studija je da može učitati najveći model DeepSeek-R1, sa 671 milijardu parametara, u memoriju sustava. Verzija toga već je razvijena za Appleov okvir za strojno učenje pod nazivom MLX, s 4-bitnom kvantizacijom. Prvi omogućuje pokretanje samog LLM-a na gore spomenutom računalu, na primjer putem programa pod nazivom LM Studio, dok drugi zamjenjuje brojeve korištene u izvornom modelu prikazom niže širine bita, više težine i aktivacije, tj. može se smanjiti točnost modela, ali će se učinkovitost rada poboljšati.
DeepSeek-R1 također je zanimljiva alternativa Mac Studiju jer spomenuti LLM zahtijeva više od 400 GB prostora, a to će se morati učitati u sistemsku memoriju, što će zahtijevati konfiguraciju od 512 GB. Međutim, arhitektura modela je vrlo posebna jer radi s 37 milijardi aktivnih parametara, što znači da generiranje odgovora može ostati relativno brzo čak i uz manju propusnost memorije od specifičnih AI poslužitelja. Novi Appleov hardver ima propusnost od 819,2 GB/s, što je niže od 4-6 TB/s modernijih AI akceleratora namijenjenih poslužiteljima, ali je dovoljno za pružanje odgovora s performansama od oko 20-25 tokena/sekundi. Ovo možda ne govori mnogo jer token nije baš dobro poznat koncept i teško ga je jasno prevesti navođenjem broja riječi umjesto toga jer duljina riječi može varirati u različitim jezicima. No, može se grubo reći da se odgovor od 100-300 riječi prosječne dužine i složenosti može generirati unutar otprilike 10-20 sekundi s 671 milijardom parametra DeepSeek-R1 na novom Mac Studiju, ako ima 512 GB memorije. Potrebno je oko 30 sekundi da se proizvede dulji odgovor od 400-500 riječi.
Pristupačan ulaz
Iako je cijena 512 GB verzije Mac Studija očito viša od MacBook Proa, to je samo djelić cijene ozbiljnijeg, AI-orijentiranog poslužitelja. Naravno, i njegove su performanse slabije od njihovih, no može se reći da ako je osnovni zahtjev pokretanje iznimno velikih LLM-ova (a tu prvenstveno vrijedi uzeti u obzir najveći model DeepSeek-R1 zbog njegove dobro izgrađene arhitekture), onda je ovaj stroj trenutno najjeftinije rješenje koje može postići odgovarajuću brzinu. To može biti posebno korisno za mala i srednja poduzeća, jer mogu smanjiti svoje zaostajanje u usporedbi s velikim tvrtkama u smislu lokalnog izvođenja tijekova rada umjetne inteligencije. Štoviše, Thunderbolt 5 možeš koristiti za povezivanje više Mac studija, a okviri za strojno učenje TensorFlow i PyTorch podržavaju distribuirano računalstvo na više strojeva, iako je to još uvijek klimavo tlo jer nisu svi LLM-ovi spremni za to. Dodatno, kopije podataka putem sučelja Thunderbolt 5 nisu nužno dovoljno brze da ne budu usko grlo u smislu skalabilnosti, ali općenito je pozitivno što postoji mogućnost proširenja.
Za što ga možeš koristiti? Može biti idealna alternativa za pokretanje chatbota i virtualnih pomoćnika temeljenih na umjetnoj inteligenciji. Služba za korisnike tako može biti djelomično automatizirana, odgovarajući na često postavljana pitanja kupaca. Rudarenje podataka i prediktivna analitika također su potencijalno vrijedna područja koja pomažu u razumijevanju navika i trendova kupaca, omogućujući optimizaciju upravljanja zalihama ili marketinških kampanja. Analitika teksta olakšava procjenu mišljenja i povratnih informacija kupaca, omogućujući ti brži odgovor kako bi povećao zadovoljstvo korisnika. Moguća je čak i financijska analiza, optimizacija proračuna.
Ako idemo dalje od LLM-a, sustav može čak generirati slike, što može pomoći u dizajniranju jedinstvenih reklama prilagođenih robnoj marki i stvaranju ilustracija za proizvode u razvoju, a čak ti i ne trebaju najbolje konfiguracije. I ovdje je vrijedno razmotriti što je potrebno. AI pokriva vrlo široko područje, pa se stoga mijenjaju i zahtjevi za resursima. Konfiguracija od 512 GB potrebna je ako postoji stvarna potreba za pokretanjem najvećeg modela DeepSeek-R1 sa 671 milijardom parametara. Za manje LLM-e postoji mogućnost naručivanja stroja s manje memorije, samo trebaš biti siguran da je to dovoljno za odabrani model. Da se koristi samo za generiranje slike, osnovna konfiguracija bi mogla biti dobra za to.
Zbog gore navedenog, novi Mac Studio je vrlo uzbudljiva alternativa. Apple u biti pokušava izgraditi most do tijekova rada umjetne inteligencije koji su prije zahtijevali ozbiljnije poslužitelje. To otvara put malim i srednjim poduzećima za razvoj različitih usluga i zadataka umjetne inteligencije, budući da više nije potrebno kupovati vrlo skupu opremu.
