Ovaj tjedan je Anthropic potpuno onemogućio pristup svojem najnovijem modelu Fable 5, a Mythos je već ionako bio dostupan samo odabranima. To nam pokazuje što je glavni rizik s trenutačnim AI modelima velikih platformi - oni u svakom trenutku mogu postati nedostupni. To može biti zbog procjene da su 'preopasni' da bi se dali na korištenje svima, a moguće je da i zbog geopolitičkih faktora za neke zemlje oni postanu zabranjeni ili da se njihova cijena formira ovisno o tome otkud dolaze korisnici.
Cijena je drugi veliki problem - većina trenutačnih cijena pretplate i tokena je danas očito rezultat agresivne tržišne subvencije kako bi se zahvatio što veći postotak tržišta. Velike platforme troše investicijski novac kako bi ponudili tokene ispod realne cijene. Vrijeme jeftinih tokena neće dugo trajati, troškovi podatkovnih centara i električne energije rastu brže nego što se optimizira efikasnost modela. Kad investitori počnu tražiti povrat investicije očekujemo puno veće i realnije cijene.
Do tog vremena velike platforme se nadaju da će korisnici razviti tako veliku ovisnost o njima tako da će njihovi modeli i agenti postati neraskidivi dio procesa razvoja softvera.
Još jedan dio slagalice, koji se često zanemaruje, je sigurnost - vaš programski kod nije samo vaš, bez obzira na to što vi možete zabraniti da se modeli treniraju na njemu vi taj kod šaljete njima i vjerujete da ga platforma neće koristiti za nešto drugo. Možda čak i neće imati namjeru, ali uvijek nešto negdje može procuriti. Neke tvrtke nesvjesno krše svoje NDA ugovore s klijentima i sigurnosne politike slanjem koda na vanjske API-je.
Kako izbjeći katastrofu?
Jedno od rješenja je da koristite lokalne modele otvorenog koda, vi imate potpunu kontrolu, nitko nema uvid u vaš kod, nitko vam ne može ukinuti korištenje ili odjednom promijeniti cijenu.
Dva su velika problema kod lokalnih modela otvorenog koda:
Za njihovo korištenje morate imati odgovarajuću hardversku podršku što dovodi do većih inicijalnih troškova.
Modeli otvorenog koda nisu tako dobri kao modeli velikih platformi, trenutačno ne postoji otvoreni model koji u svim aspektima može konkurirati Fableu 5.
Ono što je dobra vijest da su vam troškovi predvidljivi, nema iznenađenja, a razlika između modela otvorenog koda i zatvorenih modela se ipak sve više smanjuje.
Želite li koristiti modele otvorenog koda morate naći neku zlatnu sredinu između raspoloživog budžeta za hardver i veličine modela koje namjeravate koristiti. U tom procesu možete koristiti platforme kao što je OpenRouter koji vam omogućavaju da isprobate različite modele za malu cijenu i da prema odabranom modelu dimenzionirate svoj hardver. Ne kupujte hardver na slijepo, bez ikakvog testa.
Hibridni pristup
Dok modeli otvorenog koda ne dosegnu razinu zatvorenih modela možete se odlučiti za hibridni pristup - odaberite agenta za kodiranje koji vam omogućava korištenje različitih modela. Tako možete za najteže zadatke i planiranje koristiti zatvorene modele, a za svakodnevne zadatke i posebno osjetljivi kod možete koristiti lokalne modele. Takav pristup omogućuje vam i da malo bolje balansirate troškove, a ako se i dogodi da vam zatvoreni model zbog bilo kojeg razloga postane nedostupan uvijek imate rezervnu opciju i vaš razvoj zbog toga neće biti zaustavljen.
Ako se odlučite samo na lokalne modele ili hibridni pristup preporučujem vam da isprobate Pi, agent koji ima minimalistički pristup i troši puno manje tokena za skrivene sistemske promptove kod svakog upita.
Ja volim znati koji developeri razvijaju alate koje koristim, za upoznavanje s autorom Pi agenta pogledajte predavanje I Hated Every Coding Agent, So I Built My Own — Mario Zechner (Pi). Na listi doprinositelja tom projektu nalazi se Armin Ronacher, ime koje je jako dobro poznato Python programerima i korisnicima.
Ono što mi se jako dopada kod Pi agenta je mogućnost grananja i skretanja u pokrajnju granu (npr. kod ispravke buga) bez zagađivanja glavnog konteksta i povijesti razgovora.
