Ornith 1.0 je na prvu ostavio dojam bistrog, pomalo brzopletog juniora. Koristio sam ga povremeno, pokazao se kao koristan za točno definirane zadatke, ali glavna mu je karakteristika nekadašnji Facebookov moto "Move fast and break things". "Pomagao" mi je kod nekih manjih alata i vrlo često se dogodilo da se nakon njegovih izmjena više ne mogu pokrenuti. Tako da sam ga sve manje koristio.

Qwen 3.8 je objavljen prije nekoliko dana, i čim je Unsloth tim obavio svoju magiju (konverzija, kvantizacija i optimizacija) i učinio raspoloživim svoje modele krenuo sam s isprobavanjem onih koji mogu raditi na grafičkoj s 16 GB memorije. Qwen3.8-27B-UD-Q3_K_XL je graničan slučaj, radio je, ali sporo (3-9 tokena u sekundi) i tjerao je grafičku "u crveno" (maksimalna potrošnja, temperatura preko 80%). Qwen3.8-27B-UD-IQ3_XXS se pokazao dosta boljim, pozivam ga s parametrima koje je predložio jedan član Hugging Face zajednice. Performanse koje sam dobio su nešto manje od njegovih ali i dalje vrlo su upotrebljive (30-40 t/s). I on tjera grafičku "u crveno".

Ti Qwen modeli su iznenađujuće dobri, nisam ih temeljito testirao, ali osjećaj je da su mogu usporediti s Claude Sonnet modelima. Izgleda da otvoreni modeli polako sustižu komercijalne i nije ni čudo da iz Anthropica zazivaju njihovu zabranu.

Unsloth tim i dalje vrijedno radi, jučer su objavili nove Qwen3.8 modele na kojima su koristili novu Unsloth Dynamic v3.0 metodologiju koja bi trebala donijeti bolju kvalitetu i brzinu. Povećanje brzine mogu potvrditi, a za točnost trebam malo više testiranja.

Ornith 1.5 - još bolji junior

Detalje o Ornithu možete pročitati u objavi Ornith-1.5: From Self-Scaffolding to Self-Improvement. Mojem hardveru odgovara Ornith-1.5-9B model, malo je brži od 1.0 modela, ali izgleda da je izliječio svoju "Move fast and break things" boljku. Uz pomoć njega napravio sam nekoliko izmjena na njegovom omiljenom programu, kojeg je obično sredio da su drugi trebali popravljati, ali ovaj put je sve prošlo u redu. Ornith 1.0 ide u arhivu, a 1.5 će dobiti druge prilike da se pokaže na djelu.

Ornith nije tako zahtjevan prema resursima i do sada nisam imao previše slučajeva da tjera grafičku "u crveno".

Ova dva modela su moja trenutačna preporuka ako želite koristiti lokalne modele s grafičkom s 16 GB memorije. Kako se stvari jako brzo mijenjaju vrlo je vjerojatno da će za mjesec-dva isplivati neki drugi kandidati. Ono o čemu još razmišljam je kako na najpovoljniji način povećati mogućnosti računala na kojem se vrte lokalni modeli.