Google - Ob uvodu v razvijalsko konferenco Google I/O 2024 so pri velikanu razkrili kopico programskih novosti, ki se v glavnem tičejo integracije Geminija v njihovo popularno programje, videli pa smo tudi nekaj drugih razkritij, kot je generator videa Veo.

Pričel se je Googlov vsakoletni dogodek za razvijalce, konferenca I/O, ki jo zaštartajo s predstavitvijo novosti, ki nas čakajo v poletnih mesecih (krajši video povzetek). Kot je bilo pričakovati, je bila prezentacija močno osrediščena okoli potiskanja rešitev na osnovi strojnega učenja, se pravi predvsem družine algoritmov Gemini, videli pa smo tudi nekaj drugih zanimivosti. Kot so čivkali že vrabci, bodo skušali z Geminijem nadgraditi tako svoja pisarniška orodja kot iskalnik. Plačljivi uporabniki okolja Workspace, oziroma aplikacij Docs, Slides, Sheets, Drive in Gmail, bodo prihodnji mesec dobili vgrajeno podporo Geminija 1.5 Pro, ki bo zanje sestavljal pošto ali analiziral vsebino dokumentov. Iskalnik za začetek - v ZDA že prihodnji...

Google - Pretekli teden so pri Googlu pokazali Gemmo, svoj prvi veliki jezikovni model z javnimi utežnimi parametri, ki je očitno namenjen predvsem spopadu z Metino družino odprtih modelov LLaMA.

Na področju velikih jezikovnih modelov poteka vrsta ideoloških bitk; poleg tiste med "doomerji", ki menijo, da lahko LLMji pripeljejo do nevarne splošne umetne inteligence, in njihovimi nasprotniki, pa spopada med podjetji in strokovnjaki za etiko, še najmanj tisti med pristaši zaprtih in odprtih modelov. Med prve spadajo trenutno najbolj razvpiti velikani, kot sta OpenAI in Google, ki v svoje programje ne dovolijo kdovekoliko vpogleda. Med drugimi so razvijalci LLMjev, ki o svojih stvaritvah objavijo več podatkov, v prvi vrsti strukturo nevronske mreže in pa "uteži" (weights), najpomembnejšo podmnožico parametrov nekega modela, ki določa, kaj se je mreža naučila iz podatkov. Malce ironično je tu glavni igralec Meta, po zaslugi svojega laboratorija FAIR, kjer razvoj vodi Yann LeCun, in modelov...

Slo-Tech - DeepMind je razvil že več orodij na osnovi umetne inteligence, ki so zmogla najrazličnejša opravila od igranja šaha do medicinske diagnostike. A praviloma niso uporabljala velikih jezikovnih modelov (LLM), ker so ti pri logično-matematičnih nalogah slabi. Njihov najnovejši dosežek pa združuje prav ta svetova, saj so z LLM-jem reševali matematične probleme, za katere pred tem rešitev nismo poznali. O dosežku pišejo v najnovejši številki revije Nature, prav tako so razkrili kodo.


Veliki jezikovni modeli se najbolje obnesejo, če jih sprašujemo reči, ki so zapisane v vhodnih podatkih za trening, pa še tedaj si lahko kaj izmislijo. DeepMind pa je razvil orodje FunSearch, ki se tem težavam sorazmerno uspešno izogiba. Gre za orodje, ki je namenjeno iskanju funkcij (od tod ime), kar ni prvi matematični otrok iz DeepMinda. Spomnimo, da je AlphaTensor iskal hitrejše načine množenja matrik, AlphaDev pa je izboljševal algoritme. Sedaj pa so razvili prvo orodje, ki za matematiko uporablja...

TechCrunch - Google je ta teden predstavil veliki generativni model Gemini, ki tekmuje z GPT-4 in od katerega pričakujejo domala renesanso, ali pa vsaj zajezitev neusmiljenega pohoda konkurence. A po solidnem začetnem vtisu je že drugi vtis precej klavrn, saj najboljši videoposnetek oziroma reklama za Gemini ni pristen. Posnetek, ki je hitro nabral več kot milijon ogledov, je močno zrežiran. Pri tem ne mislimo na opombo, ki jo poda že sam posnetek (da so umetno skrajšali zakasnitve in da so Geminijeve odzive skrajšali), temveč da je Google res pretiraval.

Kako so v resnici pripravili posnetek, je kasneje razkril tudi Google. O izdelkih, ki jih je pripravil Gemini, ne gre dvomiti, pač pa je težava v predstavitvi. Model ni tako hiter, ni tako natančen in predvsem ni tako odziven, kot kaže videoposnetek. Interakcija z njim je drugačna od te, ki jo vidimo. Primer: v videoposnetku modelu kretnjo z dlanjo, pa ta vzklikne, da že ve, kaj počne uporabnik: igra kamen, papir, škarje. V resnici je to...

Google - Pri Googlu so naznanili nastop multimodalnega velikega generativnega modela Gemini, neposrednega tekmeca GPT-4 in tehnologije, na kateri nameravajo graditi prihodnost svojih storitev.

Vse od lanskoletnega lansiranja ChatGPTja je bilo videti, da je navezi OpenAIja in Microsofta uspelo svojega poglavitnega tekmeca Googla grdo presenetiti. Čeprav so ravno Googlovi laboratoriji zaslužni za pretežni del teoretičnih prebojev v razvoju strojnega učenja, se je velikan zaradi ChatGPTja nenadoma znašel v zaostanku in znotraj vodstva naj bi zavladala panika, ki je botrovala prenekaterim spremembam, od vrnitve Larryja Paga in Sergeya Brina v aktivnejšo svetovalno vlogo pa do združitve oddelkov Brain in DeepMind. Sedaj so v podjetju najavili prvi praktični rezultat reform, multimodalni generativni UI model Gemini. V osnovi gre za naslednika velikega jezikovnega modela PaLM 2, toda Gemini je bil že od začetka načrtovan mnogo bolj širokopotezno. To se najbolj odraža v njegovi multimodalnosti,...

Slo-Tech - Pretekli teden je poleg drame v OpenAI postregel tudi s kopico novosti in posodobitev v širše uporabljanem programju s področja generativne umetne inteligence.

Direndaj v OpenAI, kjer so Sama Altmana najprej vrgli na cesto, nakar se je po bizarni kolobociji zmagoslavno vrnil na najvišji stolček, je industrijo širše spodbudil v lansiranje novih ali prenovljenih lastnih rešitev. Seveda so bile te brez dvoma v pripravi že dlje časa, toda gola količina novosti v preteklem tednu ustvarja vtis, da so inženirji ... malce pohiteli; na strani Microsofta in OpenAI zato, da bi podpornike pomirili, da njihove naložbe niso v nevarnosti, na strani konkurence zato, da bi si nemara odrezali nov košček pogače. OpenAI je še med burlesko odprl glasovno-pogovorne zmogljivosti ChatGPTja za vse uporabnike. Močno dejavni so bili v Googlu, najprej s posodobitvijo Barda. Ta zna v preizkusni različici po novem precej bolje kot ob septembrskem prvem lansiranju funkcije povzemati posnetke z YouTuba. To...

openai.com - V eni najbolj presenetljivih letošnjih novic s področja strojnega učenja so iz podjetja OpenAI sporočili, da odpuščajo svojega izvršnega direktorja Sama Altmana, ker naj bi upravi podjetja prikrival informacije.

V aktualnem razmahu generativne strojne inteligence in velikih jezikovnih modelov je Sam Altman gotovo eden od poglavitnih obrazov industrije. Kot soustanovitelj in od leta 2020 tudi izvršni direktor družbe OpenAI je ključno usmerjal njeno pot od sprva neprofitnega raziskovalnega laboratorija proti enemu od najmočnejših igralcev na tržišču sodobnih storitev umetne inteligence, z orodji, kot sta pogovorni bot ChatGPT in generator slik DALL-E. Sodeloval je praktično na vseh pomembnih diskusijah v industriji, na pogajanjih in zaslišanjih z ameriško politiko ter konferencah, na katerih si razvijalci prizadevajo regulatorje in javnost prepričati, da njihova novodobna orodja prinašajo več koristi kot nevarnosti. Med drugim je v začetku novembra sodeloval na prvem mednarodnem...

Microsoft - Pri Microsoftu so na konferenci Ignite 23 v Seattlu pokazali svoja prva čipa, v celoti oblikovana znotraj podjetja, ki sta namenjena njihovemu oblaku Azure in ju zaenkrat ne nameravajo tržiti.

S skokovitim razvojem in širjenjem storitev v oblaku so strežniške farme, ki predstavljajo njihovo tehnično hrbtenico, postale ogromni, kompleksni sistemi. Največji ponudniki zato že nekaj časa z namero optimizacij uvajajo vse več lastnih strojnih rešitev, kot so denimo Amazonovi procesorji Graviton. Z eksplozijo generativnih algoritmov in velikih jezikovnih modelov se je potreba po specializirani strojni opremi še povečala, saj v Nvidii ne uspejo dobaviti vseh naprav, ki jih za pospeševanje strojnega učenja potrebujejo njihove stranke - OpenAI naj bi zgolj za lansiranje ChatGPTja potreboval 30.000 čipov A100. Zato zeleni pospeševalci strojne pameti na Ebayu dosegajo astronomske zneske, podjetje pa nenehno beleži rast prihodkov. V Redmondu so zato pljunili v roke in oblikovali dva čipa za...

openai.com - Pri OpenAI so naznanili skorajšnji prihod novih zmogljivosti v razvpitega pogovornega bota ChatGPT: poleg teksta mu bomo lahko predložili tudi slike in ga spraševali glasovno.

Ko so v OpenAI marca lansirali GPT-4, smo med teoretičnimi zmogljivostmi lahko zasledili tudi multimodalnost, se pravi organsko razumevanje različnih formatov informacij, v tem primeru poleg teksta še podobe. Toda dejansko uporabo teh funkcij v podjetju dozirajo zelo počasi; tako so se poleti povezali z družbo Be My Eyes, ki izdeluje istoimensko aplikacijo za pomoč slabovidnim, medtem ko navadnim uporabnikom tolmačenje slik še ni dosegljivo, domnevno predvsem zaradi bojazni pred nevarnostmi, ki jih takšne zmogljivosti potencialno pomenijo za našo zasebnost. Tudi Microsoft v Bing Chatu takšne dodatke preizkuša precej previdno. Sedaj je nastopil trenutek za preskok na novo stopnico, kajti "v roku dveh tednov" bodo naročniki na storitvi Plus in Enterprise lahko ChatGPTju posredovali tudi podobe ali ga...

openai.com - Kot smo že nekaj časa pričakovali, so v OpenAI naposled najavili veliki jezikovni model GPT-4. Za rahlo presenečenje pa so obenem poskrbeli v Microsoftu, s priznanjem, da novi Bing Chat v bistvu na njem sloni že od začetka testiranja.

Skoraj 3 leta nas že ločijo od prvih vnašanj ukazov generativnemu jezikovnemu algoritmu, oziroma velikemu jezikovnemu modelu (LLM) GPT-3. Umotvor laboratorija OpenAI je postal eden od sinonimov za eksplozijo generativne strojne inteligence, ki je lani dosegla nove nivoje z generatorji slik in jesenskim lansiranjem pogovornega bota ChatGPT, letos pa z nebrzdano naglico poganja novo tekmo med tehnološkimi velikani. Posledica norije je bilo seveda mrzlično čakanje na novo različico GPTja, ki so ga sicer inženirji medtem iterativno nadgrajevali, tako da je bila lani v bistvu aktualna različica 3.5. Tudi šef OpenAIja, Sam Altman, je večkrat opozoril, da so pričakovanja bržkone prevelika in da bo GPT-4 nova evolucijska stopnja ter še daleč od kakšne...