Jag heter Daniel Azzarri och har hållit på med IT-infrastruktur sedan 1996. Den här bloggen handlar om sådant jag faktiskt har byggt eller haft sönder — inte om vad som sägs på konferenser.
Bakgrunden
Första jobbet var som IT-allt-i-allo på en reklambyrå. Sedan dess har det blivit IT-chef inom idrottsrörelsen, systemspecialist på säkerhetssystem för den europeiska marknaden, grundare och vd för ett konsultbolag inom IT-säkerhet, infrastrukturarkitekt inom industrin och molnarkitekt med migreringar av stora miljöer till publikt moln. Egen firma har jag haft vid sidan om sedan 2006.
Det som går igenom allt är samma sak: nätverk, virtualisering, säkerhet och att få system att fungera i drift — inte bara i demo.
Labbet
Jag driver ett eget labb utspritt på tre siter, sammankopplade med krypterade tunnlar. Två Proxmox-kluster med sammanlagt fem hypervisorer, delad lagring över 10 gigabit, separat backupserver och en kopia på en tredje plats. Det är den miljön som får ta smällarna: allt jag skriver om här har körts skarpt någonstans i den.
AI-uppsättningen
Tyngdpunkten ligger på en maskin med NVIDIA GB10 och 121 GB delat minne mellan processor och grafikkort. Det gör att den kan hålla riktigt stora modeller i minnet — allt från små modeller på några miljarder parametrar upp till en öppen modell på 120 miljarder, som ensam tar 65 GB. Där ligger också embeddingmodellerna som driver sökning i egna dokument.
Före den — och fortfarande i drift — sitter två NVIDIA Tesla P40 i en av servrarna, 24 GB videominne vardera och inkopplade rakt igenom hypervisorn till den virtuella maskin som kör dem. Korten är från en äldre generation och saknar tensorkärnor, och det märks: en modell på 70 miljarder parametrar får visserligen plats om man delar den över båda korten, men då tar varje svar åtta minuter. Samma fråga till en modell på 26 miljarder, på ett enda kort, är besvarad på ett par sekunder. Nyttig påminnelse om att minnesmängd och användbar hastighet är två helt olika saker — och om att begagnad hårdvara tar dig förvånansvärt långt, ända tills den inte gör det.
Runt den finns mindre inferensnoder för sådant som inte behöver tunga modeller, en egen metasökmotor som låter modellerna hämta färska uppgifter utan att fråga någon annans API, och lite kantacceleratorer: en Hailo-modul på en Raspberry Pi för bildigenkänning i realtid, ett Coral-kort och ett par mikrokontroller som får göra det de är bra på.
Poängen med hela uppsättningen är att inget behöver lämna labbet. Bokföring, mejl, dokument och personuppgifter kan bearbetas av en modell som står på min egen hylla, och det är skillnaden mellan att experimentera med AI och att våga sätta den i produktion.
Kontakt
Jag föreläser också om det här — hur AI förändrar utvecklings- och driftarbete, och vad det kräver för att bli tillförlitligt. Hör av dig på daniel@airex.se.