Jag heter Daniel Azzarri och har h\u00e5llit p\u00e5 med IT-infrastruktur sedan 1996. Den h\u00e4r bloggen handlar om s\u00e5dant jag faktiskt har byggt eller haft s\u00f6nder \u2014 inte om vad som s\u00e4gs p\u00e5 konferenser.<\/p>\n\n\n\n
F\u00f6rsta jobbet var som IT-allt-i-allo p\u00e5 en reklambyr\u00e5. Sedan dess har det blivit IT-chef inom idrottsr\u00f6relsen, systemspecialist p\u00e5 s\u00e4kerhetssystem f\u00f6r den europeiska marknaden, grundare och vd f\u00f6r ett konsultbolag inom IT-s\u00e4kerhet, infrastrukturarkitekt inom industrin och molnarkitekt med migreringar av stora milj\u00f6er till publikt moln. Egen firma har jag haft vid sidan om sedan 2006.<\/p>\n\n\n\n
Det som g\u00e5r igenom allt \u00e4r samma sak: n\u00e4tverk, virtualisering, s\u00e4kerhet och att f\u00e5 system att fungera i drift \u2014 inte bara i demo.<\/p>\n\n\n\n
Jag driver ett eget labb utspritt p\u00e5 tre siter, sammankopplade med krypterade tunnlar. Tv\u00e5 Proxmox-kluster med sammanlagt fem hypervisorer, delad lagring \u00f6ver 10 gigabit, separat backupserver och en kopia p\u00e5 en tredje plats. Det \u00e4r den milj\u00f6n som f\u00e5r ta sm\u00e4llarna: allt jag skriver om h\u00e4r har k\u00f6rts skarpt n\u00e5gonstans i den.<\/p>\n\n\n\n
Tyngdpunkten ligger p\u00e5 en maskin med NVIDIA GB10 och 121 GB delat minne mellan processor och grafikkort. Det g\u00f6r att den kan h\u00e5lla riktigt stora modeller i minnet \u2014 allt fr\u00e5n sm\u00e5 modeller p\u00e5 n\u00e5gra miljarder parametrar upp till en \u00f6ppen modell p\u00e5 120 miljarder, som ensam tar 65 GB. D\u00e4r ligger ocks\u00e5 embeddingmodellerna som driver s\u00f6kning i egna dokument.<\/p>\n\n\n\n
F\u00f6re den \u2014 och fortfarande i drift \u2014 sitter tv\u00e5 NVIDIA Tesla P40 i en av servrarna, 24 GB videominne vardera och inkopplade rakt igenom hypervisorn till den virtuella maskin som k\u00f6r dem. Korten \u00e4r fr\u00e5n en \u00e4ldre generation och saknar tensork\u00e4rnor, och det m\u00e4rks: en modell p\u00e5 70 miljarder parametrar f\u00e5r visserligen plats om man delar den \u00f6ver b\u00e5da korten, men d\u00e5 tar varje svar \u00e5tta minuter. Samma fr\u00e5ga till en modell p\u00e5 26 miljarder, p\u00e5 ett enda kort, \u00e4r besvarad p\u00e5 ett par sekunder. Nyttig p\u00e5minnelse om att minnesm\u00e4ngd och anv\u00e4ndbar hastighet \u00e4r tv\u00e5 helt olika saker \u2014 och om att begagnad h\u00e5rdvara tar dig f\u00f6rv\u00e5nansv\u00e4rt l\u00e5ngt, \u00e4nda tills den inte g\u00f6r det.<\/p>\n\n\n\n
Runt den finns mindre inferensnoder f\u00f6r s\u00e5dant som inte beh\u00f6ver tunga modeller, en egen metas\u00f6kmotor som l\u00e5ter modellerna h\u00e4mta f\u00e4rska uppgifter utan att fr\u00e5ga n\u00e5gon annans API, och lite kantacceleratorer: en Hailo-modul p\u00e5 en Raspberry Pi f\u00f6r bildigenk\u00e4nning i realtid, ett Coral-kort och ett par mikrokontroller som f\u00e5r g\u00f6ra det de \u00e4r bra p\u00e5.<\/p>\n\n\n\n
Po\u00e4ngen med hela upps\u00e4ttningen \u00e4r att inget beh\u00f6ver l\u00e4mna labbet. Bokf\u00f6ring, mejl, dokument och personuppgifter kan bearbetas av en modell som st\u00e5r p\u00e5 min egen hylla, och det \u00e4r skillnaden mellan att experimentera med AI och att v\u00e5ga s\u00e4tta den i produktion.<\/p>\n\n\n\n
Jag f\u00f6rel\u00e4ser ocks\u00e5 om det h\u00e4r \u2014 hur AI f\u00f6r\u00e4ndrar utvecklings- och driftarbete, och vad det kr\u00e4ver f\u00f6r att bli tillf\u00f6rlitligt. H\u00f6r av dig p\u00e5 daniel@airex.se<\/a>.<\/p>\n\n","protected":false},"excerpt":{"rendered":" Jag heter Daniel Azzarri och har h\u00e5llit p\u00e5 med IT-infrastruktur sedan 1996. Den h\u00e4r bloggen handlar om s\u00e5dant jag faktiskt har byggt eller haft s\u00f6nder \u2014 inte om vad som s\u00e4gs p\u00e5 konferenser. Bakgrunden F\u00f6rsta jobbet var som IT-allt-i-allo p\u00e5 en reklambyr\u00e5.\u2026<\/p>\n","protected":false},"author":1,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-6","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/pages\/6","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/comments?post=6"}],"version-history":[{"count":1,"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/pages\/6\/revisions"}],"predecessor-version":[{"id":7,"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/pages\/6\/revisions\/7"}],"wp:attachment":[{"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/media?parent=6"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}