Jag hade tv\u00e5 grafikkort med tjugofyra gigabyte minne vardera och ville se hur l\u00e5ngt det r\u00e4ckte. Allts\u00e5 laddade jag ner en modell med sjuttio miljarder parametrar \u2014 fyrtiotv\u00e5 gigabyte \u2014 och delade den \u00f6ver b\u00e5da korten.<\/p>\n\n\n\n
Den fick plats. Den startade. Den svarade.<\/p>\n\n\n\n
Efter \u00e5tta minuter.<\/p>\n\n\n\n
Diskussionen om lokala modeller handlar n\u00e4stan alltid om minne. Ryms modellen? Hur m\u00e5nga gigabyte kr\u00e4vs? Vilket kort ska jag k\u00f6pa f\u00f6r att f\u00e5 plats med den stora?<\/p>\n\n\n\n
Det \u00e4r r\u00e4tt fr\u00e5ga f\u00f6r att veta om n\u00e5got g\u00e5r<\/em>, och fel fr\u00e5ga f\u00f6r att veta om det \u00e4r anv\u00e4ndbart<\/em>. Att modellen ryms betyder bara att den inte kraschar.<\/p>\n\n\n\n Korten jag anv\u00e4nde \u00e4r fr\u00e5n en \u00e4ldre generation. De har gott om minne men saknar de specialiserade ber\u00e4kningsenheter som moderna kort har f\u00f6r just den h\u00e4r sortens matematik, och de r\u00e4knar dessutom l\u00e5ngsamt i det talformat modellerna helst anv\u00e4nder. Kapaciteten fanns. Farten fanns inte.<\/p>\n\n\n\n Till det kommer att en modell utspridd \u00f6ver tv\u00e5 kort m\u00e5ste skyffla mellanresultat mellan dem f\u00f6r varje steg i ber\u00e4kningen. Delningen som g\u00f6r att den ryms<\/em> \u00e4r samma sak som g\u00f6r den l\u00e5ngsam.<\/p>\n\n\n\n Samma fr\u00e5ga till en modell p\u00e5 tjugosex miljarder parametrar, som ryms p\u00e5 ett enda kort: svar p\u00e5 ett par sekunder.<\/p>\n\n\n\n Det \u00e4r inte tjugo procent snabbare. Det \u00e4r ungef\u00e4r tv\u00e5hundra g\u00e5nger<\/strong>, och det \u00e4r skillnaden mellan ett verktyg och en kuriositet. En modell som svarar p\u00e5 tv\u00e5 sekunder kan sitta i ett arbetsfl\u00f6de. En som tar \u00e5tta minuter kan inte det, oavsett hur mycket klokare svaret \u00e4r \u2014 f\u00f6r ingen v\u00e4ntar, och inget bakomliggande system har en timeout p\u00e5 \u00e5tta minuter.<\/p>\n\n\n\n Kvaliteten p\u00e5 svaren var dessutom inte \u00e5tta minuter b\u00e4ttre. Den var en aning b\u00e4ttre p\u00e5 sv\u00e5rare resonemang och likv\u00e4rdig p\u00e5 det jag faktiskt anv\u00e4nder modellen till.<\/p>\n\n\n\n Begagnade kort med mycket minne \u00e4r popul\u00e4ra i hemmalabb av goda sk\u00e4l: de \u00e4r billiga per gigabyte, och gigabyte \u00e4r det man l\u00e4ser att man beh\u00f6ver.<\/p>\n\n\n\n Min erfarenhet efter det h\u00e4r: de tar en f\u00f6rv\u00e5nansv\u00e4rt l\u00e5ngt, \u00e4nda tills de inte g\u00f6r det<\/strong> \u2014 och gr\u00e4nsen g\u00e5r inte d\u00e4r minnet tar slut, utan d\u00e4r modellen blir tung nog att ber\u00e4kningen dominerar. F\u00f6r mindre modeller \u00e4r korten utm\u00e4rkta. F\u00f6r de riktigt stora spelar det ingen roll att de f\u00e5r plats.<\/p>\n\n\n\n Vill man k\u00f6ra stora modeller \u00e4r svaret inte fler gamla kort. Det \u00e4r nyare h\u00e5rdvara med snabbare ber\u00e4kning och tillr\u00e4ckligt minne i en<\/em> enhet \u2014 eller att acceptera att den stora modellen k\u00f6rs n\u00e5gon annanstans, f\u00f6r de uppgifter som verkligen kr\u00e4ver den.<\/p>\n\n\n\n M\u00e4t svarstid, inte om det startar.<\/strong> ”Modellen k\u00f6r lokalt” \u00e4r ett meningsl\u00f6st p\u00e5st\u00e5ende utan en siffra bredvid.<\/p>\n\n\n\n M\u00e4t varmt, inte kallt.<\/strong> F\u00f6rsta svaret inkluderar inl\u00e4sning i minnet och s\u00e4ger inget om vardagen.<\/p>\n\n\n\n M\u00e4t med din egen fr\u00e5ga.<\/strong> Ett riktm\u00e4rke som k\u00f6rs med korta inmatningar d\u00f6ljer att svarstiden v\u00e4xer med hur mycket sammanhang du faktiskt skickar med.<\/p>\n\n\n\n Det finns en dragningskraft i den st\u00f6rsta modellen som f\u00e5r plats. Den \u00e4r sv\u00e5r att motst\u00e5, och den \u00e4r n\u00e4stan alltid fel.<\/p>\n\n\n\n R\u00e4tt fr\u00e5ga \u00e4r inte ”hur stor modell kan jag k\u00f6ra?” utan ”hur stor modell kan jag k\u00f6ra tillr\u00e4ckligt snabbt f\u00f6r att faktiskt anv\u00e4nda?”<\/strong> \u2014 och svaret p\u00e5 den andra fr\u00e5gan \u00e4r oftast en storlek mindre \u00e4n man hoppats, k\u00f6rd p\u00e5 ett enda kort.<\/p>\n\n","protected":false},"excerpt":{"rendered":" Modellen fick plats p\u00e5 tv\u00e5 gamla kort. Att den ryms betyder bara att den inte kraschar \u2014 r\u00e4tt fr\u00e5ga \u00e4r hur stor modell man kan k\u00f6ra tillr\u00e4ckligt snabbt f\u00f6r att faktiskt anv\u00e4nda.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[5],"tags":[],"class_list":["post-43","post","type-post","status-publish","format-standard","hentry","category-ai-i-praktiken"],"_links":{"self":[{"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/posts\/43","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/comments?post=43"}],"version-history":[{"count":0,"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/posts\/43\/revisions"}],"wp:attachment":[{"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/media?parent=43"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/categories?post=43"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/tags?post=43"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}J\u00e4mf\u00f6relsen som avgjorde saken<\/h2>\n\n\n\n
Vad det s\u00e4ger om h\u00e5rdvaruval<\/h2>\n\n\n\n
S\u00e5 vet du vad du har<\/h2>\n\n\n\n
Vad jag tar med mig<\/h2>\n\n\n\n