Paikalliset tekoälymallit insinöörityön työnkuluissa
Alkuvuoden aikana olemme jatkaneet rauhallista mutta johdonmukaista työtä insinööriagenttien kehittämiseksi: agenttien, jotka ohjaavat monimutkaisia suunnittelu- ja analyysiprosesseja, yhdistävät erilaisia laskentavälineitä ja tuottavat tuloksia, joihin voi luottaa oikeissa projekteissa. Osa tästä työstä on keskittynyt paikallisiin tekoälymalleihin.
Ajamme malleja paikallisesti ensisijaisesti tietosuojasyistä. Asiakasdata ei usein voi lähteä pilvipalveluun, ja vaikka se teknisesti voitaisiin lähettää, turvallisinta on pitää se oman organisaation sisällä. Avointen mallien viimeaikaisen kehityksen ansiosta tämä ei ole tarkoittanut niin suurta tinkimistä suorituskyvystä kuin voisi olettaa.
Uudet mallit teknologiapinossa
Kaksi julkaisua erottui tänä vuonna:
- DeepSeek R1 (tammikuu): päättelyyn keskittyvä malli, joka on tehokas insinööriagenteille. Se sopii päätöksentekopainotteisiin työnkulkuihin ja pitää työvaiheiden ketjut johdonmukaisina.
- Gemma 3 (maaliskuu): Googlen kyvykäs yleiskäyttöinen malli. Luotettava monitaituri rutiininomaisiin ja proseduraalisiin tehtäviin.
Käytämme LangGraph-kirjastoa agenttien pääasiallisena ohjaustyökaluna. Järjestelmässämme LLM:t toimivat päätöksentekijöinä: ne valitsevat, mitkä työkalut ajetaan, milloin iteroidaan ja tarvitaanko tulosten uudelleenkäsittelyä. Parametriset tiedot ja tietyt numeeriset arvioinnit hoidetaan perinteisillä koneoppimismalleilla, mutta LLM ohjaa kokonaisuutta.
Kun parempi malli tekee vanhoista kikkailuista turhia
Mielenkiintoinen havainto tältä keväältä: kun kytkimme uudempia malleja vanhoihin prosesseihin, tulokset olivat muutamassa tapauksessa niin paljon parempia, että kokonaiset RAG-vaiheet (Retrieval-Augmented Generation) kävivät kyseisessä tehtävässä tarpeettomiksi.
Esimerkiksi eräässä vanhassa maaperätutkimusten tulkintaprosessissa uusi multimodaalinen yleismalli tuotti parempia yhteenvetoja ja johtopäätöksiä ilman viitedokumenttien käyttöä. Vanha malli tarvitsi yksityiskohtaisen RAG-asetuksen päästäkseen lähelle tätä tasoa. Tämä ei tietenkään päde aina, ja monimutkaisissa tai erikoistuneissa tehtävissä RAG on edelleen järkevä. Havainto kuitenkin muistuttaa, että mallien kehitys voi yksinkertaistaa järjestelmiä.
Paikallinen ajaminen on helpompaa kuin luulet
Et tarvitse eksoottista laitteistoa näiden mallien ajamiseen. Tavallinen NVIDIA RTX 4080 (monen pelitietokoneen näytönohjain) pyörittää moderneja keskikokoisia kielimalleja 40–70 tokenia sekunnissa, mikä riittää hyvin reaaliaikaisiin insinöörityön prosesseihin.
Työnkulkumme näyttävät usein välituloksia ajon aikana, joskus visuaalisina päivityksinä. Latenssissa ei ole kyse vain LLM:n nopeudesta vaan koko järjestelmän vasteajasta, ja modernit näytönohjaimet tekevät tästä käytännöllistä.
Miksi jatkamme tällä tavalla
Paikalliset mallit antavat meille mahdollisuuden:
- Pitää asiakasdata täysin yksityisenä
- Välttää riippuvuutta ulkoisista API-palveluista
- Kokeilla erittäin monimutkaisia iteratiivisia työnkulkuja ilman lisäkustannuksia pilvipalveluista
- Ajaa malleja turvallisesti myös ilman internet-yhteyttä
Milloin valita paikallinen vs. pilvipalvelu
- Datan arkaluonteisuus: säännellyt tai luottamukselliset tietoaineistot, vaatimukset datan pitämisestä omissa tiloissa tai asiakassopimukset, jotka rajoittavat ulkoisia tekoälypalveluita
- Latenssi ja hallinta: interaktiiviset agenttisilmukat, reuna- tai offline-toiminta tai kun tarvitset tarkkaa kontrollia suorituksesta
- Mallin erikoistuminen: pilvipalvelumalli suoriutuu selvästi paremmin tietystä tehtävästä kuin saatavilla olevat avoimet mallit, tai tarvitaan omaa työkaluketjua
- Kustannukset ja skaalautuvuus: vakaa, ennustettava käyttö, jossa omat GPU:t ovat kustannustehokkaita; vaihtelevat kuormitukset voivat suosia pilvipalvelua
Paikalliset mallit eivät ole aina oikea työkalu: joissakin tapauksissa erikoistunut pilvipalvelumalli on tietosuojakompromissin arvoinen. Vakioiduissa yksinkertaisista alitehtävistä koostuvissa ja toistuvissa työnkuluissa paikallinen lähestymistapa voi olla erityisen tehokas.
Insinöörityössä parhaat työkalut ovat niitä, jotka asettuvat osaksi työnkulkua ja antavat keskittyä ongelmaan prosessin sijaan. Tämän vuoden malliparannukset ovat tehneet siitä hieman helpompaa. Katsotaan, mitä seuraavat julkaisut tuovat.
Tarvitsetko asiantuntijaratkaisuja? Tutustu Crestian palveluihin jo tänään.