Pienyrityksen omaan tietoon perustuva AI-haku – kevyt RAG-ratkaisu ilman raskasta pilviympäristöä

Pienessäkin yrityksessä voi olla yllättävän paljon tietoa. Sitä kertyy verkkosivuille, PDF-tiedostoihin, työohjeisiin, tuotekuvauksiin, tarjouksiin, asiakaspalvelun vastauksiin ja erilaisiin yritysjärjestelmiin.

Ongelma ei aina ole tiedon puute. Ongelma on se, että tietoa on vaikea löytää silloin, kun sitä tarvitaan.

Työntekijä etsii oikeaa ohjetta useasta kansiosta. Asiakaspalvelu vastaa samoihin kysymyksiin yhä uudelleen. Tärkeä tieto voi olla vain yhden henkilön muistissa. Verkkosivuilla on paljon hyödyllistä sisältöä, mutta asiakas ei löydä oikeaa artikkelia tai jaksa lukea useita pitkiä sivuja.

Tekoälyyn yhdistetty tiedonhaku voi auttaa tässä. Pienyrityksen ei kuitenkaan tarvitse aloittaa rakentamalla raskasta AWS-, Microsoft Azure- tai Google Cloud -ympäristöä.

RAG (Retrieve and Generate) -ratkaisut mahdollistavat tiedon tehokkaan haun ja käsittelyn ilman raskasta pilvi-infrastruktuuria, mikä tekee niistä erityisen soveltuvia pienyrityksille. Tämä lähestymistapa yhdistää tiedon palauttamisen ja generoinnin, parantaen tiedon saatavuutta ja käyttöä asiakaspalvelussa sekä muissa liiketoimintaprosesseissa.

Ensimmäinen ratkaisu voidaan usein toteuttaa paljon kevyemmin.

Mikä on RAG? Tavallinen tekoäly, RAG ja suhde AI-agenttiin

Mitä RAG tarkoittaa?

RAG on tapa antaa tekoälylle käyttöön yrityksen omaa, valittua tietoa.

Lyhenne tulee englannin sanoista *Retrieval-Augmented Generation*. Käytännössä kyse on tiedonhakuun perustuvasta tekoälyvastauksesta.

Kun käyttäjä esittää kysymyksen, järjestelmä:

1. etsii kysymykseen liittyvät tiedot yrityksen omista aineistoista
2. valitsee olennaiset tekstikohdat
3. antaa ne kielimallille vastauksen pohjaksi
4. muodostaa käyttäjälle ymmärrettävän vastauksen
5. näyttää mahdollisuuksien mukaan myös käytetyt lähteet

RAG-ratkaisussa kielimallia ei yleensä kouluteta uudelleen yrityksen dokumenteilla. Sen sijaan yrityksen aineistosta haetaan juuri kysymyksen kannalta olennaiset kohdat vastausta muodostettaessa.

Tavallinen tekoälypalvelu vastaa pääasiassa mallin yleisen osaamisen perusteella. RAG-ratkaisussa vastauksen tueksi tuodaan yrityksen omia verkkosivuja, ohjeita, dokumentteja tai järjestelmätietoja.

RAG ei myöskään ole sama asia kuin AI-agentti.

RAG hakee ja tuo tiedon käytettäväksi. AI-agentti voi käyttää tätä tietoa arviointiin, työkalujen käyttämiseen ja tehtävän viemiseen eteenpäin.

Amazon kuvaa RAG-mallin samalla perusperiaatteella: tietolähteistä haetaan olennaista tietoa, jolla kielimallin tuottaman vastauksen osuvuutta ja tarkkuutta parannetaan.

RAG ei siis ole uusi kielimalli eikä itsenäinen digitaalinen työntekijä. Se on tapa antaa tekoälylle oikeat mapit ja dokumentit luettavaksi ennen vastaamista.

Mihin pienyritys voisi käyttää RAG-ratkaisua?

Ensimmäisen käyttötapauksen ei tarvitse olla suuri tai monimutkainen.

RAG-ratkaisua voidaan käyttää esimerkiksi:

• yrityksen verkkosivujen AI-hakuna
• asiakaspalvelun vastausten tukena
• henkilöstön työohjeiden etsimisessä
• tuotteiden ja palveluiden tietopalveluna
• teknisten käyttöohjeiden hakuna
• myynnin ja tarjoustyön tukena
• perehdytysaineiston hyödyntämisessä
• sisäisten toimintatapojen ja prosessien hakupalveluna
• AI-agenttien tietolähteenä

Esimerkiksi asiakas voisi kysyä yrityksen verkkosivulla:

> Soveltuuko tämä palvelu kymmenen henkilön valmistavalle yritykselle?

RAG-ratkaisu etsisi yrityksen omista palvelukuvauksista, usein kysytyistä kysymyksistä ja artikkeleista kysymykseen liittyvät kohdat. Tämän jälkeen kielimalli muodostaisi vastauksen niiden perusteella ja näyttäisi lähdesivut, joista tieto löytyi.

Sisäisessä käytössä työntekijä voisi kysyä:

> Miten reklamaatio käsitellään ja kuka hyväksyy hyvityksen?

Järjestelmä voisi hakea vastauksen yrityksen hyväksytystä prosessiohjeesta.

Näin RAG toimii käytännössä

RAG-ratkaisun toiminta voidaan kuvata yksinkertaisena ketjuna:

Kysymys → tiedonhaku → olennaiset tekstikohdat → kielimalli → vastaus ja lähteet

Taustalla tarvitaan kuitenkin hieman valmistelua.

Yrityksen dokumentit ja verkkosisällöt jaetaan yleensä pienempiin tekstikokonaisuuksiin. Niistä muodostetaan numeerisia esityksiä eli vektoreita, joiden avulla järjestelmä pystyy vertailemaan kysymyksen ja tekstien merkityssisältöä.

Tämän ansiosta haku ei perustu vain täsmälleen samoihin sanoihin.

Kysymys voi esimerkiksi koskea toimituksen viivästymistä, vaikka yrityksen ohjeessa käytettäisiin ilmaisua toimitusaikapoikkeama. Semanttinen haku voi löytää yhteyden sanojen erilaisuudesta huolimatta.

Microsoftin Azure AI Search yhdistää RAG-ratkaisuissa muun muassa vektorihaun, tekstihakujen ja nykyisin myös agenttimaisten hakuketjujen ominaisuuksia. Agenttimainen haku voi jakaa monimutkaisen kysymyksen useiksi alikysymyksiksi ja yhdistää niiden tulokset.

Pienyrityksen ensimmäisessä kokeilussa tällaista monimutkaisuutta ei yleensä tarvita.

Näin RAG toimii – kysymyksestä hakuun, vastaukseen ja jatkokysymykseen

RAG-ratkaisun tavalliset osat

Kevytkin RAG-ratkaisu sisältää yleensä seuraavat osat:

Tietolähteet

Tietolähteinä voivat olla esimerkiksi verkkosivut, artikkelit, PDF- ja Word-tiedostot, ohjeet, tuotetiedot ja myöhemmin myös yritysjärjestelmien tiedot.

Sisällön valmistelu

Teksti puhdistetaan ja jaetaan sopivan kokoisiin osiin. Samalla sisältöön voidaan liittää metatietoja, kuten dokumentin nimi, aihe, päivämäärä, osasto ja käyttöoikeus.

Embedding-malli

Embedding-malli muuttaa tekstikohdat vektoreiksi. Vektori on matemaattinen esitys tekstin merkityssisällöstä.

Vektoritietokanta

Vektorit tallennetaan tietokantaan, josta kysymystä merkitykseltään vastaavia sisältöjä voidaan hakea nopeasti.

Kielimalli

Kielimalli saa käyttäjän kysymyksen sekä haussa löydetyt tekstikohdat. Se muodostaa niiden perusteella vastauksen.

Käyttöliittymä

Käyttäjä voi esittää kysymyksen esimerkiksi verkkosivun chat-ikkunassa tai yrityksen sisäisessä palvelussa.

Miksi suuri pilviratkaisu voi olla pienyritykselle raskas?

AWS:n, Microsoft Azuren ja Google Cloudin palvelut eivät ole huonoja ratkaisuja. Ne tarjoavat valmiita, hallittuja ja hyvin skaalautuvia kokonaisuuksia.

Amazon Bedrock Knowledge Bases voi hoitaa RAG-prosessin tiedon tuonnista ja tekstin pilkkomisesta aina vektorointiin, hakuun ja vastauksen täydentämiseen asti. AWS tukee myös erilaisia tietolähteitä, embedding-malleja, metatietosuodatuksia ja RAG-ratkaisujen laadun arviointia.

Azure AI Search tarjoaa hallitun hakupalvelun, johon kuuluvat muun muassa vektorihaku, avainsanahaku, hybridihaku ja agenttimainen tiedonhaku.

Googlen RAG Engine tarjoaa vastaavasti hallitun ympäristön dokumenttien indeksointiin, embedding-laskentaan, tiedonhakuun ja laajojen RAG-ratkaisujen rakentamiseen. Google kuvaa hallittuja vektoriratkaisujaan erityisesti suurten dokumenttimäärien ja yritystason RAG-toteutusten vaihtoehtoina.

Pienyrityksen näkökulmasta raskaus ei kuitenkaan synny vain yhdestä palvelusta tai yhden kysymyksen hinnasta. Kokonaisuuteen voi kuulua:

• pilvipalvelutili ja sen hallinta
• käyttäjä- ja käyttöoikeusratkaisut
• tiedostojen tallennus
• hakupalvelu
• vektoritietokanta
• embedding-malli
• varsinainen kielimalli
• verkkoyhteydet
• lokitus ja valvonta
• varmuuskopiointi
• tietoturvan määrittely
• useasta palvelusta muodostuva laskutus
• ulkopuolisen asiantuntijan työ

Kun yrityksellä on muutamia kymmeniä tai satoja dokumentteja ja vain vähän käyttäjiä, täysi yritystason pilviarkkitehtuuri voi ylittää todellisen tarpeen.

Silloin on järkevää kysyä:

> Voidaanko käyttötapaus ensin testata pienemmällä, helpommin ymmärrettävällä ja kustannuksiltaan ennakoitavalla ratkaisulla?

Mistä kevyt RAG-ratkaisu voi muodostua?

Yksinkertaistettu pienyrityksen RAG-ratkaisu voisi muodostua esimerkiksi näin:

Yrityksen aineisto → Dify → vektoritietokanta → kielimallin rajapinta → vastaus ja lähteet

Dify tai Flowise kokoavana sovelluksena

Dify ja Flowise ovat avoimen lähdekoodin työkaluja, joiden avulla voidaan rakentaa RAG- ja AI-sovelluksia ilman, että kaikkea tarvitsee ohjelmoida alusta lähtien.

Niihin voidaan yhdistää:

• yrityksen dokumentteja
• verkkosisältöjä
• vektoritietokanta
• ulkoinen kielimalli
• hakulogiikka
• chat-käyttöliittymä
• myöhemmin myös työnkulkuja ja AI-agentteja

Dify on lähempänä valmista AI-sovellusalustaa. Flowise puolestaan tarjoaa joustavan visuaalisen ympäristön erilaisten AI-ketjujen ja agenttien rakentamiseen.

Pienyrityksen ensimmäiseen omaan tietoon perustuvaan hakupalveluun Dify voi olla suoraviivainen vaihtoehto.

On kuitenkin hyvä huomata, ettei itse ylläpidettävä Dify ole yksi pieni nettisivuston lisäosa. Sen Docker-asennus sisältää useita palveluita. Difyn nykyisissä asennusohjeissa Docker Compose -ympäristön vähimmäisvaatimukseksi ilmoitetaan vähintään kaksi prosessoriydintä ja neljä gigatavua muistia. Paikallisessa lähdekoodiasennuksessa suositellaan vähintään kahdeksan gigatavun alkuperäistä muistivarausta.

Tästä syystä AI-palvelu kannattaa usein sijoittaa pienelle erilliselle virtuaalipalvelimelle eikä samalle palvelimelle yrityksen tärkeimpien sivustojen ja tietokannan kanssa.

Vektoritietokanta

Kevyeen toteutukseen voidaan käyttää esimerkiksi Qdrant-vektoritietokantaa.

Vektoritietokannan tehtävä on tallentaa tekstien merkityksiä kuvaavat vektorit ja löytää käyttäjän kysymystä vastaavat tekstikohdat.

Muutaman sadan dokumentin aineisto on vektoritietokannalle hyvin pieni. Vektoritietokantaa ei siis välttämättä tarvita ensisijaisesti nopeuden vuoksi, vaan siksi, että se muodostaa selkeän ja laajennettavan perustan tiedonhaulle.

Ulkoinen kielimalli rajapinnan kautta

Pienyrityksen ei yleensä kannata yrittää ajaa suurta kielimallia omalla halvalla virtuaalipalvelimellaan.

Palvelin voi hoitaa:

• dokumenttien käsittelyn
• vektorihaun
• käyttöliittymän
• käyttöoikeudet
• lokituksen
• yhteydet eri tietolähteisiin

Varsinainen vastauksen muodostaminen voidaan antaa ulkoiselle kielimallille API-rajapinnan kautta.

Tällöin kustannuksia syntyy käytön mukaan. RAG pienentää lähetettävän aineiston määrää, koska kielimallille ei lähetetä kaikkia yrityksen dokumentteja vaan vain kysymyksen kannalta olennaiset tekstikohdat.

Kustannuksia ei kuitenkaan pidä arvioida pelkästään yhden vastauksen perusteella. Julkisessa palvelussa täytyy varautua myös robotteihin, väärinkäyttöön, pitkiin keskusteluihin ja kasvavaan käyttäjämäärään.

Kolme toteutustasoa

Pienyrityksen RAG-ratkaisua voi hahmottaa kolmen tason kautta.

1. Rajattu kokeilu

Sopii tilanteeseen, jossa:

* aineistoa on muutamia kymmeniä dokumentteja
* käyttäjiä on vähän
* käyttötapausta vasta testataan
* palvelu on henkilöstön käytössä tai salasanan takana

Toteutus voi sisältää:

* pienen erillisen virtuaalipalvelimen
* Difyn tai Flowisen
* avoimen lähdekoodin vektoritietokannan
* ulkoisen kielimallin
* ensimmäisen manuaalisen aineiston tuonnin

2. Kasvava yritysratkaisu

Sopii tilanteeseen, jossa:

* tietolähteitä on useita
* aineisto päivittyy säännöllisesti
* palvelulla on enemmän käyttäjiä
* käyttöoikeuksia pitää rajata
* järjestelmä yhdistetään WordPressiin, ERPiin tai CRM:ään

Toteutukseen lisätään esimerkiksi:

* automaattinen sisältöjen synkronointi
* käyttäjien tunnistaminen
* käyttöoikeudet
* lokitus ja seuranta
* varmuuskopiointi
* palvelun laadun mittaaminen
* omiin sivustoihin sopiva käyttöliittymä

3. Hallittu suuri pilviympäristö

Sopii tilanteeseen, jossa:

* aineistoa ja käyttäjiä on paljon
* ratkaisu on liiketoimintakriittinen
* tarvitaan tarkat palvelutasot
* yrityksellä on jo AWS-, Azure- tai Google Cloud -ympäristö
* tarvitaan valmiita yritystason käyttöoikeuksia ja valvontaa
* ylläpidon vähentäminen on tärkeämpää kuin mahdollisimman pieni kuukausikustannus

Kevyt ratkaisu ei siis ole aina paras. Suuri pilviympäristö ei myöskään ole aina tarpeettoman kallis.

Oikea valinta riippuu yrityksen koosta, aineistosta, käyttäjistä, tietoturvavaatimuksista, omasta osaamisesta ja palvelun kriittisyydestä.

Milloin AWS, Azure tai Google Cloud voi olla oikea valinta?

Hallittu pilvipalvelu voi olla perusteltu erityisesti silloin, kun yritys käyttää kyseistä alustaa jo muutenkin.

Esimerkiksi Microsoft 365- ja Azure-ympäristöön vahvasti sitoutuneelle yritykselle Azure AI Search voi yhdistyä luontevasti olemassa olevaan identiteetin hallintaan, tietolähteisiin ja pilvipalveluihin.

AWS voi olla luonteva vaihtoehto yritykselle, jonka sovellukset ja tietovarastot toimivat jo Amazonin ympäristössä.

Google Cloud voi puolestaan olla perusteltu, jos yrityksellä on valmiiksi Google Cloudin data-, analytiikka- tai AI-palveluita.

Suuri pilvialusta voi olla myös järkevä, kun:

* käyttäjämäärä kasvaa nopeasti
* aineistoa on erittäin paljon
* tarvitaan automaattista skaalautumista
* ratkaisu palvelee useita maita tai organisaatioita
* tietoturva- ja auditointivaatimukset ovat laajat
* ympärivuorokautinen saatavuus on välttämätön
* omasta palvelinylläpidosta halutaan luopua

Pienyrityksen ei kuitenkaan kannata rakentaa ensimmäistä kokeilua valmiiksi tuhansille käyttäjille, jos todellisia käyttäjiä on aluksi vain muutama.

RAG pk-yrityksessä – hyödyt ja rajat

Kevyt RAG-ratkaisu voi auttaa pienyritystä saamaan jo olemassa olevan tiedon paremmin käyttöön.

Mahdollisia hyötyjä ovat:

* tiedon löytyminen nopeutuu
* henkilöstön aikaa säästyy
* asiakaspalvelu saa yhtenäisempiä vastauksia
* verkkosivujen sisältö muuttuu kysyttäväksi tietopalveluksi
* ohjeita voidaan käyttää ilman pitkien dokumenttien selaamista
* uuden työntekijän perehdyttäminen helpottuu
* sama tietopohja voi palvella ihmisiä ja AI-agentteja

RAG ei kuitenkaan takaa automaattisesti oikeaa vastausta.

Vastausten laatu riippuu muun muassa:

* käytetyn aineiston laadusta
* aineiston ajantasaisuudesta
* dokumenttien rakenteesta
* tekstin pilkkomisesta
* hakumenetelmästä
* kielimallista
* järjestelmälle annetuista ohjeista

Vanha tai virheellinen dokumentti voi johtaa vanhaan tai virheelliseen vastaukseen.

Siksi hyvässä RAG-ratkaisussa:

* tietolähteet valitaan
* aineistoa päivitetään
* lähteet näytetään
* käyttöoikeudet rajataan
* vastauksia testataan
* järjestelmän sallitaan myös todeta, ettei riittävää tietoa löytynyt

RAG pk-yrityksessä – hyödyt, rajat ja suhde AI-agenttiin

RAG ei korvaa yrityksen tiedonhallintaa. Se voi kuitenkin tehdä hyvin hoidetusta tiedosta paljon helpommin käytettävää.

RAG ei ole AI-agentti

RAG:n ja AI-agentin ero on tärkeä ymmärtää.

RAG-järjestelmä hakee tietoa ja auttaa muodostamaan vastauksen. AI-agentti voi käyttää tätä tietoa osana laajempaa tehtävää.

Esimerkiksi:

RAG-ratkaisu

* hakee reklamaatio-ohjeen
* etsii toimitusehdot
* löytää tuotteen tekniset tiedot
* muodostaa vastauksen lähteiden perusteella

AI-agentti

* tunnistaa reklamaation käsittelytarpeen
* hakee RAG:n avulla oikean ohjeen
* tarkistaa tilauksen ERP-järjestelmästä
* laskee mahdollisen hyvityksen
* muodostaa ehdotuksen
* pyytää ihmisen hyväksynnän
* kirjaa hyväksytyn päätöksen järjestelmään
* seuraa asian etenemistä

Yksinkertaistettuna:

RAG tuo yrityksen tiedon käyttöön.

AI-agentti arvioi ja toimii. ->
Automaatio vie hyväksytyn tehtävän eteenpäin.

RAG voi siis olla tärkeä osa AI-agentin toimintaa, mutta RAG itsessään ei ole varsinainen digitaalinen työntekijä.

Näin pienyritys voi aloittaa

RAG-kokeilu kannattaa aloittaa rajatusta, todellisesta ongelmasta.

1. Valitse yksi käyttötapaus

Hyvä ensimmäinen käyttötapaus voi olla esimerkiksi:

* verkkosivujen AI-haku
* henkilöstön ohjehaku
* asiakaspalvelun tietopankki
* tuotteiden tekninen tietopalvelu
* perehdytysaineiston haku

Kysymys ei ole ensisijaisesti siitä, mitä kaikkea tekoäly voisi tehdä. Parempi kysymys on:

> Missä tiedon etsimiseen kuluu nyt tarpeettomasti aikaa?

2. Valitse rajattu aineisto

Ensimmäiseen kokeiluun voi riittää esimerkiksi 20–50 tärkeää dokumenttia tai verkkosivua.

Aineiston pitäisi olla:

* käyttökelpoista
* ajantasaista
* aiheeltaan yhtenäistä
* sellaista, jonka käyttöoikeudet tunnetaan
* riittävän laadukasta testaamiseen

Kaikkia yrityksen tiedostoja ei kannata siirtää järjestelmään kerralla.

3. Tee testikysymykset etukäteen

Ennen teknistä toteutusta kannattaa laatia esimerkiksi 30–50 kysymystä, joihin järjestelmän pitäisi pystyä vastaamaan.

Mukana pitäisi olla:

* helppoja kysymyksiä
* moniselitteisiä kysymyksiä
* jatkokysymyksiä
* kysymyksiä, joihin aineistossa ei ole vastausta
* kysymyksiä, joissa on vanhentuneen tiedon riski

Näin järjestelmän laatua voidaan arvioida muutakin kuin yleistä vaikutelmaa käyttäen.

4. Testaa suljetussa ympäristössä

Ensimmäistä versiota ei tarvitse julkaista heti kaikille asiakkaille.

Sitä voidaan testata:

* yrityksen sisäisesti
* rajatulla käyttäjäryhmällä
* salasanan takana
* erillisellä testipalvelimella
* ilman yhteyttä tuotantojärjestelmiin

Suljetussa kokeilussa voidaan selvittää:

* löytyykö oikea tieto
* pysyykö vastaus lähdeaineistossa
* näkyvätkö lähteet oikein
* ymmärtääkö järjestelmä yrityksen sanastoa
* miten nopeasti vastaukset syntyvät
* paljonko käyttö maksaa
* millaista palvelinkapasiteettia tarvitaan

5. Laajenna vasta osoitetun hyödyn perusteella

Kun rajattu kokeilu toimii, voidaan lisätä:

* uusia dokumentteja
* automaattisia sisältöpäivityksiä
* useampia käyttäjiä
* käyttöoikeuksia
* ERP- ja CRM-yhteyksiä
* AI-agentteja
* automaattisia työnkulkuja

Teknisen arkkitehtuurin pitäisi kasvaa todellisen tarpeen mukana, ei oletetun tulevaisuuden varalta.

Yhteenveto

Pienyrityksen ei tarvitse aloittaa RAG-ratkaisua suuryrityksen pilviarkkitehtuurista.

Ensimmäiseen kokeiluun voi riittää:

* yksi tarkasti rajattu käyttötapaus
* muutamia kymmeniä laadukkaita dokumentteja
* pieni erillinen virtuaalipalvelin
* avoimen lähdekoodin RAG-sovellus
* vektoritietokanta
* ulkoinen kielimalli
* suljettu testiympäristö

AWS:n, Microsoft Azuren ja Google Cloudin kaltaiset alustat ovat perusteltuja silloin, kun yrityksen koko, käyttötarve, integraatiot ja palvelutasovaatimukset niitä edellyttävät.

Niitä ei kuitenkaan tarvitse ottaa ensimmäisen kokeilun lähtökohdaksi.

Pienyrityksen kannattaa aloittaa pienimmästä ratkaisusta, jolla todellinen hyöty voidaan osoittaa turvallisesti.

RAG tuo yrityksen oman tiedon paremmin käyttöön. AI-agentti voi käyttää tätä tietoa toimintaan. Automaatio auttaa viemään hyväksytyt tehtävät eteenpäin.

Parhaimmillaan kyse ei ole vain uudesta hakutoiminnosta. Kyse on siitä, että yrityksen jo olemassa oleva tieto saadaan palvelemaan työntekijöitä, asiakkaita ja tulevia AI-agentteja nykyistä paremmin.