Yleiskatsaus

AI Knowledge perustuu Retrieval-Augmented Generation -tekniikkaan (RAG), joka on kehittynyt tekoälymenetelmä ja tehostaa suuria kielimalleja (LLM) hakemalla dynaamisesti tietoa määritellyistä lähteistä reaaliajassa. Toisin kuin tavalliset tekoälymallit, jotka nojaavat vain aiemmin koulutettuun dataan, RAG hakee dynaamisesti relevantteja dokumentteja määritetyistä tietokannoista ennen vastauksen luomista. Tämä varmistaa, että tekoälyn tuottamat vastaukset ovat paitsi kontekstuaalisesti tarkkoja myös ajantasaisia, mikä tekee tästä teknologiasta erityisen hyödyllisen IT-palveluhallinnassa (ITSM) ja yritysympäristöissä, joissa tieto muuttuu jatkuvasti.

Matrix42 tarjoaa joustavia käyttöönottovaihtoehtoja tekoälypohjaisille ratkaisuille. Kun käytetään CAI (Conversational AI) -alustaa, jonka luonnollisen kielen käsittelyn (NLP) ja suuren kielimallin (LLM) komponentit toimivat paikallisesti — täysin Matrix42:n omistamina ja ylläpitäminä — mitkään ulkoiset palveluntarjoajat eivät ole mukana missään datan käsittelyvaiheessa. Kaikki data pysyy asiakkaan omassa infrastruktuurissa tai hyväksytyissä Matrix42:n isännöimissä ympäristöissä (esim. EU:n alueella), mikä varmistaa täyden hallinnan infrastruktuurista, datavirrasta ja vaatimustenmukaisuudesta.

Vaihtoehtoisesti asiakkaat voivat valita ulkoisten LLM-palveluntarjoajien integroinnin, kuten Azure OpenAI Servicen tai OpenAI:n. Tällöin käyttäjän syöte ja vastauksen luomiseen tarvittava konteksti siirretään valitun palveluntarjoajan infrastruktuuriin ja käsitellään sen alueellisten isännöinti- ja tietosuojakäytäntöjen mukaisesti.

Matrix42 GenAI voi tehostaa AI Knowledgea hyödyntämällä Retrieval-Augmented Generation -tekniikkaa (RAG). Tämän ansiosta loppukäyttäjät saavat tarkkoja, kontekstitietoisia vastauksia organisaation sisäisen tiedon perusteella, kuten:

• IT-palveludokumentaatio.
• Tietokannat.
• Yrityksen käytännöt.
• Sisäiset tietovarastot (wikit, PDF-tiedostot, Confluence ja strukturoidut tietolähteet).

Malli varmistaa, että vain valtuutettua ja relevanttia tietoa haetaan ja jaetaan, mikä parantaa itsepalveluominaisuuksia ja vähentää IT-tukitiimien työkuormaa.

Mahdolliset widget-upotukset:

• M42 Self service -portaali
• MS Teams
• Verkkosivu (julkinen, sisäinen)

Tietolähteet

AI Knowledge tukee seuraavia tietolähteitä:

• M42 Core/Pro and Enterprise
• SharePoint
• Confluence
• DokuWiki
• HelpJuice
• Verkkosivut – tukee sivuja, joiden elementtejä ei generoida dynaamisesti.
• Paikalliset tiedostot – tuetut muodot: CSV, XLS/XLSX, DOCX, PDF.

Käytettävissä olevat ajoympäristöt

• M42 local GenAI (Suomi, Saksa)
• Tuo oma malli (Bring Your Own Model) (Azure OpenAI / OpenAI)

Lisäominaisuudet

Palomuuri

Järjestelmässä on tietoturvamekanismeja, jotka rajoittavat pääsyä luvattomiin resursseihin ja hallitsevat datavirtaa tietoturvan varmistamiseksi. Palomuuri voi perustua OpenAI:hin, Azure OpenAPI -ajoympäristöön tai paikalliseen luokittelumalliin.

Link Downloader

• Mahdollistaa verkkosivun sisällön lataamisen sivulta, johon käyttäjän käyttämä widget on upotettu.
• Tukee sivuja, joilla on staattista sisältöä.  

Reranking

• Mekanismi, joka järjestää dokumentit niiden relevanssin perusteella annettuun kyselyyn nähden.
• Parhaiden dokumenttien valinta promptia varten relevanssipisteytyksen perusteella.

Full-Text Search (FTS)

• Koko tekstin haku, joka mahdollistaa relevanttien tekstikatkelmien hakemisen dokumenteista ja tiedostoista.

Järjestelmän työnkulku

1.  Käyttäjä lähettää kyselyn – vuorovaikutus tapahtuu widgetin tai muun järjestelmäliittymän kautta.
2. Upotuksiin (embedding) perustuva haku – kysely koodataan vektoriksi ja verrataan tietokannassa oleviin olemassa oleviin dokumentteihin.
3. Järjestely ja uudelleenjärjestely (reranking) – järjestelmä järjestää tulokset relevanssin perusteella.
4. Parhaat dokumentit sisällytetään promptiin – valittua sisältöä käytetään vastauksen muodostamiseen.
5. Vastauksen luonti GPT:llä – malli luo vastauksen järjestelmäpromptin ohjeiden ja valittujen dokumenttien perusteella.

Kontekstin käsittely

•  Järjestelmä tukee jatkokysymyksiä, joten käyttäjät voivat jatkaa keskustelua kontekstin säilyessä.
• Mahdollisuus poistaa konteksti käytöstä riippumattomia vastauksia varten. 

Automaattinen tietojen päivitys

• Mahdollisuus hakea tietoa uudelleen säännöllisesti, esim. verkkosivuilta.
• Varmistaa ajantasaisen tiedon aikataulutettujen lähdepäivitysten avulla.

Tietojenkäsittely ja yksityisyys

• Matrix42 käsittelee ainoastaan sitä dataa, joka on tarpeen relevantin ja tarkan vastauksen tuottamiseksi. Tähän kuuluu tyypillisesti käyttäjän syöte (kysely), sovellettavat kontekstuaaliset attribuutit M42 Pro -alustalta sekä organisaation tietokannasta haettu relevantti sisältö.
• Oletusarvoisesti keskustelutallenteet säilytetään 12 kuukauden ajan. Tätä säilytysaikaa voidaan mukauttaa asiakkaan toiveiden tai sisäisten käytäntöjen mukaan. Vuorovaikutuksen aikana kerättyä dataa ei käytetä tekoälymallien kouluttamiseen. Matrix42 ei käsittele, tallenna tai lataa mitään arkaluonteista tai henkilökohtaista dataa enempää kuin mitä vastauksen tuottaminen ehdottomasti edellyttää.

Seuraavat tietopisteet tallennetaan järjestelmälokeihin auditointia ja valvontaa varten:

question – käyttäjän kysymys.

response – edellinen vastaus, joka mahdollistaa kontekstin jatkuvuuden.

sessionId – keskustelusession yksilöivä tunniste.

addressIp – käyttäjän IP-osoite (jos saatavilla).

startTime – aikaleima, joka merkitsee session alkamisajan.

processingTime – vastauksen tuottamiseen kulunut aika [s].

rawQuestion – käyttäjän lähettämä alkuperäinen syöte.

rawResponse – tekoälymallin tuottama käsittelemätön vastaus.

AI Knowledge - yleiskuva arkkitehtuurista

FAAS (Function as a Service) – tämä on sisäinen moduuli, joka vastaa viestinnästä mallien ja ulkoisten alustojen kanssa. Se on täysin mukautettavissa, ja ulospäin jaettava data on määriteltävä selkeästi tässä moduulissa. Mukautus tehdään projektissa ja se johdetaan siitä, mitä halutun vastauksen tuottaminen edellyttää: käyttäjän kysymys, järjestelmäprompti ja data vektoripohjaisesta tietokannasta. Mallilla tai millään ulkoisella alustalla ei ole suoraa pääsyä dataan

MS Teams -integraation tekninen arkkitehtuuri (Knowledge Discovery)

Käyttäjän vuorovaikutuskerros

Microsoft Teams App

• Organisaation käyttäjien asentama räätälöity Teams-sovellus.
• Toimii ensisijaisena käyttöliittymänä Knowledge Discoveryn kanssa toimimiseen.
• Tarjoaa sekä chat-pohjaisia että mahdollisesti adaptiivisiin kortteihin perustuvia vuorovaikutuksia.

Azure Bot Service

• Käsittelee Teamsista saapuvat viestit.
• Suorittaa aikomuksen tunnistuksen, todennuksen ja reitityksen taustajärjestelmiin.
• Voi tarvittaessa käynnistää proaktiivisia viestejä (esim. muistutukset, tikettipäivitykset).

Azure-pilvi-infrastruktuuri

Azure Resource Group

• Looginen säiliö, joka hallinnoi kaikkia siihen liittyviä Azure-resursseja.

Azure Bot

• Rekisteröity botti, joka integroituu Microsoft Teamsiin Bot Frameworkin kautta.
• Muodostaa yhteyden Web Appiin liiketoimintalogiikan käsittelyä tai ulkoisiin API-rajapintoihin pääsyä varten.

Azure Web App (Node.js in Docker)

• Keskeinen taustajärjestelmän sovellus.
• Isännöity kontitettuna Node.js-sovelluksena Azure App Servicen kautta.
• Käsittelee:
  • Todennus ja valtuutus
  • Vuoropuhelun tilan hallinta
  • Reitityslogiikka
  • Integraatio GenAI:n / Rail APIn kanssa

Azure Container Registry

• Isännöi Web Appin käyttämiä Docker-image-tiedostoja.
• Tukee CI/CD-työnkulkuja ja versioituja julkaisuja.

Azure Cosmos DB (NoSQL)

• Säilyttää pysyvästi:
  • Keskusteluhistoria
  • Käyttäjän asetukset ja profiilit
  • Metatiedot käynnissä olevista sessioista

Integraatiokerros

• Matrix42 Conversational AI Platform
  • Toimii keskitettynä tekoälyn ohjauskeskuksena.
  • Vastaanottaa luonnollisen kielen syötteitä ja rikastaa niitä käyttäen:
  • M42 GenAI tai kolmannen osapuolen LLM:t
    • Retrieval-Augmented Generation (RAG)
    • Kontekstuaalinen muisti aiemmista sessioista
    • Julkaistu suojattujen HTTP(S)-päätepisteiden kautta.
• Rail API (Integration Middleware)
  • Normalisoi pyynnöt/vastaukset Conversational AI -kerroksen ja ulkoisten järjestelmien välillä.
  • Käsittelee todennuksen, pyyntöjen muunnokset ja välimuistituksen.
  • Reitittää kohteisiin:
    • M42 Enterprise Service Management (ESM)
    • Muut tarvittavat taustajärjestelmät
    • M42 Enterprise Service Management (ESM)
      • Tarjoaa palvelupyyntöjen toteutuksen, CMDB-kyselyt, tilapäivitykset jne.
      • Toimii ensisijaisena taustajärjestelmänä toiminnallisille käyttötapauksille.

Tietoliikenneprotokollat

• HTTPS
  • Ensisijainen protokolla suojattuun tiedonsiirtoon välillä:
    • Teams ↔ Azure Bot
    • Azure Bot ↔ Web App
    • Web App ↔ Rail API & ESM
    • Teams ↔ GenAI-päätepisteet Web Appin kautta
• WebSocket (Optional/Pluggable)
  • Reaaliaikaisiin vuorovaikutuksiin tarvittaessa (esim. LLM-vastausten striimaus tai elävät kirjoitusilmaisimet).

Tekoäly- ja Knowledge Discovery -kerros

• M42 GenAI + RAG Stack
  • Yhdistää:
    • Suuri kielimalli (esim. GPT, Phi)
    • Dokumenttien hakumoduulit toimialakohtaisiin vastauksiin
  • Kysyy sisäistä dokumentaatiota ja tietolähteitä tarkkojen vastausten löytämiseksi.
• Tuetut tietolähteet:
  • SharePoint (modern/classic)
  • Atlassian Confluence
  • DokuWiki
  • Sisäiset verkkosivut (crawlerin tai liittimen kautta)
  • PDF-, Word-, HTML- ja Markdown-dokumentit
  • Strukturoidut tietokannat

Päästä-päähän-työnkulku

1. Käyttäjä lähettää viestin Teamsissa
2. Azure Bot vastaanottaa ja jäsentää syötteen.
3. Bot välittää pyynnön Web Appille, joka hoitaa:
   1. Käyttäjän/session validoinnin
   2. Tekoälyrikastuksen Conversational AIn kautta
4. Conversational AI käyttää GenAI + RAG-tekniikkaa:
   1. Kysymyksen tulkitsemiseen
   2. Relevantin organisaatiosisällön hakemiseen
   3. Ihmismäisen vastauksen muodostamiseen
5. Jos toimenpide vaaditaan (esim. tiketin luonti), Web App reitittää pyynnön Rail APIlle, joka yhdistää ESM:ään.
6. ESM palauttaa dataa/tuloksia, jotka välittyvät takaisin Teamsiin käyttäjälle näytettäväksi.
7. Web App tallentaa keskustelun kontekstin Cosmos DB:hän parantaakseen tulevia vuorovaikutuksia.

Arkkitehtuurin visualisointi