Merenje uticaja digitalne obuke ne svodi se samo na to koliko je ljudi ušlo u kurs ili koliko ih ga je završilo. Za odgovorne za obuku, HR i menadžere, važno pitanje je drugo: šta se menja u radu nakon učenja. Ako obuka nije povezana sa učinkom, teško je opravdati njenu vrednost i, pre svega, unaprediti je.
Dobra vest je da nije potrebno čekati velike projekte analitike da bi se procena poboljšala. Uz jednostavan okvir, nekoliko dobro izabranih metrika obuke i dosledno tumačenje podataka, moguće je približiti evaluaciju učenja stvarnim poslovnim rezultatima. Cilj nije meriti radi samog merenja, već razumeti koji deo korporativne obuke doprinosi vidljivim poboljšanjima.
U digitalnoj obuci izazov je razlikovati aktivnost, učenje i primenu. To su tri različita nivoa. Osoba može završiti kurs a da nije promenila način rada, ili može usvojiti ključnu ideju i primeniti je na radnom mestu iako se ne istakne na testu. Zato je korisno proveravati uticaj kroz više signala istovremeno.
Počnite tako što ćete definisati šta znači uticaj
Pre nego što otvorite kontrolne table, korisno je dogovoriti šta želite da poboljšate. Produktivnost? Kvalitet? Manje grešaka? Veća brzina u konkretnim procesima? Bez te definicije, ROI obuke postaje suviše apstraktan.
Merenje najbolje funkcioniše kada se svaka obuka poveže sa operativnim ciljem. Ne radi se o tome da se poboljšanje pripiše isključivo obuci, već da se utvrdi da li postoji razuman pomak u indikatorima učinka vezanim za naučeni sadržaj. Taj odnos daje smisao evaluaciji.
Takođe pomaže da se razlikuju pokazatelji procesa i pokazatelji rezultata. Prvi pokazuju da li se obuka koristi i završava. Drugi pokazuju da li se nešto menja u svakodnevnom radu. Obe vrste su korisne, ali nemaju jednaku težinu.
Koje metrike obuke vredi pratiti
Najosnovnije metrike i dalje su korisne, pod uslovom da se same po sebi ne tumače kao dokaz uticaja. Završavanje, vreme provedeno u učenju, stope pristupa ili učešće u aktivnostima pomažu da se razume korišćenje digitalne obuke, ali ne dokazuju poboljšanje učinka.
Da biste se približili stvarnoj vrednosti, treba posmatrati i evaluaciju učenja. Tu ulaze rezultati testova, praktičnih vežbi, simulacija ili provera usvojenosti gradiva. Ako osoba napreduje u znanju, ali to ne prenosi na svoje radno mesto, još uvek ne vidimo potpuni uticaj.
Još jedan koristan signal jeste promena ponašanja. Na primer, ako nakon obuke timovi bolje primenjuju proceduru, smanjuju broj incidenata ili koriste alat sa većom samostalnošću, metrika počinje da odražava operativnu promenu. U tom trenutku više nije važno samo koliko se uči, već i šta se sa tim učenjem radi.
Pokazatelji učinka koji zaista daju kontekst
Pokazatelje učinka treba birati prema cilju obuke. U prodajnom timu to mogu biti metrike povezane sa kvalitetom razgovora, doslednošću procesa ili smanjenjem grešaka. U operativnim oblastima to mogu biti vremena odziva, incidenti ili dodatni rad. U korisničkoj podršci to mogu biti rešavanje pri prvom kontaktu ili kvalitet usluge.
Važno je izbegavati generičke metrike koje nemaju veze sa razvijanom kompetencijom. Ako obuka obrađuje konkretnu veštinu, indikator treba da bude blizu te veštine. Što je veza direktnija, to će interpretacija biti korisnija.
Takođe je korisno porediti uporedive periode, a ne gledati samo jednu izolovanu sliku. Digitalna obuka obično daje postepene efekte, a poređenje pre-posle ili između grupa koje su bile i nisu bile izložene pomaže da se podaci bolje protumače. Nije potrebna ekstremna složenost, ali jeste dobar kriterijum.
Kako tumačiti ROI obuke bez prevelikog pojednostavljivanja
Govorenje o ROI obuke može biti korisno, ali samo ako se radi pažljivo. Povrat se ne izražava uvek kroz direktnu uštedu ili trenutni prihod. Ponekad se vidi u manje grešaka, manjoj zavisnosti od podrške, kraćem vremenu prilagođavanja ili većoj samostalnosti timova.
Da se ne bi preuveličalo, korisno je odvojiti vidljive koristi od pretpostavki. Jedno je uočiti poboljšanje, a drugo tvrditi da celo poboljšanje dolazi od obuke. U poslovnim okruženjima utiče mnogo faktora: opterećenje poslom, promene procesa, liderstvo, alati ili tržišni kontekst. Korisno merenje prihvata tu složenost.
Zato je, umesto traženja savršene cifre, obično bolje graditi priču zasnovanu na podacima: koji je problem postojao, šta je obučavano, šta se promenilo, koji se indikator pomerio i koji deo se razumno može pripisati intervenciji. Taj niz je čvršći od izolovanog proračuna.
Koje kvalitativne signale ne biste smeli da ignorišete
Ne vidi se sav uticaj u tabeli. Kratki razgovori sa menadžerima, komentari učesnika ili posmatranje promena na radnom mestu daju kontekst podacima. Ponekad mala promena u metrikama prikriva značajnu promenu u načinu rada.
Ključ je da se ovi signali prikupljaju na uređen način. Ako više odgovornih osoba primećuje manje nedoumica, veću samostalnost ili dosledniju primenu procedure, ta informacija dopunjuje kvantitativno tumačenje. Evaluacija učenja je bolja kada kombinuje brojke i kontekst.
Uz to, kvalitativni signali pomažu da se otkriju prepreke. Ako se obuka završi, ali se ne primenjuje, možda problem nije u sadržaju, već u nedostatku vremena, podrške ili prenošenja na radno mesto. Merenje služi i za korekciju dizajna.
Praktičan okvir za bolju evaluaciju
Jednostavan pristup može početi sa četiri pitanja: šta je obuka trebalo da promeni, šta se desilo sa učenjem, šta se promenilo u ponašanju i kakvu evoluciju pokazuju pokazatelji učinka. Ako se ta četiri elementa poklope, interpretacija uticaja je mnogo jasnija.
Uz takav okvir, merenje prestaje da bude administrativni zadatak i postaje alat za unapređenje. Omogućava da se odluči koji kursevi treba da ostanu, koji sadržaji treba da se ojačaju i gde treba prilagoditi iskustvo učenja. Takođe pomaže da se bolje razgovara sa poslovnim delom organizacije, jer povezuje obuku sa rezultatima koje je lako razumeti.
Na tom putu, rešenja za digitalnu obuku kao što su SmartMobile i sadržaji po meri koje nudi FIT Learning Systems mogu olakšati i iskustvo učenja i praćenje njegove upotrebe i evolucije. A ako se dodatno oslonite na asistente kao što je ADI Nex, lakše je pretvoriti interno znanje u primenljivo i merljivo učenje.
