Zanesljivost kvalitativne raziskave

Problem zanesljivosti kvalitativne raziskave. Nekateri avtorji zagovarjajo, da je kriterij zanesljivosti težko oziroma nemogoče doseči, saj je ponovljivost situacije nemogoča.

V prihodnje nameravam nekaj zapisov bolj sistematično posvetiti kriterijem kakovosti kvalitativne raziskave, a tokrat moram odgovoriti na vprašanje, zastavljeno ob srečanju s tretjo generacijo slušateljev VŠZNJ.
Zanesljivost raziskave je eden od več kriterijev kakovosti, "dobrosti" ali znanstvenosti raziskave; drugi kriteriji so veljavnost, objektivnost in drugi. V okviru "kvantitativnega" raziskovanja definirajo, da je raziskava zanesljiva, če so zanesljiva njena ugotavljanja dejstev oziroma če so zanesljivi njeni merski postopki. Merski postopek je tem bolj zanesljiv, čim bolj podobne rezultate da ob ponovljenih merjenjih iste značilnosti na isti populaciji. Zanesljivost se torej nanaša na stabilnost rezultatov oziroma na njihovo nespremenljivost v času oziroma - če merimo lastnost, ki se v času napovedljivo spreminja (veča ali manjša) - napovedljivo spreminjanje; v slednjem primeru je merilo zanesljivosti korelacija med ponovljenimi meritvami.
Problem ugotavljanja zanesljivosti, ki je omenjen v vprašanju, to je, da ni mogoče ponoviti situacije, velja tudi za kvantitativno raziskavo. Strogo vzeto nobena situacija ni v celoti ponovljiva, celo pri naravoslovnem eksperimentu ne. Ni mogoče natanko ponoviti vseh pogojev eksperimenta. Gre za to, ali so ponovljive bistvene značilnosti situacije. V tem smislu so meritve v naravoslovju ponovljive, v družboslovju pa mnogokrat sploh ne vemo, katere so bistvene značilnosti neke situacije in kaj mora ostati konstantno, da bi lahko rekli, da imamo opraviti z enako, čeprav ne isto situacijo. (Prav razlika med pojmoma "enako" in "isto" lepo nakaže, v čem je problem; ponovljena situacija nikoli ni ista, je pa lahko enaka po bistvenih značilnostih.)
Pri kvantitativnih raziskavah ta problem ugotavljanja zanesljivosti, to je, da situacije ne moremo ponoviti, rešimo na primer tako, da koreliramo odgovore na lihih postavkah testa z onimi na sodih (metoda dveh polovic -"split-half"-metoda), ali pa tako, da primerjamo rezultate dveh ali več slučajnostnih vzorcev, vzetih iz iste populacije. Čim bolj podobni so ti rezultati, tem bolj zanesljiva je tehnika merjenja.
Problem ponovljivosti torej ni samo problem kvalitativnih raziskav. Gotovo pa je pri teh še bolj poudarjen, zato ker pri kvalitativni raziskavi pogosto iščemo prav posebne, individualne, izjemne značilnosti situacije, osebe ali skupine. Po definiciji take izjemne situacije ni mogoče ponoviti. Zdi se, da je v takem primeru protislovno zahtevati zanesljivost opisa, saj ta predpostavlja - vsaj idealno - ponovljivost situacije. Kako naj torej ugotovimo, ali so naši opisi zanesljivi? Ali je ta zahteva sploh upravičena? Kaj pomeni zanesljivo opisati enkraten, neponovljiv zgodovinski dogodek, če zanesljivost definiramo kot ponovljivost ugotovitev? 
Tu se srečamo z velikim razponom kvalitativnih raziskav, ki vključujejo tako idiografske kot nomotetske raziskave; prve skušajo čim verneje opisati enkraten dogodek, druge skušajo odkriti splošne zakonitosti. Ali lahko zanesljivost definiramo tako, da bi upoštevala oboje?
Razprave o kakovosti kvalitativnih raziskav, ki so mi bile dosegljive (Seale 1999; Flick 1998; Denzin&Lincoln 1994), predpostavljajo, da nam gre pri raziskovanju za odkrivanje splošnih zakonitosti; ti avtorji se ne ukvarjajo z zanesljivostjo zgodovinskih raziskav.
Ker se  zavedajo problema ponovljivosti in da bi razlikovali ta problem pri kvalitativnih raziskavah od istega problema pri kvantitativnih, so pojem zanesljivosti nadomestili s pojmom "avditabilnosti". "Avdit" je izvirno pregled računov, torej računovodska revizija ali inspekcija. "Avditabilnost" je torej tako stanje računov, ki omogoča pregled in presojo, ali so v redu. Mislim, da bi bil vsebinsko ustrezen prevod, da gre za "sledljivost".
Raziskava je zanesljiva, če je sledljiva, to je, če lahko za njene ugotovitve pokažemo empirično gradivo, na katerem temeljijo, in postopek sklepanja, ki je do njih privedel.
Drug vidik zanesljivosti kot avditabilnosti je doslednost klasificiranja ali kodiranja. In tretji vidik je dejanska ponovljivost.
Doslednost kodiranja povečamo s konstantnim primerjanjem kod (kar je osnovno pravilo kodiranja), tako da se kode jasno razlikujejo med seboj in da se množice izjav, ki sodijo pod posamezne kode, ne prekrivajo. Doslednost kodiranja povečamo, če pri opazovanju in opisovanju interakcij uporabljamo konkretne ne abstraktnih izrazov. Pravimo, da uporabljamo "nizkoinferenčne deskriptorje" ne "visokoinferenčnih". Primer: Bolje je, če zapišemo "Janez je udaril Petra", kot če zapišemo "Janez je izrazil agresijo do Petra". Doslednost kodiranja povečamo, če uporabimo več koderjev, ki se pri kodiranju glede vsake kode uskladijo.
Raziskava je sledljiva, če lahko drug raziskovalec sledi pripovedi in pride do istih ali podobnih ugotovitev. V poročilu o raziskavi mora biti povsem razvidno opisana pot od začetka do konca raziskave, predvsem od empiričnega gradiva preko kodiranja, oblikovanja pojmov in kategorij do zaključnih ugotovitev oziroma do tentativne teorije.
Sled raziskovalnih odločitev mora biti jasna; jasno mora biti, kaj je raziskovalec storil in zakaj. Zgodba mora biti notranje skladna, logična. 
V nekaterih primerih je možno zanesljivost ugotovitev preverjati s ponovitvijo raziskave. Tu seveda ne bo šlo za ponovitev "v enakih pogojih", ampak zgolj za nekakšno ponovitev. Tako so bili poskusi, da bi preverili pretekle raziskave s ponovnim obiskom. Neki etnolog je obiskal Samoo, da bi preveril ugotovitve Margaret Mead o odraščanju na Samoi (Coming of Age in Samoa). Drugi je ponovno obiskal predmestje Chicaga, v katerem se je odvijala Whyteova raziskava o družbi na uličnem oglu (Street Corner Society). V obeh primerih te replikacije niso bile uspešne, saj sploh niso bile ponovitve, zgolj ponovni obiski istega kraja. Vsi pogoji so se spremenili, vključno z metodo opazovanja.
Zanesljivost kvalitativne raziskave torej lahko povečamo z doslednostjo kodiranja in sledljivostjo vseh sklepov, to je, popolno transparentnostjo. K temu prispevajo na primer vnaprej izdelani pripomočki, kot so obrazci za zapise ipd. (Mesec 1999).
Iz povedanega sledi, da je o zanesljivosti mogoče smiselno govoriti tudi pri zgodovinskih raziskavah. K večji zanesljivosti le-teh prispeva čim večje število relevantnih virov, njihova ureditev po relevantnosti, kakor tudi logično povezovanje informacij iz različnih virov.
Viri:
Denzin, N. K., Y. S. Lincoln (eds.). 1994. Handbook of Qualitative Research. London: SAGE publ.
Flick, U. 1998. Qualitative Forschung. Reinbeck: Rohwolt Verlag.
Mesec, B. 1998. Uvod v kvalitativno raziskovanje v socialnem delu. Ljubljana: Visoka šola za socialno delo.
Seale, C. 1999. The Quality of Qualitative Research. London: SAGE publ.