Tutkimustiedon arviointi
Määrällisen tutkimuksen arviointi
Määrällistä tutkimusta arvioitaessa keskeisiä käsitteitä ovat pätevyys ja luotettavuus.
- pätevyys eli validiteetti ilmaisee sen, miten hyvin tutkimuksessa käytetty mittausmenetelmä mittaa juuri sitä tutkittavan ilmiön ominaisuutta, mitä on tarkoituskin mitata. Esim. kysymys koulun ilmanvaihdosta ei vielä riitä mittaamaan sitä, kuinka hyvin opiskelijat viihtyvät koulussa.
- luotettavuus eli reliabiliteetti ilmaisee sen, miten luotettavasti ja toistettavasti käytetty mittari mittaa haluttua ilmiötä. Reliabiliteettia voidaan arvioida esim. mittaamalla samaa asiaa monta kertaa, ja vertaamalla näitä tuloksia toisiinsa. Luotettavalla mittarilla saadaan samanlaisia tuloksia eri tutkimuskerroilla ja eri henkilöiden toteuttamana.
Laadullisen tutkimuksen arviointi
Laadullisen tutkimuksen arvioinnissa käytetään siirrettävyyttä, totuudellisuutta, vahvistettavuutta ja uskottavuutta.
- siirrettävyys ilmaisee, kuinka helposti tutkimuksen tulokset ovat sovellettavissa myös muihin tilanteisiin ja tutkimuskohteisiin.
- totuudellisuus ilmaisee, kuinka hyvin tutkimuksen johtopäätökset kuvaavat tutkimuskohteena olevan ilmiön todellisuutta
- vahvistettavuus ilmaisee, kuinka paljon tehdyt tulkinnat ja johtopäätökset saavat tukea muista tutkimuksista
- uskottavuus ilmaisee, kuinka objektiivisesti tutkimus on toteutettu
Aineistonkeruumenetelmien edut ja heikkoudet
kysely:
+ aineiston kerääminen on helppoa
+ tehokkuus
– vastaajat eivät välttämättä vastaa totuudenmukaisesti
– yli- ja aliraportointi
– tieto on pinnallista
mittaukset:
+ tarkkuus
+ toistettavuus
– mittaajan ja laitteen virheet
– vaatii laitteita ja suuren työpanoksen
aikaisemmat aineistot, esim. rekisterit
+ aineiston kerääminen on helppoa
+ aineiston laajuus
+ sähköisyys ja anonyymius
– datan suuri määrä
– tulkintavaikeudet
haastattelu:
+ joustavuus, tarkennukset mahdollisia
+ syvällinen aineeseen perehtyminen
– vie paljon aikaa
– vastaajat eivät välttämättä vastaa totuudenmukaisesti
havainnointi:
+ käyttäytymisen tarkkailu luonnollisessa ympäristössä vastaa paremmin todellisuutta kuin tiukasti kontrolloitu laboratorioympäristö
– tutkittavan käyttäytyminen voi muuttua, jos hän tietää, että häntä tarkkaillaan
– vie paljon aikaa
Tutkimustuloksia vääristävät tekijät
Sekoittavat tekijät ovat tekijöitä, jotka vaikuttavat tutkittavaan ilmiöön ja häiritsee tulosten tulkintaa. Esimerkiksi jos tutkitaan tupakoinnin vaikutusta keuhkosyövän ilmaantuvuuteen, niin ulkoilman pienhiukkaset voivat olla sekoittava tekijä, jos osa tutkimukseen osallistujista tulee kaupungista ja osa maaseudulta.
Systemaattinen virhe aiheuttaa tuloksiin vääristymää. Systemaattinen virhe voi olla esimerkiksi se, että otanta ei ole koko perusjoukkoa edustava, vaan jollain tavalla valikoitunut.
Satunnaisvirhe kuuluu tutkimukseen, mutta sitä voidaan pienentää esim. aiempaa tarkemmilla mittalaitteilla.
Tutkimusraportin luotettavuuden arviointi
Tutkimuksen luotettavuutta arvioitaessa kannattaa siis kiinnittää huomiota seuraaviin seikkoihin:
- mikä on tutkijan koulutus, kokemus ja mahdolliset sidonnaisuudet?
- onko tutkimus julkaistu vertaisarvioidussa tiedelehdessä?
- onko tutkimuskysymys selkeä ja sopiiko tutkimusasetelma ja aineistonkeruumenetelmä kyseiseen kysymykseen vastaamiseen?
- onko tutkimuksen perustana oleva teoria selkeä ja uskottava?
- miten otos on suoritettu ja onko koehenkilöissä ollut katoa?
- onko mahdolliset sekoittavat tekijät ja systemaattinen virhe otettu huomioon?
- miten dataa on analysoitu?
- onko tulokset ja niiden tulkinta asianmukaisia?
- onko tutkimuksen eettistä näkökulmaa huomioitu?
Testaa tietosi
Perustehtävät
1. Selitä, mitä pätevyys ja luotettavuus tarkoittavat.
2. Mitä seikkoja otetaan huomioon laadullista tutkimusta arvioitaessa?
3. Mitkä tekijät voivat vääristää tutkimustuloksia?
1. Pätevyys eli validiteetti ilmaisee sen, miten hyvin tutkimuksessa käytetty mittausmenetelmä mittaa juuri sitä tutkittavan ilmiön ominaisuutta, mitä on tarkoituskin mitata. Esim. kysymys koulun ilmanvaihdosta ei vielä riitä mittaamaan sitä, kuinka hyvin opiskelijat viihtyvät koulussa.
Luotettavuus eli reliabiliteetti ilmaisee sen, miten luotettavasti ja toistettavasti käytetty mittari mittaa haluttua ilmiötä. Reliabiliteettia voidaan arvioida esim. mittaamalla samaa asiaa monta kertaa, ja vertaamalla näitä tuloksia toisiinsa. Luotettavalla mittarilla saadaan samanlaisia tuloksia eri tutkimuskerroilla ja eri henkilöiden toteuttamana.
2. Laadullisen tutkimuksen arvioinnissa käytetään siirrettävyyttä, totuudellisuutta, vahvistettavuutta ja uskottavuutta.
- siirrettävyys ilmaisee, kuinka helposti tutkimuksen tulokset ovat sovellettavissa myös muihin tilanteisiin ja tutkimuskohteisiin.
- totuudellisuus ilmaisee, kuinka hyvin tutkimuksen johtopäätökset kuvaavat tutkimuskohteena olevan ilmiön todellisuutta
- vahvistettavuus ilmaisee, kuinka paljon tehdyt tulkinnat ja johtopäätökset saavat tukea muista tutkimuksista
- uskottavuus ilmaisee, kuinka objektiivisesti tutkimus on toteutettu
3. Tutkimustuloksia voi vääristää sekoittavat tekijät, systemaattinen virhe ja satunnaisvirhe:
- Sekoittavat tekijät ovat tekijöitä, jotka vaikuttavat tutkittavaan ilmiöön ja häiritsee tulosten tulkintaa. Esimerkiksi jos tutkitaan tupakoinnin vaikutusta keuhkosyövän ilmaantuvuuteen, niin ulkoilman pienhiukkaset voivat olla sekoittava tekijä, jos osa tutkimukseen osallistujista tulee kaupungista ja osa maaseudulta.
- Systemaattinen virhe aiheuttaa tuloksiin vääristymää. Systemaattinen virhe voi olla esimerkiksi se, että otanta ei ole koko perusjoukkoa edustava, vaan jollain tavalla valikoitunut.
- Satunnaisvirhe kuuluu tutkimukseen, mutta sitä voidaan pienentää esim. aiempaa tarkemmilla mittalaitteilla.
Soveltava tehtävä
Lehti uutisoi tutkimustuloksia suklaan terveysvaikutuksista alla olevan tekstin tapaan. Mitä muita tietoja kyseisestä tutkimuksesta tulisi saada, jotta lukija voisi paremmin arvioida tutkimustulosten luotettavuutta? (yo syksy 2009)
- tutkimuksen aineistona on ollut 470 yli 65-vuotiasta miestä, joiden luonnehdinta jää vajaaksi:
- tutkimuksen tavoitteen kannalta on tärkeää tietää, millä lähtötasolla miesten verenpaine oli tutkimuksen alussa
- aineiston ikärakenteesta tulisi tietää myös keskiarvo tai mediaani
- seuranta-aika jää epäselväksi: kysyttiinkö ruokavaliosta jo lähtötilanteessa?
- teksti ei anna lukijalle riittävästi tietoa sovelletusta tutkimusasetelmasta
- tutkimusmenetelmät on uutisessa sivuutettu epätarkoilla ilmaisuilla:
- milloin verenpainetta mitattiin, mittasivatko miehet itse vai joku ammattilainen?
- kuinka monta kertaa verenpainetta mitattiin?
- mitä muita elintapoihin liittyviä seikkoja analyyseissa on huomioitu?
- tulosten tulkinnassa tarvitaan tietoa siitä, minkälaisia ryhmiä verrataan toisiinsa:
- viittaako fraasit “kolmasosa miehistä ei syönyt lainkaan kaakaota” ja “niiden, jotka eivät nauttineet kaakaota juuri lainkaan” samaan ryhmään?
- jos tutkimuksessa verrataan kaakaota käyttämättömien ja paljon kaakaota käyttävien verenpainetta toisiinsa, olisi tarpeen tietää, miten suuri oli paljon kaakaota käyttävien joukko
- onko aineisto vakioitu huomioon otettujen seikkojen (mm. iän ja painoindeksin) osalta?
- jää epäselväksi, onko syntynyt ero mitatuissa verenpaineissa tilastollisesti merkitsevä eikä vain sattuman tuottamaa vaihtelua. Tämä riippuu ryhmien koosta ja havaittujen muutosten suuruudesta suhteessa lähtöarvoihin
- onko kaakaon kulutuksen laskemisessa huomioitu vain suklaan määrä, vai myös sen laatu? Entä kaakaon juominen?
- tutkimuksen lähdetiedot puuttuvat uutisesta