25 vuoden aikana kasvatustutkijana en ole koskaan nähnyt sellaista nopeaa uutta koulutusta koskevaa tutkimusta, jota olemme nähneet viime vuosina. No Child Left Behind -lain ja Institute of Education Sciencen osavaltioille myöntämien apurahojen ehkä tärkein sivutuote kouluvirastot ovat yhdistäneet opiskelijat opettajiin ja kouluihin ja seuranneet heidän saavutuksiaan ajan mittaan. Tutkijat eri puolilla maata ovat käyttäneet näitä tietoja tutkiakseen perinteisen opettajan sertifioinnin arvoa, opettajien työssäoppimisen astetta, peruskoulujen vaikutusta, opettajien koulutusohjelmien tehokkuutta jne. Suurin osa siitä on kuitenkin työ riippuu yksinkertaisesta, usein ilmoittamattomasta oletuksesta: että lyhyt luettelo koulutustietojärjestelmiin tallennetuista kontrollimuuttujista – aiemmat saavutukset, opiskelijoiden demografiset tiedot, englannin kielen oppijan asema, kelpoisuus liittovaltion tuettuihin aterioihin tai lahjakkaiden ja erityisopetuksen opiskelijoiden ohjelmiin – sisältää olennaiset tekijät, joiden mukaan opiskelijat lajitellaan opettajille ja kouluille. Jos he tekevät niin, tutkijat voivat tehokkaasti valvoa eroja eri opettajien tai eri kouluissa käyvien opiskelijoiden oppimisvalmiuksissa.
Mutta tekevätkö he? Vastauksella on valtavat panokset – ei vain opettajille. Jos olettamus vaikuttaa perustellulta, ymmärryksemme erilaisten koulutustoimien vaikutuksista laajenee edelleen nopeasti, koska pitkittäistietojärjestelmien olemassaolo alentaa dramaattisesti uuden tutkimuksen kustannuksia ja mahdollistaa laajan replikoinnin eri paikoissa. Kuitenkin, jos olettamus näyttää usein perusteettomalta, etenemisvauhti on välttämättä paljon hitaampi, koska tutkijat joutuvat siirtymään kalliisiin ja aikaa vieviin satunnaistettuihin kokeisiin. Milloin meidän pitäisi uskoa ohjelman vaikutuksiin tilastollisten kontrollien pohjalta ilman satunnaistettua tutkimusta? Vaikka se saattaa tuntua harmittomalta tilastokeskustelusta, vaakalaudalla on vain Yhdysvaltojen koulutuksen uudistamisen nopeus ja laajuus.
Vuonna 1986 Robert J. LaLonde vertasi ei-kokeellisia arvioita työharjoitteluohjelman vaikutuksista hyvinvoinnin saajiin satunnaisesti määritetyn vertailuryhmän mittaamaan ohjelman vaikutukseen (LaLonde 1986). Ansiovaikutukset, joita hän arvioi käytyään tilastollisilla menetelmillä kontrolloidakseen havaittuja eroja osallistujien ja ei-osallistuneiden välillä, olivat melko erilaisia kuin satunnaistetun kontrolliryhmän vaikutukset.yksiLaLonden havainnot ja niihin liittyvät toistot ovat johtaneet yleiseen skeptisyyteen ei-kokeellisia menetelmiä kohtaan koulutuksen ja työharjoittelun tutkimuksessa.
On kuitenkin mahdollista, että LaLonden havainnot on yleistetty liian laajasti. Esimerkiksi prosessi, jolla opiskelijat lajitellaan opettajille (tai kouluille) ja prosessi, jossa hyvinvoinnin saajat valitsevat koulutusohjelman, ovat melko erilaisia. Vaikka hyvinvoinnin saajan valinnan taustalla olevat syyt jäävät tutkijalle suurelta osin piiloon, on mahdollista, että koulujen tietojärjestelmät sisältävät juuri sitä dataa, jota opettajat tai rehtorit käyttävät ohjaaessaan oppilaita opettajille. Tietenkin on monia muita mittaamattomia tekijöitä, jotka vaikuttavat oppilaiden suoritukseen, kuten oppilaiden motivaatio tai vanhempien sitoutuminen. Mutta niin kauan kuin nämä tekijät ovat näkymättömiä niille, jotka tekevät opettaja- ja ohjelmatehtäviä koskevia päätöksiä, kyvyttömyytemme hallita niitä johtaisi epätarkkuuteen, ei harhaan (koska eri opiskelijaryhmät eivät eroaisi systemaattisesti näiden mittaamattomien ominaisuuksien suhteen).
Ottaen huomioon käytännön vaikeudet valita satunnaisesti oppilaita opettajille tai kouluille, mahdollisuudet toistaa LaLonden ei-kokeellisten arvioiden vertailu kokeellisiin arvioihin ovat olleet koulutuksessa harvinaisia - viime aikoihin asti. Useat viimeaikaiset julkaisut ovat esimerkiksi hyödyntäneet koulujen pääsyarvontoja vertaillakseen arvioita tiettyyn kouluun osallistumisen vaikutuksista käyttämällä arvontaan perustuvia vertailuryhmiä sekä tilastollisia kontrolleja vertaamaan eri kouluissa käyviä opiskelijoita. Abdulkadiroglu et ai. (2011) ja Angrist, Pathak ja Walters (2013) löysivät samanlaisia arvioita Bostonin alueen charter-koulun vuoden vaikutuksista riippumatta siitä, vertasivatko he charter-kouluun pääsyn loton voittajia ja häviäjiä vai vertasivatko he charter-osallistujia tavallisiin julkisen koulun oppilaisiin. samanlaisia havaittuja ominaisuuksia. Deutsch (2012) havaitsi myös, että Chicagon pääsylipun lottovoiton arvioitu vaikutus oli samanlainen kuin ei-kokeellisilla menetelmillä ennustettu vaikutus. Deming (2014) havaitsi, että ei-kokeelliset arviot koulujen vaikutuksista olivat puolueettomia ennustajia yksittäisten koulujen arpajaisiin perustuville vaikutuksille julkisessa kouluvalintajärjestelmässä Charlottessa, Pohjois-Carolinassa. Bifulco (2012) vertasi kahden magneettikoulun vaikutusta käyttämällä arvontaan perustuvaa kontrolliryhmää ja useita ei-kokeellisia kontrolliryhmiä. Kun kontrollimuuttujaksi lisättiin opiskelijoiden aikaisemmat saavutukset, ei-kokeelliset menetelmät tuottivat melko samanlaisia vaikutusestimaatteja kuin satunnaistehtäviin perustuvat arviot.
Tähän mennessä on tehty viisi tutkimusta, joissa on testattu harhaa yksittäisissä opettajavaikutusarvioissa. Näistä neljä – Kane ja Staiger (2008), Kane, McCaffrey, Miller ja Staiger (2013), Chetty, Friedman ja Rockoff (2014a) ja Rothstein (2014) – arvioi tietyn opettajan yhden ajanjakson lisäarvon ja muodostavat sitten ennusteita oppilaidensa odotetusta saavutuksista toisella jaksolla. Ensisijainen ero neljän tutkimuksen välillä on toisen jakson opettajien tehtävien lähde. Kanessa ja Staigerissa (2008) 78 opettajaparia Los Angelesissa samoilla luokilla ja kouluissa jaettiin satunnaisesti eri oppilasluetteloihin, jotka näiden koulujen rehtorit olivat laatineet. Opettajien aiempien vuosien lisäarvo, jolloin heille oli määrätty opiskelijoita rehtoreiden mieltymysten perusteella, antoi puolueettomia ennusteita oppilaiden saavutuksista satunnaistetun vuoden aikana. Tutkimuksen rajoitteena on pieni otoskoko.
Kane, McCaffrey, Miller ja Staiger (2013) suorittivat samanlaisen, mutta paljon laajemman tutkimuksen. He mittasivat opettajien tehokkuutta käyttämällä vuosien 2009–2010 tietoja ja jakoivat sitten satunnaisesti 1 591 opettajalle lukuvuoden 2010–2011 aikana. Vuosien 2009–2010 toimenpiteisiin sisältyi useita toimenpiteitä, kuten lisäarvoa, luokkahuonehavaintoja ja opiskelijakyselyjä. Tutkimusryhmä valitsi satunnaisesti opettajia opiskelijoille tutkimuksen toisena vuonna. Opettajat valittiin kuudesta eri koulupiiristä: New York City (NY), Charlotte Mecklenburg (NC), Hillsborough County (FL), Memphis (TN), Dallas (TX) ja Denver (CO). Kuten pienemmässäkin tutkimuksessa, he havaitsivat, että arviot opettajien lisäarvosta sinä vuonna, jolloin opettajat valittiin satunnaisesti opiskelijoiksi, ennustivat hyvin samojen opettajien edellisen vuoden lisäarvopisteet.
Sen sijaan, että olisivat käyttäneet satunnaisia tehtäviä, Raj Chetty, John Friedman ja Jonah Rockoff seurasivat, mitä tapahtui, kun opettajat muuttivat koulusta kouluun ja luokalta toiselle (Chetty et al., 2014a). He ennustivat muutosta edeltävien ja jälkeisten vuosien lisäarvoarvioiden avulla tietyn luokalla ja koulussa tapahtuvan tulosten muutoksen saman ajanjakson aikana tapahtuneiden opettajien toimeksiantojen muutosten perusteella. He kysyivät: Mitä tapahtuu, jos korkean lisäarvon opettaja koulun A luokassa 5 siirtyy koulun B luokalle 4? Jos opettajan korkea lisäarvo koulussa A kuvastaa hänen opetuskykyään, niin koulun B 4-luokan oppilaiden suoritusten pitäisi nousta hänen ja hänen korvaavansa opettajan tehokkuuden eron verran. Mutta jos opettajan koulun A lisäarvo heijastaa jotain hänen opetuskykynsä ulkopuolista tekijää, kuten hänelle määrättyjen oppilaiden laatua, hänen siirtymisellään kouluun B ei pitäisi olla vaikutusta. Itse asiassa Chetty ja hänen kollegansa pystyivät ennustamaan suorituskyvyn muutoksia opettajien siirtojen perusteella, mikä osoitti, että opettajien lisäarvopisteisiin tallennetut tiedot kuvaavat niiden todellisen vaikutuksen oppilaiden oppimiseen.
Rothstein (2014) toisti äskettäin Chetty et al. (2014a) havainnot käyttämällä tietoja Pohjois-Carolinasta. Samalla menetelmällä Rothstein havaitsi myös, että hän pystyi ennustamaan muutoksia oppilaiden saavutuksissa opettajien tehtävien muutosten perusteella. Kuitenkin Rothstein (2014) kyseenalaisti Chettyn et. al. lähestymistapa, jossa viitataan suhteeseen opettajien lisäarvon muutosten ja oppilaiden tulosten muutosten välillä edellisenä vuonna ennen kuin opiskelijat ovat opettajan luokassa. Hän tulkitsee tällaisen korrelaation todisteeksi siitä, että opettajien lisäarvo heijastaa vain heille määrättyjen opiskelijoiden valmiutta.
Jonkin sisällä tuore lehti , kollegani ja minä löydämme samanlaisen suhteen Los Angelesin tiedoista, mutta tarjoamme erilaisen tulkinnan (Bacher-Hicks, Kane ja Staiger, 2014). Koska opettajat vaihtavat arvosanoja vuodesta toiseen, opiskelijoiden perustestin tulokset tiettynä vuonna ja aiempien lukuvuosien lisäarvoarviot perustuvat joskus samoihin tietoihin. (Toisin sanoen oletetaan, että opettaja A opetti 4. luokkaa viime vuonna ja opettaa 5. luokkaa tänä vuonna. Oletetaan myös, että hän on epätavallisen hyvä opettaja. Opettajan A oppilaat pääsivät tänä vuonna luokkaan 5 korkein arvosanoin osittain siksi, että heillä oli opettaja A Viime vuonna, kun he olivat 4. luokalla.) Lisäksi tietyn koulun ja oppiaineen saavutuksiin liittyy tilastollisia shokkeja – kuten koira haukkuu parkkipaikalla koepäivänä – mikä saattaa myös aiheuttaa mekaanisen yhteyden aiempien vuosien lisäarvoarviot ja opiskelijoiden perussaavutukset tänä vuonna (Kane ja Staiger 2002). Näistä syistä Chetty et ai. jättivät pois opettajan tiedot vuosilta t ja t-1 luodessaan lisäarvoarvioitaan. Rothstein toi ongelman uudelleen käyttöön käyttämällä edellisten vuosien pisteitä riippuvaisena muuttujana. Kun otamme huomioon tällaisia tekijöitä, huomaamme, että opettajien lisäarvo ei liity aikaisempiin saavutuksiin, vaan se ennustaa edelleen loppuvuoden saavutuksia.
Glazerman et ai. (2013) on toistaiseksi ainoa tiimi, joka on käyttänyt satunnaisia tehtäviä vahvistaakseen opettajien koulujen välisten lisäarvovaikutusten ennustusvoimaa. Tehdäkseen niin he tunnistivat ryhmän opettajia, joiden arvioitu lisäarvo on osavaltionsa ja piirinsä ylimmässä kvintiilissä. Tarjottuaan huomattavia taloudellisia kannustimia, he tunnistivat osajoukon korkean lisäarvon opettajia, jotka olivat halukkaita siirtymään koulusta toiseen, ja rekrytoivat suuremman määrän pienituloisia kouluja, jotka olivat valmiita palkkaamaan korkean lisäarvon opettajia. Määrättyään satunnaisesti korkeaa lisäarvoa tuottavat opettajat vapaaehtoisten koulujen alaryhmään, he havaitsivat, että oppilaiden saavutukset nousivat peruskouluissa, mutta eivät yläkouluissa.
Kaiken kaikkiaan nyt on olemassa merkittävää näyttöä siitä, että lisäarvoarviot keräävät tärkeää tietoa opettajien ja koulujen syy-vaikutuksista. Olemme harvoin yhteiskuntatieteissä nähneet näin suuren määrän kopioita näin lyhyessä ajassa. Vielä harvemmin olemme havainneet tällaista lähentymistä tuloksissa. Tilastollisten kontrollien soveltaminen pitkittäistietojärjestelmillä antaa usein mielekästä tietoa ohjelmien vaikutuksista myös ilman satunnaisjakoa.
Uusimmat havainnot vaikuttavat laajasti koulutustutkimukseen. Esimerkiksi monissa olosuhteissa meidän pitäisi pyytää tutkijoita toimittamaan lupaavia todisteita ei-kokeellisista menetelmistä ennen kuin ryhdymme kalliimpiin kliinisiin tutkimuksiin. Meidän on myös saatava parempi käsitys olosuhteista, joissa tällaisten tilastomenetelmien voidaan odottaa antavan puolueettomia ennusteita koulutusvaikutuksista. Siksi, vaikka satunnaisjako on katsottu tarpeelliseksi ja mahdolliseksi, kasvatustieteiden instituutin tulisi pyytää tutkijoita tuottamaan LaLonden kanssa analoginen vertailu: tunnistamaan ei-kokeellinen kontrolliryhmä, tunnistamaan satunnaistettu kontrolliryhmä ja vertailemaan laitoksen antamia arvioita. kaksi lähestymistapaa. (Tutkijia tulisi myös kannustaa rakentamaan takautuvasti ei-kokeellisia vertailuryhmiä aikaisempia satunnaistettuja tutkimuksia varten.)
Lopuksi haluaisin esittää kaksi varoitusta:
Ensinnäkin meidän täytyy kaventaa niitä tilastollisia määrityksiä, joiden voidaan odottaa antavan päteviä ennusteita opettajan ja koulun vaikutuksista. Esimerkiksi, vaikka useimmat yllä mainitut tutkimukset sisältävät tilastollisia vertailuja vertaisvaikutuksista (luokassa tai koulussa muiden oppilaiden keskimääräiset ominaisuudet), hyvin harvat osavaltiot tai piirit tekevät niin lisäarvoarvioita luodessaan. Tarvitsemme lisää tutkimuksia, jotka on erityisesti suunniteltu testaamaan vertaisvalvonnan ja muiden määrittelypäätösten tärkeyttä.
Toiseksi, tiedämme hyvin vähän siitä, kuinka lisäarvoarvioiden validiteetti voi muuttua, kun niitä käytetään korkealla panoksella. Kaikki saatavilla olevat tutkimukset ovat perustuneet ensisijaisesti tietoihin, jotka on saatu ajalta, jolloin opettajan lisäarvomittauksissa ei ollut panoksia. Tulevina vuosina on tärkeää seurata, säilyvätkö mittarit ennakoivan pätevyyden, koska niitä käytetään toimikausipäätöksissä, opettajien arvioinneissa ja ansiopalkoissa.
Huomautuksia:
[1] Dehejia ja Wahba (1999) osoittivat myöhemmin, että ei-kokeelliset menetelmät suoriutuivat paremmin, kun käytettiin taipumuspisteytysmenetelmiä paremmin vastaavan vertailuryhmän valinnassa.
Ehdotettu lainaus: Thomas J. Kane. Tunnistavatko lisäarvoarviot opettajien ja koulujen syy-vaikutukset? Brown Centerin liitutaulu , Brookings Institution, 30. lokakuuta 2014.
Bibliografia:
Abdulkadiroglu, Atila, Joshua D. Angrist, Susan M. Dynarski, Thomas J. Kane ja Parag Pathak. (2011) Vastuullisuus ja joustavuus julkisissa kouluissa: todisteita Bostonin peruskirjoista ja piloteista. Quarterly Journal of Economics 126 (2): 699-748.
Angrist, Joshua D., Parag Pathak ja Christopher R. Walters. (2013) Explaining Charter School Effectiveness. American Economic Journal: Applied Economics 5 (4): 1–27.
aika gm:ssä juuri nyt
Bacher-Hicks, Andrew, Thomas J. Kane ja Douglas O. Staiger. (2014) Validating Teacher Effect Estimates using Changes in Teacher Asignments in Los Angeles Julkaisematon paperi. (tulossa NBER-työpaperina)
Bifulco, Robert (2012) Voivatko ei-kokeelliset arviot toistaa arvioita, jotka perustuvat satunnaiseen tehtävään koulunvalintaa arvioitaessa? Tutkimuksen sisäinen vertailu. Journal of Policy Analysis and Management , kesä 2012, s. 729–751.
Chetty, Raj, John N. Friedman ja Jonah E. Rockoff. (2014a) Opettajien vaikutusten mittaaminen I: Biasin arviointi opettajien lisäarvoarvioissa. American Economic Review 104 (9): 2593-2632.
Chetty, Raj, John N. Friedman ja Jonah E. Rockoff. (2014b) Aiemmat testipisteet eivät tarjoa kelvollisia plasebotestejä opettajanvaihdon tutkimussuunnitelmista. Julkaisematon tutkimusmuistio. http://obs.rc.fas.harvard.edu/chetty/va_prior_score.pdf.
Chetty, Raj, John N. Friedman ja Jonah E. Rockoff. (2014c) Response to Rothstein (2014) 'Revisiting the Impacts of Teachers'. Julkaisematon tutkimusmuistio. http://obs.rc.fas.harvard.edu/chetty/Rothstein_response.pdf
Dehejia, Rajeev H. ja Sadek Wahba. (1999) Causal Effects in Nonexperimental Studies: Reevaluating the Evaluation of Training Programs. American Statistical Associationin lehti 94 (448): 1053-1062.
Deming, David. (2014) School Choice -arpajaisten käyttäminen koulun tehokkuuden mittaamiseen. American Economic Review: Papers & Proceedings 104 (5): 406–411.
Deutsch, Jonah. (2012) Kouluarpajaisten käyttö lisäarvomallin arvioimiseen. Chicagon yliopiston työpaperi.
Glazerman, Steve, Ali Protik, Bing-ru The, Julie Bruch, Jeffrey Max ja Elizabeth Warner. (2013). Siirtokannustimet menestyneille opettajille: Lopputulokset monipaikkakokeista (NCEE 2014-4003 ). Washington, DC: National Center for Education Evaluation and Regional Assistance, Institute of Education Sciences, US Department of Education.
Kane, Thomas J., Daniel F. McCaffrey, Trey Miller ja Douglas O. Staiger. (2013) Olemmeko tunnistaneet tehokkaita opettajia? Tehokkaan opetuksen mittareiden validointi satunnaisten tehtävien avulla. Seattle, WA: Bill & Melinda Gatesin säätiö.
Kane, Thomas J. ja Douglas O. Staiger (2002) Epätarkkojen koulujen vastuullisuustoimenpiteiden käytön lupaus ja sudenkuopat Journal of Economic Perspectives 16 (4): 91-114.
Kane, Thomas J. ja Douglas O. Staiger. (2008) Opettajien vaikutusten arviointi oppilaiden saavutuksiin: kokeellinen arviointi, NBER Working Paper 14607.
LaLonde, Robert J. (1986) Evaluating the Econometric Evaluations of Training Programs with Experimental Data, American Economic Review 76 (4): 604-20.
Lefgren, L, Sims, D. (2012) Aihetestin tulosten tehokas käyttäminen opettajan lisäarvon ennustamiseen. Koulutuksen arviointi ja politiikan analyysi 34 (1): 109-121.
Rothstein, Jesse. (2014) Revisiting the Impacts of Teachers. Julkaisematon työpaperi. ttp://eml.berkeley.edu/~jrothst/workingpapers/rothstein_cfr.pdf