La nascita della psicologia sperimentale è contestuale alla nascita della stessa psicologia: Wilhelm Wundt fu il primo psicologo a definirsi tale ed a fondare a Lipsia, nel 1879, il primo laboratorio di psicologia sperimentale[1], sebbene si definisse uno strutturalista.
La prima pubblicazione scientifica che tratta di psicologia sperimentale, può essere ritenuta l'opera Elementi di Psicofisica di Gustav Theodor Fechner, pubblicata nel 1860, in cui venne dimostrata la relazione tra l'intensità oggettiva di uno stimolo fisico e la sensazione soggettiva a seguito della stimolazione stessa[2].
Altri psicologi sperimentali furono Hermann Ebbinghaus, Edward Titchener e gli italiani Giuseppe Sergi e Simone Corleo, che creò nel 1889 il primo laboratorio di psicologia sperimentale in Italia, a Palermo presso l'Istituto di Fisiologia della Facoltà di Medicina dell'Università degli Studi di Palermo.[3]
Nella prima metà del XX secolo la psicologia sperimentale era pressoché sovrapposta al comportamentismo, specialmente negli Stati Uniti. In Europa questa influenza fu minore e permise a sperimentalisti come Frederic Bartlett, Kenneth Craik, W. E. Hick e Donald Broadbent di focalizzarsi su processi mentali come il pensiero, la memoria e l'attenzione, formando le basi per il futuro sviluppo del cognitivismo.
L'espressione "psicologia sperimentale" ha poi assunto un significato parzialmente diverso: non più "sostanziale", quanto "metodologico". In linea generale si è passati dall'originario uso del termine per delimitare una disciplina di ricerca a sé stante (ormai identificabile con le varie articolazioni della cosiddetta "psicologia generale"), al suo uso per identificare una serie di metodologie che, indipendentemente dall'oggetto di indagine, devono essere utilizzati per verificare o falsificare adeguatamente teorie e ipotesi in ambito psicologico.
La psicologia sperimentale è uno degli approcci elettivi per lo studio scientifico del cervello e delle funzioni cognitive superiori. Il termine continua a essere utilizzato da un gran numero di società e riviste scientifiche, così come in ambito universitario per determinati corsi.
Metodologia
Assunti metodologici
Come sforzo scientifico, la psicologia sperimentale condivide diversi assunti con la maggior parte delle altre scienze. Tra questi ci sono i seguenti:
Empirismo
Forse l'assunto più basilare della scienza è che le affermazioni fattuali sul mondo debbano essere basate su osservazioni del mondo. Questa nozione di empirismo richiede che le ipotesi e le teorie vengano testate contro le osservazioni del mondo naturale piuttosto che su un ragionamento, un'intuizione o una rivelazione a priori.
Verificabilità
Strettamente correlato all'empirismo è l'idea che, per essere utile, una legge o teoria scientifica deve essere verificabile con i metodi di ricerca disponibili. Se una teoria non può essere testata in alcun modo, la teoria è priva di significato. La verificabilità implica la falsificabilità, che è l'idea che alcune osservazioni potrebbero dimostrare che la teoria è errata[4]. La verificabilità è stata enfatizzata in psicologia anche perché teorie influenti o ben note come quella della psicoanalisi si sono rivelate difficili da testare[5].
Determinismo
Gli psicologi sperimentali, come la maggior parte degli scienziati, accettano la nozione di determinismo, ovvero l'assunto che ogni stato di un oggetto o evento è determinato da stati precedenti. In altre parole, i fenomeni comportamentali o mentali sono generalmente indicati in termini di causa ed effetto. Se un fenomeno è sufficientemente generale e ampiamente confermato, può essere chiamato una "legge"; teorie psicologiche servono per organizzare e integrare le leggi.
Parsimonia
Un'altra idea guida della scienza è la parsimonia, ovvero la ricerca della semplicità. Ad esempio, molti scienziati concordano sul fatto che se due teorie gestiscono ugualmente bene un insieme di osservazioni empiriche, dovremmo preferire la più semplice o la più parsimoniosa delle due. Una delle prime argomentazioni a favore della parsimonia fu quella dal filosofo medievale inglese Guglielmo di Occam, e per questa ragione il principio della parsimonia viene spesso definito come il rasoio di Occam[6].
Operazionalizzazione
Alcuni noti comportamentisti come Edward C. Tolman e Clark Hull hanno reso popolare l'idea di operazionalizzazione o definizione operativa. L'operazionalizzazione implica che un concetto sia definito in termini di procedure concrete e osservabili. Gli psicologi sperimentali tentano di definire fenomeni attualmente non osservabili, come gli eventi mentali, collegandoli alle osservazioni mediante catene di ragionamento[7].
Esperimenti
Gli esperimenti di psicologia coinvolgono generalmente partecipanti umani, o talvolta, animali. I partecipanti umani rispondono spesso a stimoli visivi, uditivi o di altro tipo, seguendo le istruzioni fornite da uno sperimentatore; gli animali possono essere similmente "istruiti", ricompensando le risposte appropriate. È importante sottolineare, a questo proposito, che il codice etico degli psicologi vieta loro di infliggere, anche nella conduzione degli esperimenti, qualunque sofferenza sia agli esseri umani, che tantomeno agli animali[8][9]. Dagli anni '90, i computer sono stati comunemente usati per automatizzare la presentazione degli stimoli e la misurazione comportamentale in laboratorio. Gli esperimenti comportamentali con uomini e animali in genere misurano il tempo di reazione, le scelte tra due o più alternative e/o la frequenza o l'intensità della risposta; possono anche registrare movimenti, espressioni facciali o altri comportamenti. Gli esperimenti con l'uomo possono anche ottenere risposte scritte prima, durante e dopo le procedure sperimentali. Gli esperimenti psicofisiologici, d'altra parte, misurano l'attivazione del cervello durante la presentazione di uno stimolo, utilizzando metodi non invasivi come fMRI, EEG, PET, ERP o simili.
Il controllo di variabili estranee, la minimizzazione del potenziale bias dello sperimentatore, il controbilanciamento dell'ordine dei compiti sperimentali, l'adeguata dimensione del campione, l'uso di definizioni operative, l'enfasi sull'attendibilità e validità dei risultati, e una corretta analisi statistica sono fondamentali per il metodo sperimentale in psicologia . Poiché la comprensione di questi argomenti è importante per l'interpretazione dei dati in quasi tutti i campi della psicologia, i programmi universitari in psicologia di solito includono corsi obbligatori in metodi di ricerca e statistica.
Altri metodi di ricerca come case study, interviste, sondaggi e osservazioni naturalistiche sono spesso usati dagli psicologi. Questi non sono tuttavia metodi sperimentali, in quanto mancano di aspetti come variabili ben definite e controllate, randomizzazione del campione e isolamento di variabili intervenienti o indesiderate. Quando le condizioni sperimentali non sono assegnate casualmente, ma da una condizione naturale dei partecipanti, come nella maggior parte degli studi clinici, si parla di studio quasi-sperimentale.
L'attendibilità misura la coerenza o ripetibilità di un'osservazione sperimentale. Ad esempio, un modo per valutare l'attendibilità è il metodo "test-retest", eseguito misurando un gruppo di partecipanti contemporaneamente e poi testandoli una seconda volta per verificare se i risultati sono coerenti. Poiché il primo test in sé può modificare i risultati di un secondo test, vengono spesso utilizzati altri metodi. Ad esempio, nella misura "split-half", un gruppo di partecipanti è diviso a caso in due sottogruppi comparabili e l'attendibilità è misurata confrontando i risultati del test di questi gruppi. È importante notare che una misura attendibile non necessariamente darà una conclusione valida[10].
La validità misura l'accuratezza relativa o la correttezza delle conclusioni tratte da uno studio. Per determinare quantitativamente la validità di una misurazione, è necessario confrontarla con un criterio. Ad esempio, per determinare la validità di un test di abilità accademica, tale test potrebbe essere assegnato a un gruppo di studenti e i risultati correlati con le medie dei punti di valutazione degli individui in quel gruppo. Come suggerisce questo esempio, c'è spesso polemica nella scelta di criteri appropriati per una data misura. Inoltre, una conclusione può essere valida solo nella misura in cui le osservazioni su cui si basa sono attendibili.
La misurazione può essere definita come "l'assegnazione di numeri a oggetti o eventi in base alle regole."[11][12] Quasi tutti gli esperimenti psicologici implicano una sorta di misurazione, se non altro per determinare l'attendibilitàe la validità dei risultati e, naturalmente, la misurazione è essenziale se i risultati devono essere pertinenti alle teorie quantitative.
La regola per assegnare numeri a una proprietà di un oggetto o evento è detta "scala". Di seguito sono riportate le scale di base utilizzate nella misurazione psicologica[12].
Scala nominale
In una scala nominale, i numeri vengono usati semplicemente come etichette - anche una lettera o un nome svolgerebbero la stessa funzione. Esempi sono i numeri sulle maglie dei giocatori di calcio o di baseball. Le etichette sono più utili se la stessa etichetta può essere assegnata a più di una cosa, il che significa che le cose sono uguali in qualche modo e possono essere classificate insieme.
Scala ordinale
Una scala ordinale nasce dall'ordinamento o classifica degli oggetti, in modo che A sia maggiore di B, B sia maggiore di C, e così via. Molti esperimenti psicologici producono misure di questo tipo; per esempio, un partecipante potrebbe essere in grado di classificare gli odori in modo tale che A sia più piacevole di B, e B sia più piacevole di C, ma queste classifiche ("1, 2, 3 ...") non dicono di quanto l'odore era diverso da un altro. Alcune statistiche possono essere calcolate da misure ordinali - ad esempio, mediana, percentile e correlazione degli ordini - ma altre, come la deviazione standard, non possono essere utilizzate correttamente.
Scala a intervalli equivalenti
Una scala a intervalli viene costruita determinando l'uguaglianza delle differenze tra le entità misurate. Cioè, i numeri formano una scala a intervalli quando le differenze tra i numeri corrispondono alle differenze tra le proprietà misurate. Per esempio, si può dire che la differenza tra 5 e 10 gradi su un termometro Fahrenheit equivale alla differenza tra 25 e 30, ma non ha senso dire che una temperatura di 20 gradi Fahrenheit è "due volte più calda" di una temperatura di 10 gradi. (tali rapporti sono significativi su una scala di temperatura assoluta come la scala Kelvin; vedere la sezione successiva). Si dice che i "punteggi standard" su un test del rendimento scolastico siano misurazioni su una scala a intervalli, ma questo è difficile da dimostrare[12].
Scala a rapporti equivalenti
Una scala a rapporti, o scala proporzionale, viene costruita determinando l'uguaglianza dei rapporti. Ad esempio, se, su uno strumento di bilanciamento, l'oggetto A equilibra due oggetti identici B, allora si può dire che A è due volte più pesante di B e si può dare loro numeri appropriati, ad esempio "A pesa 2 grammi" e "B pesa 1 grammo". Un'idea chiave è che tali rapporti rimangono gli stessi indipendentemente dalle unità di scala utilizzate; ad esempio, il rapporto tra A e B rimane lo stesso se vengono usati grammi o once. La lunghezza, la resistenza e la temperatura Kelvin sono altre grandezze che possono essere misurate sulle scale a rapporti. Alcune proprietà psicologiche, come il volume di un suono, possono essere misurate su una scala proporzionale[12].
Disegno sperimentale
Prima di poter eseguire un esperimento in psicologia, è necessario progettarlo. Questa fase richiede innanzitutto la scelta delle variabili da manipolare (variabili indipendenti o fattori) e da misurare (variabili dipendenti), oltre alla scelta di un metodo di misura e di un'adeguata ampiezza del campione (numero di soggetti sperimentali). È poi necessario scegliere il disegno sperimentale adeguato.
Disegni unidirezionali
Il disegno sperimentale più semplice è il disegno a una via, o unidirezionale, in cui esiste una sola variabile indipendente. Il tipo più semplice di progettazione unidirezionale coinvolge solo due gruppi, ognuno dei quali riceve un valore della variabile indipendente. Un progetto a due gruppi di solito consiste in un gruppo sperimentale (un gruppo che riceve un trattamento) e un gruppo di controllo (un gruppo che non riceve un trattamento)[13]. Il disegno a una via può essere esteso a un disegno a gruppi unidirezionali. In questo caso una singola variabile indipendente assume tre o più livelli[14]. Questo tipo di disegno è particolarmente utile perché può aiutare a delineare una relazione funzionale tra le variabili indipendenti e dipendenti.
Disegni fattoriali
I disegni a una via sono limitati in quanto consentono ai ricercatori di osservare solo una variabile indipendente alla volta, mentre molti fenomeni di interesse dipendono da più variabili. Per questo motivo, R.A. Fisher rese popolare l'uso dei disegni fattoriali. I disegni fattoriali contengono due o più variabili indipendenti completamente "incrociate", il che significa che ogni livello di ciascuna variabile indipendente appare in combinazione con ogni livello di tutte le altre variabili indipendenti. I disegni fattoriali portano etichette che specificano il numero di variabili indipendenti e il numero di livelli di ciascuna variabile indipendente. Ad esempio, un disegno fattoriale 2x3 ha due variabili indipendenti, con la prima variabile che ha due livelli e la seconda che ne ha tre.
Effetti principali e interazioni
Gli effetti delle variabili indipendenti negli studi fattoriali, presi singolarmente, sono indicati come effetti principali. Ci si riferisce all'effetto complessivo di una variabile indipendente, facendo una media su tutti i livelli delle altre variabili indipendenti. Un effetto principale è l'unico effetto rilevabile in un disegno unidirezionale[15]. Spesso più importanti degli effetti principali sono le interazioni, che si verificano quando l'effetto di una variabile indipendente su una variabile dipendente dipende dal livello di una seconda variabile indipendente. Ad esempio, la capacità di afferrare una palla (variabile dipendente) potrebbe dipendere dall'interazione dell'acuità visiva (variabile indipendente n. 1) e dalla dimensione della palla catturata (variabile indipendente n. 2). Una persona con una buona vista potrebbe prendere più facilmente una piccola palla, e una persona con una vista molto debole potrebbe fare meglio con una palla grande, quindi le due variabili possono interagire.
Disegni interni ai soggetti e tra i soggetti
Due approcci fondamentali per la progettazione della ricerca sono il disegno all'interno dei soggetti (within subjects) o il disegno tra i soggetti (between subjects). Nel disegno all'interno dei soggetti, o disegno a misure ripetute, ciascun partecipante è incluso in più di una o forse in tutte le condizioni sperimentali. Nel disegno tra i soggetti ogni partecipante è incluso in una sola condizione di un esperimento[16]. I disegni all'interno dei soggetti presentano vantaggi significativi rispetto ai disegni tra i soggetti, specialmente quando si tratta di progetti fattoriali complessi che presentano molte condizioni. In particolare, i disegni all'interno dei soggetti evitano gli effetti causati dalle differenze tra i soggetti che sono irrilevanti per il fenomeno in esame. Tuttavia, il disegno all'interno dei soggetti ha il serio svantaggio dei possibili effetti di sequenza. Poiché ogni partecipante è incluso in più di una condizione, il passare del tempo o le prestazioni in un compito sperimentale precedente possono influire sulle prestazioni nel compito successivo. Ad esempio, un partecipante potrebbe apprendere qualcosa dal primo compito che influisce sul secondo[17]. I disegni fattoriali possono anche essere di tipo misto, impiegando sia una variabile tra i soggetti (ad es. gruppo sperimentale vs gruppo di controllo) che una variabile all'interno dei soggetti (ad es., prima e seconda presentazione di uno stimolo).
Una volta raccolti i dati, è sempre necessaria, nella ricerca sperimentale, una fase di analisi statistica. Questo perché in psicologia e nelle altre scienze umane è molto difficile ottenere misure assolute, ma piuttosto ciò che si ottiene sono misure relative a un campione, che vanno in seguito estese alla popolazione generale. I test statistici utilizzabili sono molti, e dipendono sia dalla scala di misura utilizzata, che dal disegno sperimentale adottato e dall'ampiezza del campione. Il processo di generalizzazione dal campione alla popolazione avviene comunque sempre con un certo grado di approssimazione, misurato dal cosiddetto p-value, o livello di significatività. Un livello di significatività statistica al di sopra di una certa soglia permette infine la generalizzazione del risultato, e eventualmente la verifica dell'ipotesi e la possibilità di formulare interpretazioni coerenti del risultato ottenuto.
Strumenti
La psicologia sperimentale ha storicamente impiegato strumenti sofisticati per la misura delle variabili psicologiche. Va detto che con l'avvento del personal computer, molti di questi strumenti sono diventati obsoleti. Un software appositamente progettato per l'esecuzione di esperimenti in psicologia è e-prime[18].
Cronoscopio di Hipp
Questo strumento, risalente al 1850 circa, utilizza un'ancia vibrante per scandire il tempo in millesimi di secondo. Originariamente progettato per esperimenti di fisica, è stato successivamente adattato per studiare la velocità dei proiettili[19]. Dopo essere stato introdotto alla fisiologia, è stato infine utilizzato in psicologia per misurare il tempo di reazione e la durata dei processi mentali[20].
Stereoscopio
Il primo stereoscopio fu inventato da Wheatstone nel 1838[21]. Questo strumento presenta due immagini leggermente diverse, una per ogni occhio, allo stesso tempo. In genere le immagini sono fotografie dello stesso oggetto prese da posizioni della fotocamera che imitano la posizione e la separazione degli occhi nella testa. Quando si guarda attraverso lo steroscopio, le foto si fondono in un'unica immagine che trasmette un forte senso di profondità e solidità.
Chimografo
Sviluppato da Carl Ludwig nel XIX secolo, il chimografo è un tamburo rotante sul quale uno stilo mobile tiene traccia delle dimensioni di alcune misurazioni in funzione del tempo. Il chimografo è simile al poligrafo, che ha una striscia di carta che si muove sotto una o più penne. Il chimografo è stato originariamente utilizzato per misurare la pressione sanguigna e in seguito è stato utilizzato per misurare le contrazioni muscolari e i suoni del linguaggio. In psicologia, veniva spesso utilizzato per registrare i tempi di risposta.
Fotochimografo
Questo dispositivo è un registratore fotografico. Usa specchi e luce per registrare le foto. All'interno di una piccola scatola con una fessura per la luce ci sono due rulli guida con pellicola che collega i due. La luce entra attraverso la fessura per registrare sulla pellicola. Alcuni fotochimografi hanno un obiettivo, quindi è possibile raggiungere una velocità adeguata per la pellicola.
Galvanometro
Il galvanometro è uno strumento utilizzato per misurare la forza di una corrente elettrica. Hermann von Helmholtz lo usò per rilevare i segnali elettrici generati dagli impulsi nervosi e quindi per misurare il tempo impiegato dagli impulsi per viaggiare tra due punti su un nervo.
Audiometro
Questo apparecchio è stato progettato per produrre diverse frequenze fisse a diversi livelli di intensità. Può fornire il tono all'orecchio di un soggetto o trasmettere oscillazioni sonore al cranio. Uno sperimentatore può usare un audiometro per determinare la soglia uditiva di un soggetto. I dati rilevati da un audiometro sono chiamati audiogrammi.
Colorimetro
Il colorimetro determina la composizione del colore misurando le sue caratteristiche o la corrispondenza a un campione di colore. Questo tipo di dispositivo viene utilizzato negli esperimenti visivi[12].
Algesiometro e algometro
Entrambi sono strumenti che producono stimolazioni meccaniche del dolore. Hanno un punto di stimolo aghiforme, che quindi non dà la sensazione di pressione. Gli sperimentatori li usano per eseguire esperimenti sull'analgesia.
Olfattometro
Un olfattometro è qualsiasi dispositivo utilizzato per misurare il senso dell'olfatto. Il tipo più elementare nei primi studi consisteva nel posizionare un soggetto in una stanza contenente una quantità misurata specifica di una sostanza odorosa. Dispositivi più complessi comportano una qualche forma di dispositivo di fiuto, come il collo di una bottiglia. L'olfattometro più comune che si poteva trovare nei laboratori di psicologia era l'olfattometro Zwaardemker. Esso aveva due tubi nasali di vetro che sporgevano attraverso uno schermo. Un'estremità è inserita in una camera di stimolo, l'altra estremità viene inserita direttamente nelle narici.
Labirinto
Probabilmente uno dei più antichi strumenti per studiare la memoria è il labirinto. L'obiettivo in un labirinto è quello di passare dal punto A al punto B, anche se essi possono variare per dimensioni e complessità. Due tipi di labirinti comunemente usati con i ratti sono il labirinto a braccio radiale e il labirinto acquatico di Morris[22]. Il labirinto a braccio radiale è costituito da più bracci che si irradiano da un punto centrale. Ogni braccio ha un piccolo pezzo di cibo alla fine. Il labirinto acquatico di Morris è pensato per testare l'apprendimento spaziale. Utilizza una grande piscina rotonda di acqua resa opaca. Il ratto deve nuotare finché non trova la piattaforma di fuga che è nascosta alla vista proprio sotto la superficie dell'acqua.
Elettroencefalografo
L'elettroencefalografo (EEG) è uno strumento che può registrare l'attività elettrica sommata dei gruppi di cellule neurali nel cervello. È stato originariamente utilizzato come strumento per migliorare le diagnosi mediche. Successivamente è diventato uno strumento chiave per gli psicologi nell'esame dell'attività cerebrale e rimane uno strumento utilizzato ancora oggi nella ricerca psicologica.
Tecniche di neuroimmagine
Le tecniche di neuroimaging permettono la visualizzazione in vivo dell'attività metabolica del cervello, e hanno rivoluzionato la ricerca in molti settori che studiano il sistema nervoso, compresa la psicologia sperimentale. La strumentazione che sottende a tali tecniche è piuttosto complessa e costosa, ed è posseduta più frequentemente dai grandi ospedali. Tra le tecniche di neuroimaging più diffuse si possono citare la risonanza magnetica funzionale (fMRI) e la tomografia a emissione di positroni (PET).
Critiche
Ci sono state diverse critiche al paradigma epistemologico della psicologia sperimentale. Una corrente di pensiero contraria alla psicologia sperimentale è stata associata alla Scuola di Francoforte, che definisce le sue idee "Teoria critica". Gli psicologi critici sostengono che la psicologia sperimentale si avvicina agli esseri umani come entità indipendenti dal contesto culturale, economico e storico in cui esistono. Questi contesti dei processi e dei comportamenti mentali umani sono trascurati, secondo gli psicologi critici, come Herbert Marcuse. Così facendo, gli psicologi sperimentali dipingono un ritratto inaccurato della natura umana mentre prestano tacito sostegno all'ordine sociale prevalente, secondo teorici critici come Theodor Adorno e Jürgen Habermas[23]
La "Teoria Critica" è stata a sua volta criticata. Il filosofo Karl Popper "non ha mai preso sul serio la loro metodologia (qualunque cosa ciò possa significare)", e ha scritto una contro-critica per ridurre "l'influenza politica irrazionalista e distruttiva dell'intelligenza" dei teorici critici sugli studenti [23]. I teorici critici Adorno e Marcuse sono stati severamente criticati da Alasdair MacIntyre[24]. Come Popper, MacIntyre attaccò teorici critici come Adorno e in particolare Marcuse come "oscurantisti che pontificano il dogma nella maniera autoritaria dei professori tedeschi di filosofia della loro era - prima della seconda guerra mondiale". Popper fece una critica simile alla retorica della Teoria Critica, che rifletteva la cultura degli studi sociali hegeliani nelle università tedesche. Inoltre, MacIntyre ridicolizzò Marcuse come una rinascita senile della sinistra hegeliana criticata da Marx ed Engels; allo stesso modo, il revival della sinistra hegeliana da parte della Teoria Critica fu notato da Popper. Anche il sostegno di Marcuse ai campi di rieducazione politica della Cina maoista è stato criticato come totalitario da MacIntyre. Più recentemente, la Teoria Critica di Adorno e Marcuse è stata criticata come una degenerazione della scuola originale di Francoforte, in particolare il lavoro dello psicologo empirico Erich Fromm, che ha condotto indagini e esperimenti per studiare lo sviluppo della personalità in risposta ai problemi economici, stress e cambiamenti sociali[25].
Note
^ Omar Khaleefa, Who Is the Founder of Psychophysics and Experimental Psychology?, in American Journal of Islamic Social Sciences, vol. 16, 1999, p. 2.
^Fraisse, P, Piaget, J, & Reuchlin, M. (1963). Experimental psychology: its scope and method. 1. History and method. New York: Basic Books.
^Fleiss, J. L. (1986). Reliability of measurement. The design and analysis of clinical experiments, 1-32.
^Torgerson, W. S. (1962) Theory and Methods of Scaling. New York: Wiley
^abcdeStevens, S. S. (1951) Mathematics, Measurement and Psychophysics in S. S. Stevens (Ed) Handbook of Experimental Psychology. New York: Wiley
^Kline, R. B. (2004). Effect Size Estimation in Multifactor Designs. In Beyond significance testing: Reforming data analysis methods in behavioral research (pp. 203-243). Washington, DC US: American Psychological Association. DOI: 10.1037/10693-007
^Kline, R. B. (2004). Effect Size Estimation in One-Way Designs. In Beyond significance testing: Reforming data analysis methods in behavioral research (pp. 163-202). Washington, DC US: American Psychological Association. DOI: 10.1037/10693-006
^Xu, L., Yang, F., Abula, A., & Qin, S. (2013). A parametric bootstrap approach for two-way ANOVA in presence of possible interactions with unequal variances. Journal of Multivariate Analysis, 115172-180. DOI: 10.1016/j.jmva.2012.10.008
^Meyer, J., & Quenzer, L. (2005) Psychopharmacology: Drugs, the Brain, and Behavior. Sinauer Associates, Inc.
^abAdorno, Albert, Dahrendorf, Habermas, Pilot and Popper, The Positivist Dispute in German Sociology (Positivismusstreit), Heinemann London 1976 and Harper Torchbook 1976.
