實驗研究的信度和效度.ppt

第二章 心理學實驗研究基礎 第三節(jié) 實驗研究的信度和效度 n對于一篇實驗報告，我們經常要思考： n研究的變量是什么？ n研究的結論是什么？ n這個結論是否站得住腳？ 對實驗研究的評價 n實驗是否有效、明確準確性、有效性 （效度） n實驗是否可重復驗證可信性、一致性 （信度） 實驗研究效度 n實驗目的：驗證假設，驗證自變量和因變量之間的關系 ，使實驗結果的推論可用以解釋和預測其他同類現象。 n由于不同的實驗者在設計上和在對額外變量的控制程度 上極不相同，實驗的效度也會有很大的不同。了解影響 實驗效度的諸因素，將有助于我們評價實驗設計的質量 ，提高實驗設計的科學性。 n實驗效度：指實驗方法能夠達到實驗目的的程度，即實 驗結果的準確性和有效性程度。 內部效度（Internal Validity） 外部效度（External Validity） 實驗研究的效度 n1.內部效度 n實驗中自變量的效應能被準確估計的程度，或者說 自變量和因變量之間關系的明確程度。 n如果對實驗中的額外變量控制不充分，那么這些額 外因素的效應可能與自變量發(fā)生混淆，得出因果關 系的結論不完全有把握。此時就說該實驗缺乏內在 效度。 n影響內部效度的一些因素？ 案例討論一 n通過實驗，研究體育鍛煉對中學生身高增長 是否有影響： 隨機選取入學的中學生200名，剛入學測的平均 身高145cm，然后在學校實行全校強化體育鍛煉一年 ，再測這些學生平均很高為160cm，通過統(tǒng)計檢驗（ 配對t檢驗）發(fā)現身高增高顯著，所以體育鍛煉對中 學生身高增加是有積極作用的。 n該實驗中自變量、因變量是什么？ n這個因果關系是否確定？為什么？ 影響內在效度的因素 n1.生長和成熟 n除了實驗中的自變量可能使個體行為發(fā)生變化外，個體本身的 內部歷程發(fā)生改變，即個體生長和成熟也是使其行為變化的重 要因素。特別是在以幼小的兒童為被試者而又采用單組前測后 測實驗的情況下，生長和成熟因素的影響就更大。 n單組前測后測實驗：通常是實驗處理之前先對被試者的某種行 為作一次測量，實驗處理后再以同樣方法測量一次，兩次測量 之差即表示實驗變量（即自變量）產生的效果。 n局限：忽略了前后兩次測量之間被試者的生長和成熟因素，其 實驗效果易受生長和成熟因素的混淆，從而降低了內部效度。 n解決的主要辦法是增設同樣條件的控制組進行比較。 影響內在效度的因素 n2.歷史（經歷） n在實驗的過程中，與實驗變量同時發(fā)生，并對實驗結 果產生影響的特定事件。研究者往往無法判斷實驗結 果是由處理（自變量引起）還是特定事件引起。 ne.g.：傳統(tǒng)教學法與創(chuàng)新教學法對學習效果的影響 特定事件：創(chuàng)新教學法受關注，有專家聽課，混進 有意輔助活動（教材） 案例討論二 n研究放松訓練對學生射擊成績是否有促進作用 。 n實驗：隨機選取30名學生，每個學生進行10次射擊的初 步測試，得到每個人的初次平均成績；初測后由教練安 排放松訓練，放松后進行第二輪的10次測試，又得到每 個人的平均成績。通過統(tǒng)計檢驗效果顯著。 n自變量和因變量是什么？ n你相信該結論嗎？為什么？ 影響內在效度的因素 n3.前測的影響 n研究者為了取得實驗前被試的初始狀態(tài)，常對被試實施前 測，可能會積極或消極的影響實驗處理實施后的測驗結果 。其中包括練習因素、臨場經驗、以及對實驗目的的敏感 程度，從而影響了后測的成績。特別是前后兩次測量時間 較近，這一因素的影響就更顯著。 ne.g.：體育老師的示范對立定跳成績影響。 n前測 示范 后測 n比較前測與后測差異，結果？ n教師的提示講解對應用題解答成績的影響，也有學生在前 測中掌握的技巧與經驗起作用 影響內在效度的因素 n4.被試的選擇偏性 n在對被試者進行分組時，如果沒有用隨機取樣和隨 機分配的方法，在實驗處理之前，他們在各方面并 不相等或有偏性，從而造成實驗結果的混淆，因果 關系就不那么明確，降低了內部效度。 ne.g.: 在選擇控制組和實驗組的時候，男生一組、女生一組 ； 影響內在效度的因素 n5.被試的缺失 n如果是一項長期的實驗，要保持原實驗被試者的 人數不變是相當困難的。 n即使開始參加實驗的被試者樣本是經過隨機取樣 和隨機分配的，但由于被試者的中途缺失，常常 使缺失后的被試者樣本難以代表原來的樣本（數 量過少或者保留的被試具備獨特的特點）。這就 降低了內部效度。 影響內在效度的因素 n6.實驗程序不一致 n在實驗過程中，實驗儀器、控制方式的不一致， 測量程度的變化，實驗處理的擴散和交流等都可 能混淆實驗變量（即自變量）的效果。 n實驗者知道實驗目的所產生的“實驗者效應”以 及被試者知道實驗目的或其自己正被研究所產生 的“霍桑效應”和“安慰劑效應”等，都將混淆 實驗變量（即自變量）的效果，從而降低了內部 效度。 影響內在效度的因素 n7.統(tǒng)計回歸 n回歸假象：指在取樣時，選取某些特質位于兩極 端的被試。第一次測量平均值偏高者，第二次測 量平均值有趨低的傾向（向常態(tài)分布的平均數回 歸）；第一次測量平均值偏低者，第二次測量平 均值有趨高的傾向（也向常態(tài)分布的平均數回歸 ）。 ne.g.： 高焦慮組&低焦慮組 n處理：在匹配被試時必須考慮兩組被試本身是否 同質，如果不同質，就必須以幾組被試各自的相 對水平進行匹配。 實驗的內部效度統(tǒng)計程序的有效性 n實驗的內在效度的特例 n1979年庫克和科柏爾從內在效度中抽出一部分命 名為統(tǒng)計結論效度 n統(tǒng)計結論效度：指由統(tǒng)計方法適切性所引起的統(tǒng) 計結論的有效性程度，即有關決定實驗處理效應 的數據分析程序的有效性和準確性。 n統(tǒng)計程序的有效性，涉及研究誤差的變異來源和 如何恰當運用統(tǒng)計顯著性檢驗的問題 n影響統(tǒng)計程序的有效性的因素： 影響統(tǒng)計結論效度的因素 n1.統(tǒng)計檢測力低 正確推斷虛無假設正誤的能力。 n樣本大小：樣本小，統(tǒng)計檢定力低。有時要考慮實際 意義，樣本過大得出的顯著差異可能沒實際意義 n顯著性水平的大小，越小，犯錯誤就越大。確定 顯著性水平的大小要合適。 n因變量的誤差變異(標準差)大小的影響：誤差變異越 大，標準誤也越大，達到顯著水平時，犯錯誤就越 大 統(tǒng)計推論中的兩類錯誤 n根據樣本推斷總體，有可能犯兩類錯誤： n虛無假設H0本來是正確的，但拒絕了H0，這類 錯誤稱為棄真錯誤，即型錯誤。我們用表 示犯型錯誤的概率 n虛無假設H0本來不正確，但卻接受了H0，這類 錯誤稱為取偽錯誤，即型錯誤。我們用表 示犯型錯誤的概率 n兩類錯誤的關系？ n在進行實驗設計時，總希望兩類錯誤都盡可能的小 ，但在實際的實驗過程中卻很難實現，對一定容量 的樣本而言(N已經確定)，小時就大；小時就大 .與不可能同時非常小。 n受研究者的直接控制，而只能通過它和的反比關 系進行間接控制。 n由于在確定顯著性水平后，型錯誤的概率隨著 樣本容量的增加而減少，所以在設計實驗時，可根 據實驗條件適當地增加樣本容量，對進行控制，以 減少犯型錯誤的可能性. 統(tǒng)計推論中的兩類錯誤 影響統(tǒng)計結論效度的因素 n2.所選用的統(tǒng)計方法依據的各種假設條件的 滿足程度 nt檢驗、方差分析等都要求數據為隨機的等距或 等比變量，總體分布為正態(tài)，抽樣分布也是正 態(tài)分布或者t分布，或方差齊性才能應用，不滿 足這些條件則統(tǒng)計結論的效度大成問題。 n3.多重比較的影響 n多重比較的影響：實驗處理的層次增加，錯誤 （棄真錯誤）增加。 實驗的外部效度 n實驗的外部效度 n指實驗結果能夠普遍推論到樣本的總體和其他同類現 象中去的程度，即實驗結果的普遍代表性和適用性。 任何一項實驗研究都想將其結果推廣，希望能用自己 的研究結果，對同類現象做出解釋，預測和控制。 n以人的行為為研究對象所獲得的實驗結果，其推論往 往有相當的局限性。如某些教學改革方法的研究僅適 用于城市條件教學而不適于農村條件教學 詹金斯的四個評價維度 n詹金斯（Jenkins,1979）提供四個評實驗結果普遍性 的維度： n1.用其他的被試人群也能得到同樣的結果嗎 n2.用其他的實驗材料也能得到同樣的結果嗎 n3.用其他不同類型的測驗也會有同樣的結果嗎 n4.用不同的實驗處理和不同的自變量操作方式也能有 同樣的結果嗎 n特定的結果能否從被試人群、材料、情景以及因 變量的測量等幾個方面推廣。 影響外部效度的因素 n1.實驗室的過分人工情境化 n實驗是在控制條件下進行的，實驗環(huán)境的人為性 可能使某些實驗結果難以用來解釋日常生活中的 行為現象，盡量減少人工情景化，增加實驗變量 n實驗室中的儀器設備會影響被試者的典型行為。 n被試者參與實驗的動機也會影響其行為表現。 n在實驗室之外的日常生活中，就不會有這些因素 的影響。因此，實驗結果還不能完全等同于實驗 室之外的日常行為現象。 n多因素設計和現場實驗設計 n社區(qū)隨機對照試驗：在社區(qū)（一定區(qū)域內的人群）或現 場環(huán)境下進行的實驗。 影響外部效度的因素 n2.被試樣本缺乏代表性 n從理論上講，被試必須具有代表性、必須從將來 預期推論、解釋同類行為現象的總體中進行隨機 取樣。但實際上這是很難做到的。應增加取樣的 層次，使代表性增加 n如果總體很大，即使能夠隨機取樣，但心理學實驗的被 試者通常是自愿的，所以也很難把被隨機選上的人全都 請來做實驗。 n如果總體是無限的（例如，“七歲兒童”就是一個無限的 總體，其包括過去的、現在的、將來的所有七歲兒童） ，隨機取樣實際上是行不通的。這樣的實驗結果自然會 降低其外部效度 n如果選擇一些具有獨特心理特質的被試進行實驗 ，則利于對實驗處理造成較佳反應。如：高智力 兒童更容易從發(fā)現式教學中獲益。 n3.測量工具的局限性 n實驗者對實驗變量（即自變量）和反應變量（因變量 ）的操作性定義往往以所使用的測量工具的測量結果 來加以考慮。 n例如： 把成就動機作為一個因變量，實驗者常以某種成 就動機量表所測得的分數來界定并評定其強度。但成 就動機的測量工具有各種不同的形式，所測量出的分 數并不代表同一種成就動機及其強度。 如果在實驗時采用的是某一種成就動機的量表， 那么所得出的實驗結果便不能推論到采用其他成就動 機的量表的情況中去。 影響外部效度的因素 實驗內、外效度的關系問題？ n實驗的內部效度越高，其結果就越能確認是由實驗處理 所造成的；而實驗的外部效度越高，其結果的可推論范 圍就越大。 n實驗的內部效度和外部效度是相互聯系、相互影響的。 提高實驗內部效度的措施可能會降低其外部效度，而提 高實驗外部效度的措施又可能會降低其內部效度。 n這兩種效度的相對重要性，主要取決于實驗的目的和實 驗的要求。一般而言，在實驗中控制額外變量的程度越 大，則對因果關系的測量就越有效。因此，可以在保證 實驗內部效度的前題下，采取適當措施以提高外部效度 實驗研究的信度 n實驗信度:指實驗結論的可靠性和前后一致性程度 n雖然實驗的研究的確研究了我們需要研究的東西， 滿足了效度要求，但如果兩次研究的結果不一樣， 那么實驗的信度很低，結論不可信。 n一個不可信的研究可比作一根“可伸縮的橡皮材料的 尺子”，在重復研究時，會產生不同的研究結果。因 此，研究結果的穩(wěn)定性和一致性是保證研究科學性 的重要先決條件。 n哪些因素可能導致實驗中測量的結果不可靠呢？ n信度： 一致性程度 內部一致性：測驗的不同部分是否能檢驗出相同的結 果 （評估多個項目來測量單個特質的測驗測量焦慮 的60項量表） 重測信度：同一個人在不同時間內測得的結果是否一 致 （評估個體穩(wěn)定的特質IQ測試） 評分者信度：當不同的評分者對同一個結果進行評分 和 解釋時，結果是否一樣？ （不同醫(yī)生診斷同一疾病精神障礙的診斷） 實驗研究的信度 影響實驗信度的因素 n1.觀察量的大小 n觀察量越大，樣本更能夠代表所在總體，多次得 到的結果更可靠。 ne.g.：研究大學生的語言能力，第一次用男性被試 ，下一次用女性被試，兩次結果不穩(wěn)定。 n2.研究工具的信度 n研究工具首先必須準確、可靠，即具有較高的信 度。無論何種研究工具和儀器，如果其自身信度 較低，就談不上研究的信度的高低。 影響實驗信度的因素 n3.影響研究信度的隨機因素 n被試方面的因素（身心健康狀況、動機、注意力 、持久性、對待研究的態(tài)度等） n主試方面的因素（不按規(guī)定程序實施研究、制造 緊張氣氛、給予特別關注、評判主觀等） n研究設計方面的因素（有研究材料取樣不當、問 題陳述不清等） n研究實施方面的因素（有研究環(huán)境的各種難以控 制的變化條件等） 研究信度與效度的關系 n信度對于效度是必要條件，但不是充分條件：有信 度不保證一定有效度，一個可靠的研究程序并不證 明內容一定有效，而一個有效度的研究一定是一個 有信度的研究。 n有效度必定有信度，效度高信度必定也高，因為不 可能存在唯有效度而沒有信度的情況。 n信度是為效度服務的，因而效度是信度的目的；效 度不能脫離信度單獨存在，所以信度是效度的基礎 。