再現性に疑問のある心理学実験

It has been almost ten years since Bem published the psi study in a prestigious social psychology journal, which ignited the replicability crisis in psychology.

Since then, drastic and systematic changes in research practices have been proposed and implemented in the field. After a decade of such controversy and reformation, what is the current status of psychology?

We provide an overview of the 10 years of credibility revolution in psychology by taking the perspectives of “researcher's degree of freedom” and “specification space.” Based on the view, we propose possible future directions for psychology to proceed as a scientific discipline.

研究の紹介と著者の感想が一体になった記事

データ捏造

除去手術から時間が経った人について再現性がなかった

効果が消えた可能性もある

大規模追試でほぼ再現性なし

再現性なし

効果量はそれなりにある

正し、オリジナルの研究の効果量より小さい

現象はある

自らの能力を過大評価する原因が「能力の低さ」なのかというメカニズムが怪しい

追試失敗

2018年、2つのメタアナでは「ほとんど効果なし」

教育哲学としては有用？

効果がほとんどないというメタアナ、再現失敗実験

大きな効果があるとは言えない

性ステレオタイプは文化影響がある（ジェンダーギャップが大きいかどうかで結果が異なる）可能性がある

ステレオタイプは主語がデカすぎる

効果はあるが、小さい

差別的に見られている集団で生じやすい

再現性が14%

ハロウィーンでお菓子を手に入れた子供たちで実験、発生していな買った

再現不能

2つの再現実験で、認知や性行動に及ぼす影響はほとんどな買った

20世紀の実験は分析手法が未発達で、早急な結論が多いらしい

おもしろげな結果ほど再現しづらく、引用されやすく、追試は話題にされないので言ったもんがち

再現性のない論文（と示された後）は、再現性のある論文よりも多く引用される

オリジナルの論文のうち97％は統計的に有意な効果が得られていた（つまり3％はnull effect〔効果なし〕研究だった）のですが、追試では36％、追試の効果量の95%信頼区間に元論文の効果量が含まれていた（つまり「ほぼ」も含めて再現されたと考えてもよさそうな）研究は47％でした。また、オリジナルと追試をあわせると、もともと示されていた効果の有意性が保たれたのは68％でした。」

再現性がないという論文自体にも誇張がある