到底是經(jīng)濟學(xué)中p-hacking嚴(yán)重還是政治學(xué)、社會學(xué)領(lǐng)域的研究更嚴(yán)重呢？

下面一一進行回答。

1??Gerber, Alan, and Neil Malhotra. 2008a. “Do Statistical Reporting Standards Affect What Is Published? Publication Bias in Two Leading Political Science Journals.” Quarterly Journal of Political Science 3 (3): 313–26. 

2??Gerber, Alan S., and Neil Malhotra. 2008b. “Publication Bias in Empirical Sociological Research: Do Arbitrary Significance Levels Distort Published Results?” Sociological Methods & Research 37 (1): 3–30.

其次，從這篇AER“Methods Matter: p-Hacking and Publication Bias in Causal Analysis in Economics”研究揭露出，與其他學(xué)科的對比分析：可以將經(jīng)濟學(xué)文獻中隨機化檢驗的結(jié)果與政治學(xué)和社會學(xué)的相關(guān)研究進行對比。政治學(xué)的研究檢驗基于Gerber和Malhotra在2008年的論文，而社會學(xué)的檢驗則基于他們的另一項研究。表A11展示了樣本中，以及非經(jīng)濟學(xué)期刊中，檢驗統(tǒng)計值在1.76到2.16區(qū)間的數(shù)量分布情況。

最后，好消息是，我們發(fā)現(xiàn)經(jīng)濟學(xué)中的p-hacking程度遠(yuǎn)低于其他社會科學(xué)。

此外，還發(fā)現(xiàn)，在與政治科學(xué)、社會學(xué)等其他學(xué)科的比較中，經(jīng)濟學(xué)期刊樣本中p-hacking的現(xiàn)象明顯較少。

---

*群友可直接在社群下載AER全文PDF。

相關(guān)主題，參看：1.實證研究中的P值: 誤解, 操縱及改進, 探析P值操縱表現(xiàn)及原因,提出相應(yīng)的改進策略，2.AER強調(diào)計量方法的重要性, 經(jīng)濟學(xué)因果分析中的p值操縱和發(fā)表偏倚！3.DID和IV操縱空間大嗎? 一切皆為P-hacking，4.控制變量就能影響結(jié)果顯著性, 所以存在很大操作空間, 調(diào)參數(shù)是常用手段嗎？5.顯著不顯著的后背是什么, 非(半)參估計里解決內(nèi)生性，6.科學(xué)家倡議P值需要0.005，顯著性判斷才成立，7.X與Y負(fù)相關(guān)但回歸系數(shù)卻為正? OLS不顯著但2SLS卻顯著？8.統(tǒng)計上不顯著的變量表明該變量對結(jié)果變量沒有影響嗎？9.IV與Y在理論上無直接關(guān)系, 但用Y對IV做回歸發(fā)現(xiàn)IV是顯著的, 這是咋回事？10.繼JDE之后, 又一期刊重磅宣告"不顯著的結(jié)果仍可以發(fā)表" 11.前沿, 終于有人解釋為什么頂刊上很少有不顯著的結(jié)果發(fā)表! 背后機理？12.回歸中常數(shù)項顯著說明模型中有遺漏變量問題？13.關(guān)于模型中變量選擇的五個誤區(qū), 譬如不顯著的變量需要剔除還是保留？14.為什么回歸系數(shù)不顯著? 15.添加一個新變量能使以前不顯著的變量變得顯著了？16.核心解釋變量A不顯著, 但加入變量B后, 為什么A和B都顯著了？17.結(jié)果不顯著但成功發(fā)在Top期刊上的論文有哪些？你心虛過沒？18.交互效應(yīng)顯著的幾種情況, 列出了6種類型，19.試了幾百次, 回歸結(jié)果依然不顯著, 到底咋辦，20.AER強調(diào)計量方法的重要性, 經(jīng)濟學(xué)因果分析中的p值操縱和發(fā)表偏倚！21.800名科學(xué)家聯(lián)合呼吁, 停止使用統(tǒng)計學(xué)上的P值，22.美國統(tǒng)計學(xué)會關(guān)于ｐ值的聲明，23.美國宣布禁用p值，原來p值很危險，如何取代p值？