MULTTESTプロシジャ実行時のNOTE出力の意味について

[質問]

MULTTESTプロシジャを利用して標本再抽出に基づくp値の調整を行なった際、以下のようなNOTEがログに出力されることがあります。

NOTE: The multiple testing procedure for this run is not closed.
In cases with badly heteroskedastic data, tests for individual
null hypotheses can have inflated familywise Type I error rates.

これは、どのような意味でしょうか？

[回答]

MULTTESTプロシジャにおける対比の指定がいわゆる「閉手順」の状況になっておらず、同時にBOOTSTRAP、またはPERMUTATIONオプションを指定して標本再抽出に基づく多重比較を行なうと、適切でない現象、すなわち「ファミリーワイズのTYPE I エラー」をコントロールできない場合があるとの研究があります。SAS 8.2以降のMULTTESTプロシジャでは、このような場合にNOTEとしてログに出力するようになりました。

「ファミリーワイズのTYPE I エラー」は、多重比較法を適用した際の「第1種の過誤の確率」に相当するものであり、この数値が有意水準以下にコントロールされる方法が適切な多重比較法と言われています。

米国SAS社のWebサイトでは、「Resampling-Based Multiple Testing」の著者であるWestfallと、MULTTESTプロシジャの開発者であったWolfingerによる論文が公開されており、この問題について言及しています。

「Closed Multiple Testing Procedures and PROC MULTTEST」

Peter H. Westfall and Russell D. Wolfinger

URL： http://support.sas.com/kb/22/950.html

また、「閉手順」に関する理論は下記の書籍でも紹介されています。

「統計的多重比較法の基礎」

永田靖・吉田道弘 著、サイエンティスト社