統計学 におけるブートストラップ法 （ブートストラップほう、英 : bootstrap method ）とは、様々な目的に用いられる統計的推論の手法であり、再標本化 法に分類されるもののひとつである。モンテカルロ法 の一つ。
ブートストラップ法は母集団 の推定量 （分散など）の性質を、近似分布にしたがって標本化したときの性質を計算することで推定する手法である。近似分布としては、測定値から求められる経験分布 を用いるのが標準的である。また仮説検定 に使う場合もある。仮定される分布が疑わしい場合や、パラメトリックな仮定が不可能ないし非常に複雑な計算を必要とするような場合に、パラメトリックな仮定に基づく推計の代わりに用いられる。
ブートストラップ法の利点は解析的な手法と比べて非常に単純なことである。母集団分布の複雑なパラメータ （パーセンタイル 点、割合、オッズ比 、相関係数 など）の複雑な推定関数に対して標準誤差 や信頼区間 を求めるために、単にブートストラップ標本を適用するだけで済む。
一方ブートストラップ法の欠点として、漸近的に一致する場合には有限標本が保証されず、楽観的になる傾向がある。
この手法の基本概念と価値を示すため、やや人工的な例を用いる。フィッシャー による有名なアヤメ の計測値（アヤメの花データセット を参照）を用い、バージニアアヤメ （英語版 ） ヘンショクアヤメ （英語版 ）
この2種を、がく片 の長さのみを説明変数として判別するロジスティック回帰 モデルを考え、最尤法 を用いると、次表のとおりパラメータの最尤推定 値と標準誤差 が得られる。
説明変数
最尤推定値
標準誤差
切片
-12.57
2.91
がく片長
2.01
0.47
モデル式
2.01×がく片長-12.57≧0のときバージニアアヤメと判別
2.01×がく片長-12.57＜0のときヘンショクアヤメと判別 （このモデル式では、バージニアアヤメは標本50個中37個、ヘンショクアヤメは50個中36個が正しく判別されている。）
最尤推定値は漸近的には正規分布 することが知られている。今回の標本50個ずつのデータで出した最尤推定値（切片: −12.57、がく片長の係数: 2.01）が、どの程度正規分布に近いか、ブートストラップ法で以下のように調べることができる。
元データから n 個の標本を復元抽出 する。このとき n は元データの標本数である。
最尤法でロジスティック回帰モデルに当てはめる。
このブートストラップ抽出を何度も（B 回）繰り返す。
こうして計算された「推定量の標本分布」は、本来の標本分布の近似になっている。 下図は10000回のブートストラップ抽出により推定された2つのパラメータのカーネル密度 プロットである。
これらのパラメータの分布は当然のことながら正規分布ではない。これは、標本数が有限であり、漸近的にしか正規分布にならないためである。最尤推定値について正規分布の仮定を置かなくても、ブートストラップを用いて得た分布を使えば、最尤推定値の信頼区間 の推定や仮説検定 を行うことができるようになる。
ブートストラップ標本から信頼区間を推定する方法として、推定量の変位値 (α; 1−α) を使う方法がある。これをブートストラップパーセンタイル区間と呼ぶ。この例では、切片とがく片長の係数のブートストラップ95%パーセンタイル区間は、それぞれ (−20.02, −7.08) と (1.26, 3.20) となる。
一方、正規分布を仮定した95%信頼区間は最尤推定値プラスマイナス1.96倍標準誤差で求められ、それぞれ (−18.26,−6.87) と (1.10, 2.93) となる。漸近理論を用い正規分布を仮定して求めた信頼区間は対称になっており、ブートストラップを用いた信頼区間と比較すると狭い。
非復元抽出 によるもの、二標本問題 、回帰分析 、時系列 、階層的抽出 、媒介分析 （英語版 ）
一変量の解析では、普通は復元抽出で再標本化して構わない。しかし標本数が少ない場合にはパラメトリックなブートストラップ法の方が適切な場合もあるし、問題によっては平滑化ブートストラップ法が適切になるだろう。回帰問題の場合には様々な代替法がある。
これは毎回の繰り返しごとにわずかな（ふつうは正規分布の）ゼロ平均ランダムノイズを加える方法である。これはデータのカーネル密度推定量から再標本化することと等価である。
パラメトリックなモデルを（たいていは最尤法により）データに当てはめ、このモデルからランダムな個数の再標本化を行う方法である。
回帰問題において、個々のケース（たいていはデータセットの各行）について再標本化を行う単純な方法をいう。データセットが十分大きければ、たいていこういう単純な方法でも構わない。しかし議論の余地はある。
説明変数 はたいてい固定されているか、少なくとも従属変数よりも支配的である。また説明変数の範囲がそこから引き出される情報を規定する。したがって個々のケースを再標本化することは、ブートストラップ標本は何らかの情報を失っていることを意味する。したがって他のブートストラップ法を考慮すべきである。
回帰問題におけるブートストラップを行うもう一つの方法は、残余 を再標本化するものである。すなわち、
モデルを当てはめ、当てはめた値を ˆ μ i ri (i = 1, ..., n )
説明変数 xi と従属変数 yi の組 (xi , yi ) のそれぞれについて、ランダムに標本化した残余 ri を従属変数 yi に加える。
モデルを再度当てはめ、目的の量（たいていは推定したパラメータ）を記録する。
2と3のステップを B 回繰り返す。 この方法は説明変数の持つ情報を保持しているという利点がある。しかしどの残余を標本化するのかという疑問が起こる。そのままの残余を用いる手もあるし、（線形回帰では）スチューデント化残差 を用いることもできる。スチューデント化残差を使う方が好ましいという議論はあるのだが、実際にはほとんど差がでない上、双方を用いて互いに結果を比べることは容易である。
前項と同様だがランダムに標本化した残余の符号をさらにランダムに変えるものである。これは残余の分布が対称なことを仮定しており、元の標本数が少ない場合に利点がある。
ブートストラップ法は正規性を要求せず少ない標本数（N < 20媒介変因 （英語版 ） [ 1] [ 2] [ 3] ソーベル検定 （英語版 ）
ニューカム の光速のデータを用いる。このデータセットには2つの明白な外れ値 が含まれており、このため推定する場所としては平均値 よりも中央値 が好ましい。ブートストラップ法は中央値の信頼区間を推定するのに採用されることが多い。しかし中央値は離散統計量であり、このことはブートストラップ標本の分布で際立って明らかになる。
中央値の離散性を平滑化するために、毎回のブートストラップ標本に N (0, σ2 )n に対して σ = 1/√ n とする。
ブートストラップ標本と平滑化ブートストラップ標本のヒストグラムを以下に示す。ブートストラップ標本では中央値として取り得る値が限られているため非常にギザギザした分布になっている。平滑化ブートストラップ標本ではこの点が克服されている。
ブートストラップ分布の方は見づらく直感的には誤っているように見えるが、しかしこれから得られる信頼区間はさほど悪くない。95%パーセンタイル区間はブートストラップ分布で (26, 28.5) , 平滑化ブートストラップ分布で (25.98, 28.46) である。
ジャックナイフ法 （英語版 ） クロスバリデーション は再現性の確認に用いられるものである。
汪金芳; 大内俊二; 景平; 田栗正章「ブートストラップ法」『行動計量学』第19巻、第2号、50–81頁、1992年。doi :10.2333/jbhmk.19.2_50 。 Efron, Bradley (1979). “Bootstrap Methods: Another Look at the Jackknife”. The Annals of Statistics 7 (1): 1–26. Efron, B. (1981). “Nonparametric estimates of standard error: The jackknife, the bootstrap and other methods”. Biometrika 68 : 589-599. Efron, B. (1982). “The jackknife, the bootstrap, and other resampling plans”. Society of Industrial and Applied Mathematics CBMS-NSF Monographs : 38. Diaconis, P. & Efron, B. (1983). Computer-intensive methods in statistics. Scientific American
Efron, B., & Tibshirani, R. J. (1993). An introduction to the bootstrap. New York: Chapman & Hall, software .
Mooney, C Z & Duval, R D (1993). Bootstrapping. A Nonparametric Approach to Statistical Inference. Sage University Paper series on Quantitative Applications in the Social Sciences, 07-095. Newbury Park, CA: Sage
Bradley Efron; Robert Tibshirani (1994). An Introduction to the Bootstrap . Chapman & Hall/CRC Edgington, E. S.(1995). Randomization tests. New York: M. Dekker.
Davison, A. C. and Hinkley, D. V. (1997): Bootstrap Methods and their Applications, software .
Simon, J. L. (1997), Resampling: The New Statistics , http://www.resample.com/content/text/index.shtml Hesterberg, T. C., D. S. Moore, S. Monaghan, A. Clipson, and R. Epstein (2005): Bootstrap Methods and Permutation Tests , software . 
