שגיאות במבחני השערות

מבחן השערה מתחיל בדרך כלל בהנחה שהשערת האפס נכונה.

אם, במציאות, השערת אפס כזו נכונה, דחייתה עלולה להוביל למסקנה שגויה ומטעה.

טעות זו של דחיית השערת האפס האמיתית ידועה כטעות מסוג I.

לעומת זאת, כאשר השערת האפס שגויה, אך תוצאת הבדיקה מעידה על כישלון דחייתה, ההחלטה שוב נותרת שגויה.

טעות זו של אי דחיית השערת האפס השגויה ידועה כשגיאה מסוג II.

תוצאת בדיקה המצביעה על דחיית השערת האפס כאשר היא למעשה שקרית, או אי דחייתה כאשר היא נכונה בפועל, מובילה להחלטה נכונה.

ערך ההסתברות הקביל של שגיאת Type-I הוא רמת המובהקות ɑ, שהיא בדרך כלל 0.05 או 0.01.

ההסתברות לשגיאת Type-II מסומנת על ידי β. הוא מחושב מתוך ההסתברות שנקבעה מראש לדחיית השערת אפס שגויה, הידועה בכינויה כוחו של מבחן ההשערה.