Un des objectifs de statistiques déductives est d'estimer la population inconnue paramètres. Cette estimation est réalisée en construisant intervalles de confiance à partir d'échantillons statistiques. Une question devient: «Dans quelle mesure avons-nous un bon estimateur?» En d'autres termes, «Quelle est la précision de notre processus statistique, à long terme, d'estimation de notre paramètre de population. Une façon de déterminer la valeur d'un estimateur consiste à déterminer s'il est non biaisé. Cette analyse nous oblige à trouver le valeur attendue de notre statistique.
Nous commençons par considérer les paramètres et les statistiques. Nous considérons des variables aléatoires d'un type de distribution connu, mais avec un paramètre inconnu dans cette distribution. Ce paramètre fait partie d'une population ou peut faire partie d'une fonction de densité de probabilité. Nous avons également une fonction de nos variables aléatoires, et cela s'appelle une statistique. La statistique (X1, X2,... , Xn) estime le paramètre T, et nous l'appelons donc un estimateur de T.
Nous définissons maintenant des estimateurs non biaisés et biaisés. Nous voulons que notre estimateur corresponde à notre paramètre, à long terme. Dans un langage plus précis, nous voulons que la valeur attendue de notre statistique soit égale au paramètre. Si tel est le cas, alors nous disons que notre statistique est un estimateur non biaisé du paramètre.
Si un estimateur n'est pas un estimateur sans biais, il s'agit alors d'un estimateur biaisé. Bien qu'un estimateur biaisé n'ait pas un bon alignement de sa valeur attendue avec son paramètre, il existe de nombreux cas pratiques où un estimateur biaisé peut être utile. Un tel cas est celui où un intervalle de confiance de plus quatre est utilisé pour construire un intervalle de confiance pour une proportion de la population.
Étant donné que la valeur attendue de la statistique correspond au paramètre qu'elle a estimé, cela signifie que la moyenne de l'échantillon est un estimateur non biaisé de la moyenne de la population.