Sự độc lập của thống kê

Độc lập thống kê của các biến xác suất hay các biến cố chỉ đơn giản là không có mối quan hệ thống kê với nhau. Trong lý thuyết xác suất, khi nói về hai biến cố độc lập, nghĩa là xảy ra một biến cố không làm thay đổi khả năng xảy ra của biến cố kia. Ví dụ:

• Biến cố khi gieo súc sắc ra số 'nhất' và biến cố khi gieo lần sau cũng ra số 'nhất' là hai biến cố độc lập.
• Ví dụ khác, nếu rút hai lá bài từ một bộ bài và sau khi rút lá thứ nhất lại đưa vào bộ bài trước, thì việc rút lá bài màu đỏ lần thứ nhất và lần thứ hai là độc lập. Tuy nhiên, nếu lá bài đầu không được đưa lại vào bộ bài sau khi rút, hai biến cố này không độc lập.

Tương tự, khi nói rằng hai biến ngẫu nhiên độc lập, ta có nghĩa là thông tin về một biến ngẫu nhiên không cung cấp thông tin gì về biến ngẫu nhiên kia. Ví dụ, kết quả khi gieo súc sắc lần đầu và lần sau là độc lập

Các biến cố độc lập

Định nghĩa tiêu chuẩn:

Hai sự kiện A và B được gọi là độc lập khi và chỉ khi P(A ∩ B) = P(A)P(B).

Về cơ bản, hai sự kiện A và B độc lập là khi cả hai xảy ra cùng một lúc.

Nói chung, một tập hợp các sự kiện—có thể bao gồm nhiều hơn hai sự kiện—được gọi là độc lập lẫn nhau khi với mọi tập con hữu hạn A₁,..., A_n của tập hợp đó, ta có

$P(A_1\cap <!--\; \cap \; -->\cdots <!--\; \cdots \; -->\cap <!--\; \cap \; -->A_n)=P\left(A_1\right)\cdots <!--\; \cdots \; -->P\left(A_n\right).$

Đó là nguyên lý nhân của các sự kiện độc lập.

Nếu hai sự kiện A và B độc lập, thì xác suất điều kiện của A khi có B xảy ra bằng xác suất không điều kiện của A, nghĩa là,

$P(A\mid <!--\; \mid \; -->B)=P($

A ) . {displaystyle P(Amid B)=P(A).}

Có ít nhất hai lý do tại sao phát biểu trên không phù hợp để định nghĩa tính độc lập: (1) hai sự kiện A và B không được xem như nhau trong câu nói này, và (2) vấn đề phát sinh khi liên quan đến các sự kiện có xác suất bằng 0.

Khi nhớ rằng xác suất điều kiện P(A | B) được xác định bởi

$P(A\mid <!--\; \mid \; -->B)=\frac{P(A\cap <!--\; \cap \; -->B)}{P\left(B\right)},$

ta nhận thấy rằng câu nói trên tương đương với

$P(A\cap <!--\; \cap \; -->B)=P\left(A\right)P\left(B\right)$

đây chính là định nghĩa chuẩn được cung cấp ở trên.

Các biến ngẫu nhiên độc lập

Phần đầu tiên định nghĩa tính độc lập của biến cố. Trong phần này, chúng ta nghiên cứu tính độc lập của các biến ngẫu nhiên. Nếu X là một biến ngẫu nhiên có giá trị thực và a là một số, thì X ≤ a là một biến cố, do đó, có thể nói về tính độc lập của nó với một biến cố khác hay không.

Hai biến ngẫu nhiên X và Y là độc lập khi và chỉ khi với mọi số a và b, biến cố [X ≤ a] (biến cố rằng X nhỏ hơn hoặc bằng a) và [Y ≤ b] là độc lập, theo định nghĩa trên. Tương tự, một tập hợp các biến ngẫu nhiên tùy ý -- có thể bao gồm nhiều hơn hai—là độc lập nếu với tập hợp hữu hạn bất kỳ X₁, ..., Xₙ và một tập hữu hạn bất kỳ các số a₁, ..., aₙ, các biến cố [X₁ ≤ a₁], ..., [Xₙ ≤ aₙ] là độc lập, như đã được định nghĩa ở trên.

Những người theo hướng đo lường lý thuyết có thể muốn thay thế biến cố [X ∈ A] vào vị trí biến cố [X ≤ a] trong định nghĩa trên, trong đó A là tập hợp Borel bất kỳ. Định nghĩa này hoàn toàn tương đương với định nghĩa trên khi các biến ngẫu nhiên có giá trị là số thực. Nó cũng có lợi thế khi áp dụng cho các biến ngẫu nhiên giá trị phức hoặc các biến ngẫu nhiên lấy giá trị trong không gian tô pô bất kỳ.

Nếu hai biến ngẫu nhiên bất kỳ trong một tập hợp là độc lập (mặc dù tập hợp này vẫn có thể không độc lập với nhau), tập hợp được gọi là độc lập đôi một.

Nếu X và Y là độc lập, thì phép toán kỳ vọng E có tính chất rất đặc biệt

E[X Y] = E[X] E[Y],

đối với phương sai, ta có

var(X + Y) = var(X) + var(Y),

do đó hiệp phương sai cov(X,Y) bằng 0. (Phát biểu nghịch đảo - mệnh đề rằng nếu hai biến ngẫu nhiên có một hiệp phương sai 0 thì chúng phải độc lập với nhau - là không đúng. Xem không tương quan (uncorrelated).)

Hơn nữa, các biến ngẫu nhiên X và Y với hàm phân phối F_X(x) và F_Y(y), cũng như mật độ xác suất f_X(x) và f_Y(y), là độc lập khi và chỉ khi biến ngẫu nhiên kết hợp (X,Y) có một phân phối có điều kiện phụ thuộc (joint distribution)

Một hàm mật độ chung tương đương

hoặc tương đương, một mật độ điều kiện chung

Một hàm mật độ chung dựa vào các biến ngẫu nhiên

Các biểu thức cho thấy tính độc lập tổng quát cho nhiều biến ngẫu nhiên

Các biến ngẫu nhiên độc lập dưới điều kiện

Hai biến ngẫu nhiên X và Y được coi là độc lập có điều kiện đối với Z cho trước, nếu khi Z đã được xác định thì giá trị của Y không làm thay đổi thông tin về X. Ví dụ, hai số đo X và Y về cùng một đại lượng Z có thể không độc lập nhau, nhưng lại độc lập có điều kiện khi đã biết Z (ngoại trừ các sai số có mối quan hệ với nhau).

Định nghĩa chính thức về độc lập có điều kiện dựa trên khái niệm của các phân phối điều kiện. Nếu X, Y, và Z là các biến ngẫu nhiên rời rạc, thì X và Y được coi là độc lập có điều kiện đối với Z cho trước nếu

P(X = x, Y = y | Z = z) = P(X = x | Z = z) · P(Y = y | Z = z)

với mọi x, y và z sao cho P(Z = z) > 0. Ngược lại, nếu các biến ngẫu nhiên là liên tục và có hàm mật độ xác suất kết hợp p, thì X và Y là độc lập có điều kiện đối với Z cho trước nếu

p_XY|Z(x, y | z) = p_X|Z(x | z) · p_Y|Z(y | z)

Đối với mọi số thực x, y và z sao cho p_Z(z) > 0.

Nếu X và Y là độc lập có điều kiện với Z cho trước, thì

P(X = x | Y = y, Z = z) = P(X = x | Z = z)

Với x, y và z bất kỳ khi P(Z = z) > 0. Điều này ngụ ý rằng, phân phối có điều kiện của X với Y và Z cho trước trùng với phân phối có điều kiện của X chỉ có Z cho trước. Một đẳng thức tương tự cũng đúng với các hàm mật độ xác suất có điều kiện trong trường hợp liên tục.

Tính độc lập có thể được xem là một trường hợp đặc biệt của độc lập có điều kiện, vì xác suất có thể được coi là một dạng xác suất có điều kiện mà không có biến cố nào được cho trước.

• Copula (thống kê)
• Các biến ngẫu nhiên độc lập và phân phối đồng nhất (Independent identically-distributed random variables)