Ранее полученная формула определения энтропии является мерой среднего количества информации, на одно сообщение источника статистически независимых сообщений. Такая энтропия называется безусловной. Как известно из математической статистики мерой нарушения статистической независимости сообщений x и y служит условная вероятность p(x/y) появления сообщения x_i при условии, что уже выбрано сообщение y_j или условная вероятность появления сообщения y_j, если появилось сообщение x_i, причем в общем случае p(x/y) \ne p(y/x).