Entropi için çok kesin bir cevap bulunmamakla birlikte birkaç tanımı bulunmakta. Fizikte, felsefe alanlarında da tanımları mevcuttur fakat biz istatistik alanlarında karşımıza çıkan entropinin tanımına bakalım;
Entropy, bir sistemin veya durumun rastgeleliği, belirsizliği ve beklenmeyen durumun ortaya çıkma olasılığının, sayısını veya değerini gösterir.
İyi çalışmalar. J