Nhiều người vẫn sử dụng thuật toán cross-entropy trong machine learning mà kém hiểu biết nhiều biết nhiều được entropy là gì, bài viết bài viết nội dung sau phía trên sẽ trợ giúp tất cả chúng ta hiểu hơn về nó.
Tất cả chúng ta đang xem: Entropi là gì
Entropy nghĩa là gì?
Sáng tạo về Entropy ban sơ khá khó hiểu, đưa rất là nhiều từ được sử dụng để miêu tả nó: này là sự việc hỗn loạn, ko chắc chắc, độ bất định, độ bất thần, lượng thông tin hay những từ tương đương thế. Nếu cho tới giờ tất cả chúng ta vẫn ko rõ về nó, thì tất cả chúng ta tới đúng nơi rồi đó. Tôi sẽ trợ giúp tất cả chúng ta làm rõ về Entropy.
Ai nghĩ ra Entropy và chính vì vậy thế nguyên nhân gì ?
Năm 1948, Claude Shannon lần đầu nhắc tới quan niệm information entropy trong bài viết bài viết nội dung ““A Mathematical Theory of Communication” (information entropy: entropy thông tin, độ bất định thông tin – ngoài ra mình nghĩ sử dụng từ gốc sẽ tốt hơn).
Q1mlq4p.png774×166 10.5 KB
Cách ở trên sở hữu tốt ko ? Giả sử toàn thể thể chất gửi và nhận đều biết rằng bài viết message đều nói về thời tiết của Tokyo. Vậy họ sẽ không còn trọng yếu phải gửi những từ như “Thời tiết”, “Tokyo”, “của” … Họ giản dị và giản dị chỉ việc nói “Fine”, “Not fine”, như thế là đủ.
Đọc thêm: Asmr Nghĩa Là Gì ? Những Lợi Ích Của Asmr Đưa Tới Cho Con Người
QPJpoCh.png810×493 51.5 KB
Như thế cách mã hóa này đã bảo đảm ko làm mất mát thông tin
Kết thích ứng với mẹo tính kích hạng trung bình đã biết ở phần trước, ta được kích cỡ mã hóa bình quân nhỏ nhất – phía trên này là entropy:
Trong đó ᴘ(ι) là xác xuất của loại inbox thứ ι. Hãy ngồi và suy ngẫm về mẹo này, chả sở hữu gì khó hiểu hay magic ở phía trên cả, mẹo này giản dị và giản dị là việc phối phối phối hợp giữa tính kích thước mã hóa bình quân và kích thước mã hóa nhỏ nhất của từng loại tin. Thử 1 vài chẳng hạn:
vivspeb.png903×474 54.2 KB
Vậy, entropy là: (0.5 Ҳ 1 bit)+(0.25 Ҳ 2 bits)+(0.125 Ҳ 3 bits)+(0.125 Ҳ 3 bits)=1.75 bits
Thuộc tính của Entropy
Entropy cao đồng nghĩa với việc sở hữu rất là nhiều loại thông tin với xác suất mỗi loại nhỏ. Mỗi 1 message mới hiện ra, kinh nghiệm cao rằng message đó sở hữu bài viết khác với bài viết của message trước đây. Ta mà thậm chí gọi này là sự việc bất định. Lúc một loại thông tin với xác suất thấp tự nhiên hiện ra, nó sẽ tạo ra bất thần hơn đối với những loại thông tin sở hữu xác suất cao khác. VD: với việc tất cả chúng ta sắm liều một trong những 5 giải đáp, xác suất hiện ra là 80% sai, 20% đúng, việc tất cả chúng ta sắm đúng sẽ khiến cho tất cả chúng ta bất thần hơn nhiều đối với việc sắm sai. Hay nói những khác, thông tin sở hữu xác suất càng thấp càng đưa nhiều thông tin giá trị.
Hoặc 1 chẳng hạn khác, nếu cung cấp là 90% mưa, 10% nắng thì thông tin dự đoán thời tiết về 1 cơn mưa sẽ chẳng thể trợ giúp nhiều thông tin (chính vì vậy thế ta xác nhận sẵn trí não là trời sẽ mưa). Trong khí đó nếu cung cấp là 50% mưa, 50% nắng thì thông tin về việc trời ngày hôm đó mưa hay nắng lại rất giá trị (chứa nhiều thông tin hơn).
Túm lại ta mà thậm chí hiểu entropy với những ý nghĩa sau:
entropy là lượng bit bình quân ít nhất để mã hóa thông tin lúc ta biết phân bố những loại thông tin trong đó.entropy biểu thị cho sự hỗn độn, độ bất định, độ cầu kỳ của thông tin.Thông tin càng cầu kỳ càng entropy càng tốt (hay sức lực lao lực mã hóa to).Entropy là nền móng trong việc mẹo cross-entropy giám sát và đo đạc và tính toán sai khác trong số những phân bố xác suất.Entropy nhạy cảm với biến đổi xác suất nhỏ, lúc 2 phân bố càng giống nhau thì entropy càng giống nhau và ngược lạiEntropy thấp đồng nghĩa với việc chủ yếu những lần nhận thông tin, ta mà thậm chí phán đoán dễ hơn, ít bất thần hơn, ít bất ổn hơn và ít thông tin hơn.
Đọc thêm: Điện Thoại Tai Thỏ Là Gì ? Tại vì sao Iphone Hay Sử dụng Màn Hình Tai Thỏ?
Bài viết bài viết nội dung được dịch và mình sở hữu bổ sung update cập nhật từ bài: Demystifying Entropy của Author: Naoki Shibuya
Cảm ơn mọi người đã đọc. Trong thời hạn tới mình sẽ cố gắng dịch về Cross-entropy và Demystifying KL Divergence.
Phân mục: Thống kê
source https://daquyneja.com/wiki/entanpi-va-entropi-la-gi-entropy-la-gi-va-cach-tinh-toan-no/
0 nhận xét:
Đăng nhận xét