shannon1 엔트로피(Entropy) 이야기(3) - 섀넌 3. 섀넌의 엔트로피(1) 배경 1940년대 당시 벨 연구소의 가장 큰 고민은 전화와 전신(Telegraph)의 효율성이었다. 전선을 통해 신호를 보낼 때 ,거리가 멀어지면 항상 노이즈(Noise)가 섞였기 때문이다. 당시의 엔지니어들은 신호의 세기(Power)를 키우거나 전선을 더 굵게 만드는 물리적인 방법에만 매달렸지만 클로드 섀넌(Claude Shannon)은 물리적인 전기 신호가 아닌 그 신호가 담고 있는 '메시지의 논리적인 구조' 자체를 수학적으로 정의할 수는 없을지 고민했다. 섀넌은 2차 세계대전 당시 암화화 통신 시스템을 연구했는데, 당시에 '잘 암호화된 메시지는 겉보기에 무작위한 노이즈와 구별할 수 없다'는 통찰을 하며 확률과 정보를 연결하는 결정적인 계기를 맞이했다. 즉, 메시지가 얼마나.. 2026. 4. 6. 이전 1 다음
