ID3 알고리즘 의사결정 트리(Decision Tree)는 다양한 알고리즘을 통해 발전되어 왔습니다. 다양한 알고리즘의 첫걸음은 바로 ID3 (Iterative Dichotomiser 3) 알고리즘입니다. 1980년대 Ross Quinlan에 의해 개발된 ID3는 머신러닝 분야에 정보 이론(Information Theory)의 개념을 도입하여 데이터를 분류하는 강력하고 직관적인 방법을 제시했습니다. 즉 ID3는 "어떻게 질문을 던져야 데이터를 가장 효율적으로 나눌 수 있을까?"라는 질문에 대한 수학적인 해답을 제시한 알고리즘입니다. 1. 🎯 엔트로피 (Entropy) ID3의 모든 것은 엔트로피에서 시작합니다. 엔트로피는 원래 물리학에서 '무질서도'를 측정하는 개념이었지만, 정보 이론에서는 데..