데이터분석

[M1 맥] 스파크 설치하기 (Spark)

스파크 설치에 앞서 하둡(Hadoop) 설치와 자바(JAVA) 설치를 선행하시는 것을 추천드립니다. M1 맥북에 Hadoop 설치하기 M1 맥북에 Java 설치하기 스파크 설치 스파크 설치 시, 본인 로컬 환경에 설치되어 있는 하둡 버전을 고려하여 설치하는 것을 추천드립니다. 따라서 brew를 통한 설치 또는 묻지마 설치 보다는, 버전을 체크하고 설치를 진행하는 것이 좋습니다. 1. Apache Spark 웹사이트 이동 그렇게 하기 위해서 아파치(apache) 웹사이트로 접속하겠습니다. https://spark.apache.org/downloads.html Downloads | Apache Spark Download Apache Spark™ Choose a Spark release: Choose a pa..

[변수 중요도] Feature Importance와 Permutation Importance

머신러닝/딥러닝 모델을 해석하는 방법과 시도가 점점 늘어나고 있다. 변수간의 인과관계를 알려주진 않지만, "어떤 변수가 가장 큰 변화를 만들어냈는지", "특정 변수가 결과에 긍정/부정적인 영향을 끼쳤는지" 등과 같은 결과에 대한 이유에 대해서 해석할 수 있는 방법은 다양한 기법을 통해 알 수 있다. 이번 포스팅에는 그중에서도 Feature Importance와 Permutation Importance에 대해 알아보고자 한다. Feature Importance Feature Importance는 일반적으로 Random Forest와 같은 트리 계열의 앙상블 모델을 사용하면 쉽게 얻을 수 있다. 단순 해석하면 '변수(특징) 중요도' 정도로 해석할 수 있는데, 매커니즘 자체는 불순도를 감소시키는 정보 증가량에..