데이터

Norm, 노름, 거리, euclidean distance, 데이터 유사도

필자는 처음 선형대수학을 공부할 때 내적이라는 개념이 나오면 도대체 왜?? 해야하는지 궁금했던 것 같다. 직교나 정사영에 대해 배우기 전에는 당최 이해가 되질 않았다. 벡터로써 norm은 자기 자신의 크기(magnitude)가 얼마나 큰 지 알 수 있을 뿐만 아니라, 다른 벡터와 같이 사용될 때 그 의미가 체감되는 것을 알 수 있었다. 예를 들면 데이터의 유사도(similarity)를 구한다고 생각해보자. 어떤 기준으로 임의의 두 데이터 A와 B가 유사하다고 판단할 것인가? 사람의 고향, 나이, 학력, MBTI 등과 같은 것을 알수 있다면, 조금 더 쉽게 유사한 사람인지 아닌지를 알 수 있지 않을까 생각한다. 이걸 선형대수학에서는 크게 두가지 관점에서 확인할 수 있는데, 바로 거리를 활용한 데이터 유사도..

정형데이터 관점에서의 벡터

선형대수의 개념을 모르는 사람이더라도, 엑셀은 사용해봤으리라 생각이 든다. 우리는 어떠한 정보를 기록해두기 위해서 엑셀을 사용하는데, 엑셀 테이블의 행과 열이 선형대수 관점에서 어떻게 사용되고 있을까? 아래의 사람의 개인정보를 담은 테이블을 보자 각 행은 한 사람에 대한 데이터를 담고 있다. 이 맨 윗 행에 대한 정보를 테이블에서 똑 떼와서 본다면 160cm, 80kg, 19세, 남성 이라는 정보가 --> (160, 80, 19, 1) 이렇게 하나의 벡터로 표현을 할 수 있다. 물론 파이썬 pandas의 관점에서 생각을 해보면, 하나의 열 (키, 몸무게, 연령, 성별) 이라는 변수들이 벡터로서 표현되어 각 열벡터가 하나로 취합되어 테이블(=데이터프레임=행렬)로써 표현이 되고 있다. 마찬가지로 두번째 세번..

데이터사이언티스트 & 경제학자가 선형대수학을 공부하는 이유

필자는 세번의 선형대수학 수업을 각기 다른 학교에서 수강했다. 영국의 에딘버러 대학교에선 선형대수학 개론을, 미국의 노스캐롤라이나 대학교에선 상미분방정식을 배우면서 선형대수의 커널까지의 개념을, 그리고 현재 성균관대학교 데이터사이언스융합학과에서 응용 선형대수 수업을 이수했다. 매번 제대로 공부할 때마다 선형대수의 개념들이 매번 새롭게 다가왔는데, 그때마다 이해의 폭이 넓어지는 것이 느껴졌다. 데이터 사이언티스트를 업으로 삼고있는 지금, 매일 시간이 날 때마다 조금씩이라도 선형대수학을 다시 공부하며 공유하는 시간을 가져볼까 한다. 정형데이터를 행렬의 관점에서 바라보며 분석을 진행할 때, 다중공선성, 노이즈 제거의 측면에서 데이터를 압축할 때, 이미지 & 텍스트 처리 시 빈번하게 마주할 수 있는 대용량 데이..