덥고 추울수록 전기가 많이 쓰일까요? - [Brightics Studio 실습] EDA (3) : 피어슨 상관분석/선형 회귀분석

#브라이틱스 #브라이틱스스튜디오 #브라이틱스서포터즈 #통계분석 #데이터분석 #BrighticsAI

 

강력한 여름을 자랑하는 대한민국..

저번에 기상특보 지도를 확인해보니 위쪽은 장마, 아래는 폭염 .. 중간 지역은 장마+폭염 ..... 상태더라구요.. 
가만히 집에 누워있어도 더운 날씨가 당분간은 계속 지속될 것 같은데요.
열심히 조절해보지만 결국에는 에어컨과 선풍기가 없으면 참을 수 없는 날씨인 것 같아요 ㅠㅠ

그렇다면 온도와 전력 사용량은 직접적인 상관관계가 있을까요?

오늘의 실습 시나리오가 바로 온도와 강수량, 그리고 전력 수요 간의 상관관계를 분석하는 내용이랍니다!
그리고 분석한 내용을 바탕으로, 전년도 전력수요와 올해 온도/강수량 데이터로 올해의 전력 수요도 예측해볼 거예요!
​
그럼 바로 시작해볼까요?

 

---

𝒃𝒓𝒊𝒈𝒉𝒕𝒊𝒄𝒔 𝒑𝒓𝒐𝒄𝒆𝒔𝒔

※ 이 실습은 브라이틱스 AI 홈페이지에서 제공하고 있는 튜토리얼에서,

피어슨 상관분석 및 선형회귀분석을 기반으로 진행됩니다!
사용하는 데이터셋도 아래 페이지에서 다운 받으실 수 있어요!

Brightics Studio

𝟏. 𝐋𝐨𝐚𝐝

이번에 분석할 데이터는 아래의 변수들로 구성되어 있어요.

- date [string] : 날짜
- yyyy [string] : 기준연도
- mm [string] : 기준월
- dd [string] : 기준일자
- yyyymm [string] : 연월
- supply [double] : 전력수요 공급능력(MW)
- temperature [double] : 온도
- precipitation [double] : 강수량

다섯 개의 날짜 문자변수와 세 개의 실수형 변수!

 

string summary 함수로 date 값이 어떻게 구성되어 있는지 살펴보니, 결측값 (null 값) 은 따로 없네요 ! ㅎㅎ 다행 ..

문자 변수이지만, 날짜이다보니 max와 min을 통해서 기간을 확인해볼 수 있어요!
2017년 11월 22일부터 2011년 10월 1일까지 총 2241개의 데이터인 것을 알 수 있네요.

온도와 강수량 변수, 그리고 전력수요 공급능력 간의 관계를 먼저 살펴볼까요?

𝟐. 𝐜𝐨𝐫𝐫𝐞𝐥𝐚𝐭𝐢𝐨𝐧

변수 간의 상관관계를 살펴볼 수 있는 함수는 correlation, 말 그대로 상관관계 함수!
Load 함수 (string summary 함수 아님!) 와 연결해서, 위 사진과 같이 세부사항을 선택해줍니다.

상관관계(계수)를 구할 때 일반적으로 피어슨, 스피어만, 켄달의 타우 세 가지 방식을 사용하는데,
브라이틱스 스튜디오에서는 correlation 함수에서 세부 옵션에서 선택만 해주면 되네요!

---

Q. 상관계수가 무엇이죠?
A. 변수 간의 상관관계를 하나의 수치로 나타낸 것을 상관계수라고 합니다.

한 변수가 증가할 때, 다른 한 변수도 증가하면 양의 상관관계(+), 감소하면 음의 상관관계(-)로
상관계수는 -1부터 1 사이의 값을 가져요.
​
하지만! 상관계수는 두 변수 간 함수의 기울기와 혼동하기 쉬운데,
이 상관계수가 높다고 해서 한 변수가 증가할 때 다른 한 변수가 엄청 크게 증가한다! 가 아니예요.

상관계수가 높다는 것은 한 변수가 증가할 때 다른 한 변수가 증가할 것이라는 예측의 정확도가 높다는 것!

상관관계분석 > 통계연구 | KSI

---

다시 실습으로 돌아와서, 함수 결과 화면을 살펴보니
전력 수요량과 강수량 간 상관계수는 0.03, 전력 수요량과 온도 간 상관계수는 -0.18로 높은 편은 아니네요?
(일반적으로 절댓값이 0.3과 0.7 사이일 때부터 상관관계가 뚜렷하다고 봅니다. 그 이상은 강한 상관관계!)

하지만 여기서 그만두지 않을 거예요(?)
변수 형태를 적절히 변형해준다면 숨겨진 상관관계가 나올 수도 있으니까요!

 

𝟑. 𝐀𝐝𝐝 𝐜𝐨𝐥𝐮𝐦𝐧

온도에 대한 실수형 변수를 범주형 변수로도 하나 만들어줄 거예요! 함수는 Add Column!
위와 같은 조건을 부여해주어서

온도가 15도 이하이면 '15 and under', 그렇지 않다면 'above 15'인 문자 변수 temp_class를 만들어줍니다.

 

다시 Correlation 함수로 상관관계를 분석해볼텐데, 이번에는 group by를 방금 생성한 변수로 선택해줄게요.

그리고 다시 확인해보면, above 15인 그룹은 0.37,
15 and under 인 그룹에서는 상관계수가 -0.40으로 이전보다 훨씬 높아진 값을 확인할 수 있었어요.

​

그렇다면 추울 수록 난방으로, 더울 수록 냉방으로 전기 수요량이 느는데 둘 다 아닐 때는 그렇지 않으니
온도라고 뭉뚱그려하면 보이지 않던 상관관계를 두 상황으로 나눠주니 보이는 것이라고 해석할 수 있겠네요!

왼쪽 그래프로는 보이지 않던 상관관계가, 오른쪽 그래프로 두 부분을 나눠주니 각각 보이는 상관관계가 있죠?

𝟒. 𝐋𝐢𝐧𝐞𝐚𝐫 𝐫𝐞𝐠𝐫𝐞𝐬𝐬𝐢𝐨𝐧

그럼 이번에는 강수량과 기온 데이터로 전기 수요량을 예측하는 선형회귀분석을 실습해볼게요.
사실 이 선형회귀분석은 이전에 다루어본 적이 있어요.

[Brightics Studio 실습] Common : 회귀분석, 군집분석 실습

같은 방법으로 이 데이터를 분석해볼게요.

 

먼저 온도에 따른 전력수요의 관계를 나타낼 Linear Regression 모델 적합에 사용할 훈련 데이터,
그리고 그 모델을 평가하는데 사용할 테스트 데이터를 7:3 비율로 랜덤으로(123) 나누어줄게요.

 

그리고 train 데이터는 Linear Regression Train 함수와 연결!

온도에 따른 전력 수요이니 Feature Columns과 Label Column에 각 변수를 넣어주고,
마찬가지로 Group By에 term_class 변수를 넣어 온도가 15 이하일 때와 초과일 때 따로따로 결과가 나올 수 있도록 해주었어요.

결과를 보니 R-squared 가 15도 초과 그룹에서 0.155 (이하 그룹은 0.158이 나왔어요) 로 그렇게 높지는 않네요 🤔

 

그럼 test 데이터와 방금 만든 모델을 가지고 예측값을 확인해볼까요?
(Split Data에서 test 데이터, Linear Regression Train에서 model 모두 가져와야 하므로 둘 다 연결!)

 

그리고 어느 정도로 제대로 예측했는지 Evaluate Regression 함수로 평가해볼 수 있어요.
하나의 변수로 값을 예측하다보니 설명력이 다소 떨어지고 오차가 높네요 ㅠㅠ

 

---

지금까지 온도와 강수량, 그리고 전력 수요 간의 상관분석과 회귀분석을 진행해보았습니다!
EDA도 벌써 다음이면 마지막 포스트네요 .. 생각보다 주제가 휙휙 바뀌어서 신기하기도 하고 아쉽기도 하고(?)

다음에는 대학생 분들 과제에도 직접 활용할 수 있는! 설문조사 통계 분석하기와 데이터 시각화하기!
그리고 지금까지의 실습을 실제로 활용해볼만한 주제를 생각해보고 있어요.

읽어주셔서 감사합니다.