미분
우선 함수와 그래프에 대하여 보자
함수
● 입력값과 출력값 간의 관계를 식으로 표현한 것
● y = f(x)
일차 함수 그래프는 점 두개로 그릴수 있다.
기울기 = x가 1만큼 커질때 y값이 얼마나 커지는 지
머신러닝 사용시 함수 사용 ( 집값 - 평수, 몸무게 - 키)
머신러닝 -> 예측
모델을 짜서 예측을 한다
모델은 데이터를 가지고 한다
1차 함수
차수가 1인 함수.
고차 함수
2차 함수, 3차함수
다변수 함수
● 인풋 변수가 여러개인 함수
ex) 집값에 영향을 미치는 변수 => 평수, 역에서 근접하는 정도 등 여러 변수가 존재할 수 있다.
많은 변수를 계산하기 쉽게 하는것이 선형대수학(행렬, 벡터) 이다.
현실 세계에서의 함수
그래프
그래프
● 수학식을 시각적으로 표현하는 방법
1차함수
2차 함수
- x : 독립변수 , y : 종속변수
- 최소점
- x의변화에 따른 y값의변화
만약 x^2의 계수가 양수인 2차함수가 오차 함수 라면,
오차함수의 최솟값을 찾을 수 있다.
평균변화율 (구간변화율)
1차식의 기울기
● y = 2x + 1
● 1차식은 어느 점에서나 기울기가 같다.
2차식의 기울기
● 2차식은 위치마다 기울기가 다르다.
● 특정 지점에서 접선을 그었을 때 그 접선의 기울기가 그 점에서의 기울기이다.
● 2차식의 기울기를 구하려면 먼저 평균변화율을 알아야 한다.
2차식의 기울기 – 평균 변화율
● (예시 1) (1,0) -> (2,1) 선의 평균변화율은 1이다.
● (예시 2) (1,0) -> (-1,4) 선의 평균변화율은 -2이다.
순간변화율 (기울기)
기울기
극한(limit)과 미분
평균변화율 + 극한 = 순간변화율
= 미분
2차식의 기울기 – 순간 변화율
● 2차 함수에서 특정 지점에서의 기울기는 그 점에서의 접선의 기울기와 같다.
● 먼저 x=2에서의 증가분 h만큼을 이용해서 평균 변화율을 구한다.
● 그 다음 h값을 0으로 극한(limit)을 취해주면 x=2에서의 순간변화율이 된다.
● 함수식에 대입해보면 결과는 2가 나온다.
● x=1에서의 순간변화율은 0이 된다.
미분 (differential)
미분은 함수의 순간 변화율(기울기)를 계산하는 것이다
● f(x)를 미분하면(접선의 기울기는) 다음과 같다.
2차 함수 미분(예시)
● d는 differential(미분)의 약자
● d/dx f(x)는 “함수 f(x)를 x에 대해서 미분한다”를 의미
dx는 x에 대하여 미분하겠다! 라는 뜻임
4차 함수 미분(예시)
미분 퀴즈
1번 : $$f'(x) = 2x-2$$
2번 : $$ f'(x) = -4x^3 + 6x^2 + 4x$$
가장 가파른 방향 (2차원)
기울기의 의미
● 기울기는 그래프의 기울어진 방향과 가파른 정도를 알려준다.
● case1. x=0일 때는 기울기가 -2(음수)이다.
- 기울기 < 0 (음수)
- x값이 커질수록 y가 작아진다.
- x값이 오른쪽으로 갈수록 기울기가 평평해진다.
- x값이 왼쪽으로 갈수록 기울기가 가파라진다.
● case2. x=2일 때는 기울기가 2(양수)이다.
- 기울기 > 0 (양수)
- x값이 커질수록 y값도 커진다.
- x값이 왼쪽으로 갈수록 기울기가 평평해진다.
- x값이 오른쪽으로 갈수록 기울기가 가파라진다.
극소점, 극대점, 안장점
기울기(순간 변화율)가 0인 지점
● x가 변해도 y는 그대로인 점
1. 극소점
2. 극대점
3. 안장점
극소점
극소점과 최소점
● 극소점(local minimum)
● 최소점(global minimum)
기울기가 0이라고 최소점이 아니다!
기울기가 0인값에서 최소점을 찾아야 한다 = 오차가 가장 낮은 점
경사하강법
경사를 따라 내려가다 최소점을 찾는다.
하지만 아래 그래프와 같이 시작이 어디냐에 따라 최소점이 아닌 극소점을 찾을 수 있다.
따라서 최소값 global minimun을 구해야 한다.
극대점과 최대점
● 극대점(local maximum)
● 최대점(global maximum)
안장점
● 기울기 부호가 변하지 않고 계속 같다.
안장점도 기울기가 0이지만 오른쪽 왼쪽으로 가도 기울기가 계속 양수이거나,
오른쪽 왼쪽으로 움직여도 기울기가 0으로 고정된 점이다.
편미분
편 (나누다, 쪼개다) 미분 = 미분을 하는데 쪼개서 하는 것
● 인풋 변수가 x, y 두개인 경우
변수가 2개이면서 차수가 이차인 함수를 그래프를 그리면 아래와 같다.
이의 최소점을 찾기위해서 미분을 하면, 접면의 기울기가 나온다. 이를 0 이 되도록 구해야한다.
이때, 인풋 변수가 두개 이므로 x에 대한 미분과 y에 대한 미분을 둘다 해야한다.
● 변수 하나에 대해서만 미분
해당 변수를 제외한 나머지 변수들은 상수 취급하고 미분한다.
● x에 대한 편미분
편미분은 round d, del(델)으로 부르고 사용한다.
여기서 2y^2은 상수로 취급하여 날라간다.
편미분은 경사하강법에서 사용한다.
● y에 대한 편미분
● 다변수 함수의 기울기 구하기
● y=1가 고정돼 있고,
x=1일 때의 함수 f의 기울기는 2
● x=1이 고정돼 있고,
y=1일 때 함수 f의 기울기는 4
가장 가파른 방향(고차원)
함수의 기울기
● 함수의 기울기 : 그래프의 한 점에서 최소점으로갈 때 어디로 가야할 지 알려줌
경사 하강법 : 경사를 따라서 하강한다.
● (1,1) 지점에서 가장 가파르게 걸어 올라가려면
● (1,1) 지점에서 가장 가파르게 걸어 내려가려면
편미분으로 기울기 벡터를 구하는 것의 의미
● 그래프에서 가장 가파르게 올라가거나 내려가는 방향을 알 수 있다.
머신러닝에서 미분이 필요한 이유
미분과 머신러닝
● 미분을 통해 얻을 수 있는 것
- 극대점/극소점
- 최대점/최소점
- 함수가 어디서 증가하고 어디서 감소하는지(기울기)
● 머신러닝 모델 : 경험을 통해 특정 작업에 대한 성능이 좋아지는 프로그램
- 성능 평가
- 최적화
머신러닝 모델의 최적화
● 모델의 성능 오차 함수값을 최소로 만드는 지점을 찾는 것
강사님이 추천해주신 강의자료 딥러닝 개념을 잘 설명해준다!
'Statistics and Math' 카테고리의 다른 글
| 통계(강의) (1) | 2022.09.29 |
|---|---|
| CH04_08 시그모이드와 소프트맥스 (0) | 2022.09.28 |
| CH04_07 이산, 연속 확률분포 (0) | 2022.09.28 |
| CH04_06 확률변수의 기댓값과 산포도 (0) | 2022.09.28 |
| CH04_05 확률변수 (0) | 2022.09.28 |
