규제 적용
로지스틱 회귀에 규제를 적용해보자.
앞에서 만들어 놓은 SingleLayer 클래스에 L1 규제와 L2 규제를 적용하자.
def __init__(self):
self.w = None
self.b = None
self.losses = []
self.val_losses = []
self.w_history =[]
self.lr = learning_rate
self.l1 = l1
self.l2 = l2l1, l2 변수를 만들었다.
def fit(self, x, y, epochs=100, x_val=None, y_val=None):
self.w = np.ones(x.shape[1]) #가중치 초기화
self.b = 0 #절편 초기화
self.w_history.append(self.w.copy()) #가중치 기록
np.random.seed(2)
for i in range(epochs):
loss = 0
indexes = np.random.permutation(np.arange(len(x)))
for i in indexes:
z = self.forpass(x[i]) #정방향 계산
a = self.activation(z) #활성화 함수 적용
err = -(y[i] - a) #오차 계산
w_grad, b_grad = self.backprop(x[i], err) #역방향 계산
w_grad += self.l1 * np.sign(self.w) + self.l2 * self.w #규제 적용
self.w -= self.lr * w_grad
self.b -= b_grad
self.w_history.append(self.w.copy())
a = np.clip(a, 1e-10,1-1e-10)
loss += -(y[i]*np.log(a) + (1-y[i])*np.log(1-a))
self.losses.append(loss/len(y) + self.reg_loss()) #평균 손실 조장
self.update_val_loss(x_val, y_val) #검증 세트 손실 계산
def reg_loss(self):
return self.l1 * np.sum(np.abs(self.w)) + self.l2 / 2 * np.sum(self.w**2)
검증 세트의 손실을 계산하는 update_val_loss() 메서드도 변경하자.
def update_val_loss(self, x_val, y_val):
if x_val is None:
return
val_loss = 0
for i in range(len(x_val)):
z = self.forpass(x_val[i]) #정방향 계산
a = self.activation(z) #활성화 함수 적용
a = np.clip(a, 1e-10,1-1e-10)
val_loss += -(y_val[i]*np.log(a) + (1-y_val[i])*np.log(1-a))
slef.val_losses.append(val_loss/len(y_val) + self.reg_loss())
L1 규제 적용
L1 규제의 강도를 0.0001, 0.001, 0.01 세가지로 훈련을 해보자
학습 곡선 그래프를 보면 규제가 더 커질수록 훈련 세트의 손실과 검증 세트의 손실이 모두 높아진다.
즉, 과소적합 현상이 나타난다.
L1 값이 커질수록 가중치의 값이 0에 가까워진다.
가장 적절한 l1은 0.001 정도인 것 같다.
L2 규제 적용
L2 규제도 0.0001, 0.001, 0.01을 적용해 보자.
L2 규제도 L1 규제와 비슷한 양상을 보인다.
L2 규제는 규제 강도가 강해져도 L1 규제만큼 과소 적합이 심해지지는 않는다.
가중치도 0에 너무 가까게 줄어들지 않는다.
