들어가기: 데이터와 모형

학습 목표

고전적 프로그래밍과 머신러닝의 차이를 설명할 수 있다
인공지능, 머신러닝, 딥러닝의 관계를 이해한다
데이터의 구성요소(변수, 데이터 포인트, 독립변수, 종속변수)를 구분할 수 있다
정형 데이터와 비정형 데이터를 구분하고, 데이터의 크기를 $(n, p)$로 말할 수 있다
숫자형·순서형·범주형 변수를 구분할 수 있다
모형(model)과 파라미터(parameter)의 개념을 이해한다
모형의 학습이 오차를 최소화하는 파라미터 찾기임을 이해한다
파라미터와 하이퍼파라미터의 차이를 설명할 수 있다
회귀와 분류 문제를 구분할 수 있다
지도학습과 비지도학습의 차이를 설명할 수 있다
딥러닝이 각광받는 이유를 세 가지 이상 제시할 수 있다

데이터 기반 문제해결

고전적 프로그래밍 vs 머신러닝

문제를 해결하는 방식에는 두 가지 접근이 있다.

고전적 프로그래밍 (Classical Programming)

사람이 직접 규칙(Rules)을 만들고, 데이터를 넣으면 답을 얻는다
예: “기온이 0도 이하이면 빙판 주의보를 발령한다”

머신러닝 (Machine Learning)

사람이 데이터(Data)와 정답(Answers)을 주면, 컴퓨터가 규칙(Rules)을 찾아낸다
예: 과거 기상데이터와 사고기록을 주면, 어떤 조건에서 사고가 나는지 규칙을 학습

	입력	출력
고전적 프로그래밍	규칙 + 데이터	답
머신러닝	데이터 + 답	규칙

왜 머신러닝이 필요한가?

규칙을 사람이 직접 만들기 어려운 경우가 많다.

사진 속 동물이 고양이인지 개인지 판별하는 규칙은?
이메일이 스팸인지 아닌지 판별하는 규칙은?
내일 주가가 오를지 내릴지 판별하는 규칙은?

이런 문제들은 데이터로부터 패턴을 자동으로 학습하는 것이 효과적이다.

인공지능, 머신러닝, 딥러닝

세 개념의 관계

인공지능 (Artificial Intelligence)

컴퓨터로 하여금 사람의 생각과 행동을 모사(mimic)하도록 하는 모든 기술.

머신러닝 (Machine Learning)

명시적으로 프로그래밍하지 않아도 컴퓨터가 데이터로부터 규칙을 스스로 발견하도록 하는 것.

딥러닝 (Deep Learning)

인공신경망 구조를 사용하여 데이터로부터 패턴을 추출하는 머신러닝의 한 분야.

세 개념의 포함 관계: 인공지능 ⊃ 머신러닝 ⊃ 딥러닝

데이터란 무엇인가

데이터의 정의

데이터 (Data)

과거에 일어난 사실들을 특정 형식에 맞게 기록해놓은 자료.

예시 데이터

어떤 기업 내 사원 8명에 대한 데이터를 다음과 같이 수집하였다.

코드

import pandas as pd

df = pd.DataFrame({
    '사원': [1, 2, 3, 4, 5, 6, 7, 8],
    '경력 (년)': [1.5, 2.5, 4.2, 5.1, 6.7, 8.3, 9.5, 13.0],
    '연봉 ($)': [31000, 39000, 43000, 49000, 54000, 67000, 92000, 129000],
})
df.to_html(index=False, border=0)

표 1: 예시 데이터: 사원 경력과 연봉

사원	경력 (년)	연봉 ($)
1	1.5	31000
2	2.5	39000
3	4.2	43000
4	5.1	49000
5	6.7	54000
6	8.3	67000
7	9.5	92000
8	13.0	129000

데이터의 구성요소

데이터는 열(column)과 행(row)의 조합으로 표현된다.

변수 (Variable)

데이터의 특성을 구분 짓는 이름. 테이블의 열(column)에 해당한다.

위 예시에서 변수: “경력”, “연봉”

데이터 포인트 (Data Point)

각 특성에 따라 기록된 서로 다른 개체. 테이블의 행(row)에 해당한다.

위 예시에서 데이터 포인트: 사원 1, 사원 2, …, 사원 8 (총 8개)
다른 이름: 관측치(observation), 샘플(sample)

정형 데이터와 비정형 데이터

정형 데이터 (Tabular Data)

행과 열로 정리된 표 형태의 데이터. 각 행이 하나의 개체, 각 열이 하나의 변수다.

예: 엑셀 시트, 데이터베이스 테이블, 설비 센서 로그, 생산 실적표
산업 현장에서 가장 흔한 형태다

비정형 데이터 (Unstructured Data)

표로 정리되지 않는 데이터. 무엇이 열인지 정해져 있지 않다.

예: 사진, 문장, 음성, 동영상
“이 사진의 3번째 열의 값”이라는 말이 성립하지 않는다

이 수업은 정형 데이터에서 출발해(1~4주) 이미지(5~9주), 텍스트(10~12주)로 옮겨간다. 비정형 데이터를 신경망에 넣으려면 먼저 숫자로 바꾸는 방법이 필요한데, 그 방법이 각각 콘볼루션(이미지)과 임베딩(텍스트)이다.

독립변수와 종속변수

정의

데이터를 활용하여 예측이나 추론을 하려면, 변수 간의 역할 구분이 필요하다.

종속변수 (Dependent Variable)

독립변수에 영향을 받는 특성. 우리가 예측하고자 하는 대상.

소문자 $y$로 표기
다른 이름: target variable, output variable, label, 반응변수
위 예시에서: 연봉

독립변수 (Independent Variable)

종속변수에 영향을 주는 것으로 여겨지는 특성들.

대문자 $X$로 표기
다른 이름: predictor, input variable, feature, regressor
위 예시에서: 경력

데이터의 크기 — $(n, p)$

데이터를 말할 때는 항상 두 개의 숫자로 크기를 말한다.

데이터 포인트(행)의 수를 $n$
독립변수(열)의 수를 $p$

이렇게 두면 $X$와 $y$의 모양이 정해진다.

기호	모양	왜 그렇게 쓰는가
$X$	$n$행 × $p$열의 표(행렬)	값이 가로세로로 펼쳐져 있어서 대문자
$y$	길이 $n$의 한 줄(벡터)	행마다 정답이 하나씩, 한 줄이라 소문자

위 사원 데이터는 $n = 8$ (사원 8명), $p = 1$ (경력 하나)이다. 만약 경력·부서·평가등급을 모두 쓴다면 $p = 3$이 된다.

이 $(n, p)$ 감각은 이 수업 내내 쓰인다. Ch02에서 신경망의 입력층 노드 수가 곧 $p$이고, Ch04에서 범주형 변수를 원-핫 인코딩하면 $p$가 늘어난다.

수치 예시

위 사원 데이터에서 독립변수와 종속변수를 구분하면:

코드

import pandas as pd

df = pd.DataFrame({
    '사원': [1, 2, 3, 4, 5, 6, 7, 8],
    '$X$ (경력)': [1.5, 2.5, 4.2, 5.1, 6.7, 8.3, 9.5, 13.0],
    '$y$ (연봉)': [31000, 39000, 43000, 49000, 54000, 67000, 92000, 129000],
})
df.to_html(index=False, border=0)

표 2: 독립변수(X)와 종속변수(y) 구분

사원	$X$ (경력)	$y$ (연봉)
1	1.5	31000
2	2.5	39000
3	4.2	43000
4	5.1	49000
5	6.7	54000
6	8.3	67000
7	9.5	92000
8	13.0	129000

질문: “경력이 7년인 사원의 연봉은 얼마일까?”

이 질문에 답하려면, $X$와 $y$의 관계를 수학적으로 표현하는 모형이 필요하다.

모형 (Model)

정의

모형 (Model)

독립변수($X$)와 종속변수($y$)의 관계에 대한 가설을 수학적으로 표현한 것.

같은 데이터라 할 지라도 $X$와 $y$의 관계에 대한 다양한 가설을 생각해 볼 수 있다.

모형의 예시

코드

import pandas as pd

df = pd.DataFrame({
    '가설': [
        '연봉이 경력에 비례하여 증가',
        '연봉이 경력의 제곱에 비례하여 증가',
        '연봉이 경력의 n차식으로 표현',
    ],
    '수식': [
        '$y = w_0 + w_1 x$',
        '$y = w_0 + w_1 x + w_2 x^2$',
        '$y = w_0 + w_1 x + w_2 x^2 + ⋯ + w_n x^n$',
    ],
    '파라미터': [
        '$w_0, w_1$',
        '$w_0, w_1, w_2$',
        '$w_0, w_1, …, w_n$',
    ],
})
df.to_html(index=False, border=0, escape=False)

표 3: 같은 데이터에 대한 다양한 모형 가설

가설	수식	파라미터
연봉이 경력에 비례하여 증가	$y = w_0 + w_1 x$	$w_0, w_1$
연봉이 경력의 제곱에 비례하여 증가	$y = w_0 + w_1 x + w_2 x^2$	$w_0, w_1, w_2$
연봉이 경력의 n차식으로 표현	$y = w_0 + w_1 x + w_2 x^2 + ⋯ + w_n x^n$	$w_0, w_1, …, w_n$

모형의 종류

$X$와 $y$의 관계에 대한 가설에 따라 다양한 종류의 모형이 존재한다.

모형	특징
회귀모형	$y = w_0 + w_1 x$
로지스틱회귀모형	확률을 통한 분류
K-Nearest Neighbor	가까운 이웃의 다수결
Support Vector Machine	최대 마진 분류
Random Forest	의사결정나무 앙상블
딥뉴럴네트워크	다층 퍼셉트론 구조

파라미터 (Parameter)

정의

파라미터 (Parameter)

모형 안에서 독립변수($X$)와 종속변수($y$)의 관계를 표현하기 위해 조절할 수 있는 숫자.

파라미터의 값이 달라지면, 같은 모형이라도 다른 예측을 한다.

앞의 첫 번째 가설 $y = w_0 + w_1 x$로 돌아가 보자. 이 모형에서 조절할 수 있는 숫자는 딱 두 개다.

파라미터	이름	뜻
$w_0$	절편	경력이 0년일 때의 연봉. 직선이 $y$축과 만나는 높이
$w_1$	기울기	경력이 1년 늘 때 연봉이 얼마나 오르는가

이 두 값을 정하기 전의 모형은 “연봉은 경력에 비례한다”는 뼈대일 뿐이라 아무 숫자도 내놓지 못한다. $w_0, w_1$에 값을 넣는 순간 모형은 하나의 구체적인 직선이 되고, 그제서야 경력을 넣으면 연봉이 나온다.

수치 예시: 파라미터에 따른 예측 변화

같은 모형 $y = w_0 + w_1 x$에 서로 다른 파라미터를 넣은 세 후보를 만들어 보자. 같은 경력(7년)에 대해 세 후보는 서로 다른 연봉을 예측한다.

코드

import pandas as pd
import numpy as np

rows = []
for name, b0, b1 in [('A', 20000, 5000), ('B', 10000, 8000), ('C', 15000, 7000)]:
    y_hat = b0 + b1 * 7
    rows.append({
        '후보': name,
        '$w_0$': f'{b0:,}',
        '$w_1$': f'{b1:,}',
        '예측식': f'{b0} + {b1} × 7',
        '예측 연봉': f'${y_hat:,}',
    })

pd.DataFrame(rows).to_html(index=False, border=0, escape=False)

표 4: 파라미터에 따른 예측값 변화 (경력 7년일 때)

후보	$w_0$	$w_1$	예측식	예측 연봉
A	20,000	5,000	20000 + 5000 × 7	$55,000
B	10,000	8,000	10000 + 8000 × 7	$66,000
C	15,000	7,000	15000 + 7000 × 7	$64,000

모형은 하나인데 파라미터가 다르니 답이 세 가지다. 그렇다면 이 중 어느 것이 “좋은” 파라미터인가? 이 질문에 답하려면 먼저 “좋다”의 기준이 있어야 한다. 그 기준을 세우고, 기준에 맞는 파라미터를 찾는 일이 다음 절의 학습이다.

모형의 학습 (Learning)

“데이터를 잘 나타낸다”는 것은 무엇인가

모형은 $X$와 $y$의 관계에 대한 가설이고, 파라미터를 정하면 그 가설은 구체적인 식이 된다고 했다. 그 식이 데이터를 “잘 나타낸다”는 말의 뜻을 정확히 해 두자. 절차는 세 단계다.

파라미터가 정해진 모형에 데이터 포인트 하나의 $x$를 넣는다. 모형이 내놓는 값이 예측값 $\hat{y}$다.
그 데이터 포인트에 실제로 기록된 $y$와 비교한다. 둘의 차이 $e = y - \hat{y}$가 오차(잔차)다.
모든 데이터 포인트에 대해 1~2를 반복해 오차를 모은다. 오차가 전체적으로 작을수록 “잘 나타내는” 파라미터다.

후보 A($w_0 = 20000,\ w_1 = 5000$)에 사원 8명의 경력을 하나씩 넣어 보자.

코드

import pandas as pd

sal_x = [1.5, 2.5, 4.2, 5.1, 6.7, 8.3, 9.5, 13.0]
sal_y = [31000, 39000, 43000, 49000, 54000, 67000, 92000, 129000]
b0, b1 = 20000, 5000

rows = []
for i, (x, y) in enumerate(zip(sal_x, sal_y), start=1):
    y_hat = b0 + b1 * x
    e = y - y_hat
    rows.append({
        '사원': i,
        '경력 $x$': x,
        '실제 연봉 $y$': f'{y:,}',
        '예측 ŷ = 20000 + 5000x': f'{y_hat:,.0f}',
        '오차 e = y − ŷ': f'{e:+,.0f}',
        'e²': f'{e*e/1e6:,.1f}M',
    })
rows.append({'사원': '합', '경력 $x$': '', '실제 연봉 $y$': '',
             '예측 ŷ = 20000 + 5000x': '',
             '오차 e = y − ŷ': f'{sum(y - (b0 + b1*x) for x, y in zip(sal_x, sal_y)):+,.0f}',
             'e²': f'{sum((y - (b0 + b1*x))**2 for x, y in zip(sal_x, sal_y))/1e6:,.1f}M'})

pd.DataFrame(rows).to_html(index=False, border=0, escape=False)

표 5: 후보 A (ŷ = 20000 + 5000x)를 사원 8명에게 적용한 결과

사원	경력 $x$	실제 연봉 $y$	예측 ŷ = 20000 + 5000x	오차 e = y − ŷ	e²
1	1.5	31,000	27,500	+3,500	12.2M
2	2.5	39,000	32,500	+6,500	42.2M
3	4.2	43,000	41,000	+2,000	4.0M
4	5.1	49,000	45,500	+3,500	12.2M
5	6.7	54,000	53,500	+500	0.2M
6	8.3	67,000	61,500	+5,500	30.2M
7	9.5	92,000	67,500	+24,500	600.2M
8	13.0	129,000	85,000	+44,000	1,936.0M
합				+90,000	2,637.5M

사원 3(경력 4.2년): 예측 41,000 vs 실제 43,000. 거의 맞았다.
사원 8(경력 13년): 예측 85,000 vs 실제 129,000. 44,000이나 모자란다.

후보 A는 오차가 전부 $+$다. 직선이 모든 점 아래에 있다는 뜻이니, 이 직선은 전체적으로 너무 낮다. 다른 파라미터에서는 오차에 $+$와 $-$가 섞이고(아래 보드에서 확인할 수 있다), 그대로 더하면 서로 상쇄되어 얼마나 틀렸는지 보이지 않는다. 그래서 부호를 없애기 위해 제곱해서 더한다.

잔차 제곱합 (Sum of Squared Errors)

\[L = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2\]

파라미터가 데이터를 얼마나 못 맞히는지를 숫자 하나로 요약한 값. 작을수록 잘 맞는다. Ch03에서 손실함수(loss function)라는 이름으로 일반화한다.

이제 세 후보를 같은 기준으로 비교할 수 있다.

코드

import pandas as pd

sal_x = [1.5, 2.5, 4.2, 5.1, 6.7, 8.3, 9.5, 13.0]
sal_y = [31000, 39000, 43000, 49000, 54000, 67000, 92000, 129000]

rows = []
for name, b0, b1 in [('A', 20000, 5000), ('B', 10000, 8000), ('C', 15000, 7000)]:
    L = sum((y - (b0 + b1 * x)) ** 2 for x, y in zip(sal_x, sal_y))
    rows.append({'후보': name, '$w_0$': f'{b0:,}', '$w_1$': f'{b1:,}', '$L$': f'{L/1e6:,.1f}M'})

pd.DataFrame(rows).to_html(index=False, border=0, escape=False)

표 6: 세 후보의 잔차 제곱합 비교

후보	$w_0$	$w_1$	$L$
A	20,000	5,000	2,637.5M
B	10,000	8,000	607.1M
C	15,000	7,000	816.2M

B가 셋 중 가장 낫다. 그런데 B보다 더 나은 파라미터가 있을까? $(w_0, w_1)$ 조합은 셀 수 없이 많고, 그 가운데 $L$을 가장 작게 만드는 조합을 찾아야 한다.

학습이란

학습 (Learning)

주어진 데이터에 대해 오차($L$)가 가장 작아지는 파라미터를 찾아나가는 과정.

모형: $X$와 $y$의 관계에 대한 가설 (뼈대)
파라미터: 그 가설을 구체적인 식으로 만드는 숫자
학습: 데이터의 $x$를 넣어 나온 $\hat{y}$가 실제 $y$와 가장 가까워지도록, 파라미터를 데이터로부터 결정

컴퓨터가 이 탐색을 어떻게 하는지(경사하강법)는 Ch03에서 다룬다. 지금은 직접 손으로 찾아보자.

인터랙티브 — 파라미터를 조절하여 데이터에 맞는 직선을 찾아보세요

$w_0$ (절편)과 $w_1$ (기울기)을 움직이면 직선이 바뀌고, 각 사원의 예측값 $\hat{y}$와 오차, 그리고 $L$이 함께 바뀝니다. $L$이 최소가 되는 파라미터가 최적입니다.

viewof sal_b0 = Inputs.range([-20000, 50000], { step: 1000, label: "w₀ (절편)", value: 20000 })
viewof sal_b1 = Inputs.range([0, 15000], { step: 500, label: "w₁ (기울기)", value: 5000 })
viewof sal_ans = Inputs.toggle({ label: "✅ 정답 보기", value: false })

sal_b0e = sal_ans ? sal_b0_star : sal_b0
sal_b1e = sal_ans ? sal_b1_star : sal_b1
sal_rows = sal_data.map((d, i) => {
  const yhat = sal_b0e + sal_b1e * d.x
  const e = d.y - yhat
  return { i: i+1, ...d, yhat, e, err2: e * e }
})
sal_L = d3.sum(sal_rows, r => r.err2)
sal_pct = Math.max(0, Math.min(1, 1 - (sal_L - sal_L_star) / (sal_L_star * 20)))
sal_clr = sal_L < sal_L_star * 1.05 ? "#2E7D32" : sal_L < sal_L_star * 3 ? "#E65100" : "#8C1515"
sal_line = [{ x: 0, y: sal_b0e }, { x: 15, y: sal_b0e + sal_b1e * 15 }]

html`<div style="font-size:0.83em;font-family:'Pretendard',sans-serif;">

  <div style="padding:0.42em 0.8em;background:#FFF8E1;
    border-left:3px solid #D4A017;border-radius:4px;margin-bottom:0.7em;line-height:1.7;">
    ŷ = <strong>${sal_b0e.toFixed(0)}</strong> + <strong>${sal_b1e.toFixed(0)}</strong> · x
  </div>

  <table style="width:100%;border-collapse:collapse;">
    <thead><tr>
      ${["i","xᵢ","yᵢ","ŷᵢ","eᵢ²"].map(h =>
        `<th style="background:#8C1515;color:white;padding:0.3em 0.4em;text-align:center;font-size:0.9em;">${h}</th>`
      ).join("")}
    </tr></thead>
    <tbody>
      ${sal_rows.map((r, idx) => `
        <tr style="background:${idx%2===0?'white':'#F9FAFB'};">
          <td style="padding:0.22em 0.4em;text-align:center;border-bottom:1px solid #E5E7EB;">${r.i}</td>
          <td style="padding:0.22em 0.4em;text-align:center;border-bottom:1px solid #E5E7EB;">${r.x}</td>
          <td style="padding:0.22em 0.4em;text-align:center;border-bottom:1px solid #E5E7EB;">${r.y.toFixed(0)}</td>
          <td style="padding:0.22em 0.4em;text-align:center;border-bottom:1px solid #E5E7EB;
            font-weight:600;color:#1F3F7A;">${r.yhat.toFixed(0)}</td>
          <td style="padding:0.22em 0.4em;text-align:center;border-bottom:1px solid #E5E7EB;
            font-weight:600;color:${r.err2>1e8?'#E65100':'#333'};">${(r.err2/1e6).toFixed(1)}M</td>
        </tr>`).join("")}
      <tr style="background:#FFF8E1;">
        <td colspan="4" style="padding:0.32em 0.4em;text-align:right;font-weight:700;
          border-top:2px solid #D4A017;">L =</td>
        <td style="padding:0.32em 0.4em;text-align:center;font-size:1.05em;font-weight:700;
          border-top:2px solid #D4A017;color:${sal_clr};">${(sal_L/1e6).toFixed(2)}M</td>
      </tr>
    </tbody>
  </table>

  <div style="margin-top:0.55em;">
    <div style="height:7px;background:#EEE;border-radius:4px;overflow:hidden;">
      <div style="height:100%;width:${(sal_pct*100).toFixed(1)}%;
        background:${sal_pct>0.9?'#2E7D32':sal_pct>0.6?'#D4A017':'#8C1515'};
        transition:width 0.2s;border-radius:4px;"></div>
    </div>
    <div style="font-size:0.74em;color:#666;margin-top:0.15em;text-align:center;">
      ${sal_pct>0.98?'최솟값 도달!':sal_pct>0.7?'거의 다 왔어요!':'슬라이더로 L을 최소화해 보세요'}
    </div>
  </div>

  ${sal_ans ? `
  <div style="margin-top:0.6em;padding:0.45em 0.8em;background:#E8F5E9;
    border:1.5px solid #2E7D32;border-radius:5px;color:#2E7D32;line-height:1.8;">
    <div style="font-weight:700;margin-bottom:0.1em;">최적 파라미터</div>
    <div>w₀* = <strong>${sal_b0_star.toFixed(0)}</strong></div>
    <div>w₁* = <strong>${sal_b1_star.toFixed(0)}</strong></div>
    <div>L*  = <strong>${(sal_L_star/1e6).toFixed(2)}M</strong></div>
  </div>` : ''}

</div>`

Plot.plot({
  width: 500, height: 400, marginLeft: 70,
  style: { fontFamily: "Pretendard, sans-serif", fontSize: "12px" },
  x: { label: "경력 (년)", domain: [0, 15], grid: true },
  y: { label: "연봉 ($)", domain: [-20000, 160000], grid: true, tickFormat: d => (d/1000) + "k" },
  marks: [
    Plot.ruleY([0], { stroke: "#999" }),
    // 잔차 점선: 실제 y 와 예측 ŷ 사이
    Plot.ruleX(sal_rows, {
      x: "x", y1: "yhat", y2: "y",
      stroke: r => Math.abs(r.e) > 10000 ? "#E65100" : "#BDBDBD",
      strokeWidth: r => Math.min(3, 1 + Math.abs(r.e) / 20000),
      strokeDasharray: "5,3"
    }),
    // 현재 파라미터의 직선 ŷ = w₀ + w₁·x
    Plot.line(sal_line, { x: "x", y: "y", stroke: sal_clr, strokeWidth: 2.5 }),
    // 예측값 ŷᵢ (직선 위의 점)
    Plot.dot(sal_rows, { x: "x", y: "yhat", fill: "white", stroke: sal_clr, strokeWidth: 1.5, r: 4 }),
    // 실제 데이터 포인트 (x, y)
    Plot.dot(sal_rows, { x: "x", y: "y", fill: "#1F3F7A", r: 6, opacity: 0.9 }),
    Plot.text([`ŷ = ${sal_b0e.toFixed(0)} + ${sal_b1e.toFixed(0)}·x`], {
      frameAnchor: "bottom-right", fill: sal_clr, fontSize: 11, fontWeight: "700", dx: -8, dy: -10
    })
  ]
})

직선으로 충분한가? 슬라이더를 아무리 조절해도 이 데이터의 모든 점을 지나는 직선은 없다. 실제로 이 사원 데이터는 경력이 길어질수록 연봉이 가팔라지는 모양이라, 직선보다 곡선이 더 잘 맞는다. 그렇다면 2차식, 3차식으로 차수를 계속 올리면 항상 좋아질까? — 이 질문의 답은 Ch04의 과적합에서 만난다.

학습이 정하지 않는 것: 하이퍼파라미터

방금 보드에서 우리가 찾은 것은 $w_0$와 $w_1$이었다. 그런데 “직선으로 하자”, 즉 차수를 1로 하자는 결정은 누가 했는가? 데이터가 아니라 우리가 했다. 학습은 이미 정해진 모형 안에서 파라미터를 찾을 뿐, 모형의 형태 자체를 바꾸지는 않는다. 이렇게 학습이 시작되기 전에 사람이 정해 두어야 하는 값이 따로 있다.

하이퍼파라미터 (Hyperparameter)

학습으로 정해지지 않고, 학습을 시작하기 전에 사람이 미리 정해 주어야 하는 값.

	누가 정하는가	예
파라미터	데이터가 정한다 (= 학습)	절편 $w_0$, 기울기 $w_1$
하이퍼파라미터	사람이 정한다	다항식의 차수, 은닉층의 노드 수(Ch02), 학습률·배치 크기(Ch04)

$y = w_0 + w_1 x + w_2 x^2$에서 “2차식으로 하자”는 사람의 결정(하이퍼파라미터)이고, $w_0, w_1, w_2$의 값은 데이터가 정한다(파라미터). 하이퍼파라미터를 잘못 고르면 학습을 아무리 잘해도 좋은 모형이 나오지 않는다 — Ch04에서 확인한다.

모형의 이용: 예측과 추론

예측 (Prediction)

새로운 데이터의 $x$값이 주어질 때, 학습된 파라미터를 이용하여 $y$값을 예측하는 것.

학습된 모형이 $y = 15000 + 8000x$라면:

코드

import pandas as pd

rows = []
for x_new in [4, 6, 8, 10]:
    y_pred = 15000 + 8000 * x_new
    rows.append({
        '경력 (년)': x_new,
        '예측식': f'15000 + 8000 × {x_new}',
        '예측 연봉 ($)': f'{y_pred:,}',
    })

pd.DataFrame(rows).to_html(index=False, border=0, escape=False)

표 7: 학습된 모형을 이용한 예측

경력 (년)	예측식	예측 연봉 ($)
4	15000 + 8000 × 4	47,000
6	15000 + 8000 × 6	63,000
8	15000 + 8000 × 8	79,000
10	15000 + 8000 × 10	95,000

추론 (Inference)

$y$를 예측하는 데 있어 $X$의 중요한 특성(feature)이 무엇인지, 그리고 그 방향성에 대하여 설명하는 것.

모든 모형에서 추론이 가능하지는 않다
명확한 수학적 형태를 가진 모형에서만 가능

$y = 15000 + 8000x$에서 추론할 수 있는 것:

파라미터	값	추론 내용
$w_0 = 15000$	절편	회사에 처음 입사 시 연봉이 약 $15,000
$w_1 = 8000$	기울기	1년 경력이 늘 때마다 연봉이 약 $8,000씩 인상

주의 — 추론은 인과가 아니다

위 문장은 “이 데이터에서 경력과 연봉이 함께 움직였다”는 관찰이다. 경력이 연봉을 올린 원인이라는 뜻이 아니다.

경력이 긴 사람이 애초에 능력이 좋았을 수도 있고, 두 변수 모두 나이의 영향을 받았을 수도 있다. 인과를 주장하려면 실험 설계가 필요하다 — 데이터를 관찰하는 것만으로는 알 수 없다. 모형이 알려주는 것은 언제나 연관성이지 인과가 아니다.

변수의 종류

숫자형 변수 (Numerical Variable)

숫자형 변수

실수나 정수로 표현할 수 있으며, 값의 차이가 의미를 가지는 변수.

예: 나이(56, 24, …), 온도(27.2, 24.0, …), 연봉(40000, …)

범주형 변수 (Categorical Variable)

범주형 변수

실수로 표현할 수 없으며, 분절된 서로 다른 값을 가지는 변수.

예: 성별 {남자, 여자}, 브랜드 {삼성, 애플}, 결혼여부 {yes, no}
서로 다른 값에 숫자를 부여하더라도(남=1, 여=2) 숫자 간의 차이는 무의미

순서형 변수 (Ordinal Variable)

범주형과 숫자형 사이에 하나가 더 있다. 실무에서 매우 자주 나오는데, 놓치기 쉽다.

순서형 변수

범주형이지만 순서가 있는 변수. 크기 비교는 되지만, 간격은 의미가 없다.

예: 학점 {A, B, C}, 만족도 {매우 불만 … 매우 만족}, 제품 등급 {1등급, 2등급, 3등급}
“A는 B보다 위”는 말이 되지만, “A − B 와 B − C 가 같다”는 보장되지 않는다

세 종류를 가르는 두 개의 질문

질문	숫자형	순서형	범주형
값을 빼면 의미가 있는가?	✅	❌	❌
값에 순서가 있는가?	✅	✅	❌

나이 40 − 24 = 16년 → 뺄 수 있다 → 숫자형
학점 A − B = ? → 뺄 수 없다. 하지만 A > B → 순서형
부서 ‘영업’ − ‘개발’ = ? → 뺄 수도, 순서를 매길 수도 없다 → 범주형

이 구분이 Ch04에서 실제로 쓰인다. 신경망에 넣을 때 범주형은 원-핫 인코딩을 해야 하지만, 순서형은 순서를 살려 숫자로 넣는 편이 나은 경우가 많다 (A=3, B=2, C=1). 순서 정보를 버리지 않기 위해서다.

수치 예시: 변수 유형 비교

코드

import pandas as pd

df = pd.DataFrame({
    '': [1, 2, 3, 4, 5],
    '나이': [24, 23, 40, 50, 27],
    '성별': ['남', '여', '남', '여', '여'],
    '직업': ['군인', '디자이너', '디자이너', '회사원', '요리사'],
    '브랜드': ['삼성', '애플', '애플', '삼성', '삼성'],
})
df.to_html(index=False, border=0)

표 8: 숫자형 변수와 범주형 변수 비교

	나이	성별	직업	브랜드
1	24	남	군인	삼성
2	23	여	디자이너	애플
3	40	남	디자이너	애플
4	50	여	회사원	삼성
5	27	여	요리사	삼성

숫자형 변수: 나이 → 값의 차이(24세 vs 40세)가 의미 있음
범주형 변수: 성별, 직업, 브랜드 → 값 간의 크기 비교 불가

회귀와 분류

회귀 (Regression)

종속변수가 숫자형(연속형)인 경우. 실수값을 예측한다.

예: “경력이 8년인 사람의 연봉은 얼마인가?” → 실수값 예측

분류 (Classification)

종속변수가 범주형인 경우. 어느 범주에 속하는지 예측한다.

예: “나이 30, 남성, 엔지니어인 사람이 삼성과 애플 중 어느 핸드폰을 고를까?” → 범주 예측

인터랙티브 — 회귀와 분류의 차이를 직접 확인해 보세요

토글을 바꾸면서 같은 데이터 구조에서 종속변수의 유형에 따라 문제가 어떻게 달라지는지 관찰하세요.

viewof rc_mode = Inputs.radio(["regression", "classification"], {
  label: "문제 유형",
  value: "regression",
  format: k => k === "regression" ? "회귀 (연봉 예측)" : "분류 (브랜드 선택)"
})

rc_mode === "regression" ?
  Plot.plot({
    width: 600, height: 350,
    style: { fontFamily: "Pretendard, sans-serif", fontSize: "12px" },
    x: { label: "경력 (년)", grid: true },
    y: { label: "연봉 ($)", grid: true },
    marks: [
      Plot.dot(rc_reg_data, { x: "x", y: "y", fill: "#1F3F7A", r: 5, opacity: 0.7 }),
      Plot.linearRegressionY(rc_reg_data, { x: "x", y: "y", stroke: "#8C1515", strokeWidth: 2.5 }),
      Plot.text([null], {
        text: () => "종속변수 y = 연봉 (실수값)",
        frameAnchor: "top-left", fill: "#8C1515", fontSize: 12, fontWeight: "700", dx: 10, dy: 14
      })
    ]
  })
:
  Plot.plot({
    width: 600, height: 350,
    style: { fontFamily: "Pretendard, sans-serif", fontSize: "12px" },
    x: { label: "나이", grid: true },
    y: { label: "소득 ($)", grid: true },
    color: { legend: true },
    marks: [
      Plot.dot(rc_cls_data, {
        x: "x1", y: "x2",
        fill: d => d.label === "삼성" ? "#1428A0" : "#555555",
        r: 6, opacity: 0.7,
        symbol: d => d.label === "삼성" ? "circle" : "diamond"
      }),
      Plot.text([null], {
        text: () => "종속변수 y = 브랜드 (범주값)",
        frameAnchor: "top-left", fill: "#8C1515", fontSize: 12, fontWeight: "700", dx: 10, dy: 14
      })
    ]
  })

지도학습 vs 비지도학습

지도학습 (Supervised Learning)

데이터: $(X, y)$ — $X$ 데이터와 $y$ 레이블(정답)이 모두 존재
목표: $X \to y$의 관계를 매핑하는 함수를 찾는 것
예시: 회귀, 분류, CNN, 객체탐지, Sequence 모델

비지도학습 (Unsupervised Learning)

데이터: $X$만 존재 — $y$(정답)는 존재하지 않음
목표: 데이터를 설명하는 내재적인 구조를 학습
예시: 군집분석(Clustering), 차원축소(Dimensionality Reduction), 이상치 탐지

	지도학습	비지도학습
데이터	$(X, y)$	$X$만
정답	존재	없음
목표	$X \to y$ 매핑	데이터 내부 구조 발견
예시	회귀, 분류, CNN	군집분석, 차원축소

지도학습

X (입력)
y (정답)

→

모형
학습

→

X → ŷ
예측

비지도학습

X (입력)
y 없음

→

모형
탐색

→

구조
군집, 패턴

딥러닝이란?

딥러닝 (Deep Learning)

$X$와 $y$의 관계를 다층 퍼셉트론(인공신경망) 구조로 표현하는 모형.

기존의 머신러닝 모형(회귀, SVM, Random Forest 등)과 달리, 인공신경망의 층(layer)을 깊게 쌓아서 복잡한 패턴을 학습한다.

왜 딥러닝이 각광받는가?

모델링의 자유도

기존의 머신러닝 모형은 주로 정형데이터(Tabular Data)의 회귀/분류에 집중되었다.

딥러닝은 모델링의 자유도가 높아 다양한 종류의 데이터를 표현할 수 있다.

데이터 유형	예시	딥러닝 활용
정형 데이터	테이블, 스프레드시트	회귀, 분류
텍스트 데이터	리뷰, 뉴스, 소셜미디어	자연어 처리 (NLP)
이미지 데이터	사진, 의료영상	이미지 분류, 객체탐지
음성 데이터	음성 명령, 통화녹음	음성 인식
동영상 데이터	CCTV, 스트리밍	행동 인식, 비디오 분석

모델의 유연성

딥러닝은 기존 모형에 비하여 유연성이 높아 복잡한 비선형 관계를 표현할 수 있다.

특히 학습에 사용되는 데이터가 많을수록 딥러닝이 유리하다.

Plot.plot({
  width: 600, height: 350,
  style: { fontFamily: "Pretendard, sans-serif", fontSize: "12px" },
  x: { label: "데이터양", grid: true },
  y: { label: "성능", domain: [0, 100], grid: true },
  color: { legend: true, domain: ["머신러닝", "딥러닝"], range: ["#999", "#8C1515"] },
  marks: [
    Plot.line(flex_data, { x: "x", y: "y", stroke: "type", strokeWidth: 2.8 }),
    Plot.text([null], {
      text: () => "데이터가 많을수록 딥러닝이 유리",
      frameAnchor: "bottom-right", fill: "#555", fontSize: 10, dx: -10, dy: -10
    })
  ]
})

인프라의 성숙

인공신경망의 기반기술은 이미 수십 년 전부터 제시되었다. 데이터 + 하드웨어 + 소프트웨어의 3요소가 결합하여 사용 저변이 확대되었다.

요소	발전 내용
Big Data	대규모 데이터셋 수집·저장이 용이해짐 (ImageNet, Wikipedia 등)
Hardware	GPU의 대규모 병렬처리 능력 활용
Software	TensorFlow, PyTorch 등 딥러닝 프레임워크 발전

사전학습 생태계

사전학습 모델과 Fine-tuning

사전학습 모델 (Pre-trained Model): 방대한 데이터로 미리 학습된 모형
Fine-tuning: 사전학습 모델을 가져와 나의 작업에 맞게 미세조정하는 것

사전에 방대한 데이터를 가지고 학습된 모형을 가져와 재활용할 수 있는 생태계가 존재한다.

Before (사전학습 이전)	After (사전학습 이후)
작업마다 모형을 처음부터 학습	사전학습된 모형을 가져와서 미세조정
대량의 데이터와 컴퓨팅 자원 필요	소량의 데이터로도 높은 성능 달성 가능
Task #1, Task #2, … 각각 독립	하나의 기반 모형 → 여러 작업에 응용

핵심 요약

개념	핵심 내용
고전적 프로그래밍 vs ML	규칙+데이터→답 vs 데이터+답→규칙
AI ⊃ ML ⊃ DL	딥러닝은 인공신경망을 사용하는 머신러닝의 한 분야
데이터	변수(열) × 데이터 포인트(행)의 구조. 크기는 $(n, p)$
정형 / 비정형	표로 정리됨 / 이미지·텍스트·음성처럼 표가 아님
독립변수/종속변수	$X$ (입력, 원인) / $y$ (출력, 결과)
모형	$X$와 $y$의 관계에 대한 수학적 표현
파라미터	모형 내에서 관계를 조절하는 매개변수 (데이터가 정함)
하이퍼파라미터	사람이 미리 정하는 값 — 차수, 노드 수, 학습률, 배치 크기
학습	데이터의 $x$를 넣어 나온 $\hat{y}$가 실제 $y$와 가장 가까워지도록(오차 $L$ 최소) 파라미터를 찾는 과정
변수의 종류	숫자형(빼기 가능) / 순서형(순서만) / 범주형(둘 다 불가)
회귀/분류	$y$가 숫자형 → 회귀, $y$가 범주형 → 분류
추론 ≠ 인과	모형이 보여주는 것은 연관성. 인과는 실험 설계가 필요
지도/비지도학습	정답 있음 → 지도학습, 정답 없음 → 비지도학습
딥러닝 각광 이유	모델링 자유도, 유연성, 인프라 성숙, 사전학습 생태계

데이터 기반 문제해결

고전적 프로그래밍 vs 머신러닝

왜 머신러닝이 필요한가?

인공지능, 머신러닝, 딥러닝

세 개념의 관계

데이터란 무엇인가

데이터의 정의

예시 데이터

데이터의 구성요소

정형 데이터와 비정형 데이터

독립변수와 종속변수

정의

데이터의 크기 — \((n, p)\)

수치 예시

모형 (Model)

정의

모형의 예시

모형의 종류

파라미터 (Parameter)

정의

수치 예시: 파라미터에 따른 예측 변화

모형의 학습 (Learning)

“데이터를 잘 나타낸다”는 것은 무엇인가

학습이란

학습이 정하지 않는 것: 하이퍼파라미터

모형의 이용: 예측과 추론

예측 (Prediction)

추론 (Inference)

변수의 종류

숫자형 변수 (Numerical Variable)

범주형 변수 (Categorical Variable)

순서형 변수 (Ordinal Variable)

세 종류를 가르는 두 개의 질문

수치 예시: 변수 유형 비교

회귀와 분류

회귀 (Regression)

분류 (Classification)

지도학습 vs 비지도학습

지도학습 (Supervised Learning)

비지도학습 (Unsupervised Learning)

딥러닝이란?

왜 딥러닝이 각광받는가?

모델링의 자유도

모델의 유연성

인프라의 성숙

사전학습 생태계

핵심 요약