AI 연구의 생애주기

문제에서 후속 연구까지

왜 단계로 나누는가. 연구가 실패했을 때 "모델이 나빴다"는 진단은 거의 항상 너무 이르다. 데이터 분할이 문제를 바꿔 놓았을 수도, 평가 지표가 연구 질문과 어긋났을 수도, 정답 label 자체가 잡음투성이였을 수도 있다. 단계를 나누면 결과가 이상할 때 어느 결정을 다시 볼지 물을 수 있다.

아홉 단계. 이 책은 AI 연구를 다음 아홉 단계로 나눈다. 각 단계는 다음 단계가 쓸 산출물을 남기고, 그 산출물에는 그 단계에서 내린 가정이 들어 있다. 예시는 "리튬이온 배터리 셀의 남은 수명을 초기 사이클 데이터로 예측한다"는 가상의 연구다.

표의 가정 열은 대개 논문에 적히지 않는다. 그러나 결론이 어디까지 유효한지는 이 열이 정한다. 예를 들어 4단계의 "데이터가 일반화 대상을 대표한다"는 가정이 틀리면, 7단계의 테스트 점수는 높아도 실제로 쓸 수 있는 범위는 좁다.

되돌아가는 지점. 아홉 단계는 한 방향으로만 흐르지 않는다. 실제 연구는 뒤 단계에서 발견한 문제 때문에 앞 단계로 자주 돌아간다. 이를 되먹임 고리(feedback loop)라 한다. 대표적인 고리는 다음과 같다.

• 평가 → 수학적 정의. 테스트 점수는 좋은데 새 장비의 데이터에서 무너진다. 일반화 대상을 정하지 않았던 것이다. 분할을 다시 설계해야 하고, 때로는 질문 자체를 좁혀야 한다.
• 학습 → 데이터. 손실이 이상하게 빨리 0에 가깝다. label이 입력에 섞여 들어간 누수(leakage)를 의심하고 데이터 단계로 돌아간다(15.4장).
• 해석 → 연구 질문. 모델이 중요하다고 본 특징이 측정 장비의 특성이었다. 연구 질문이 장비 효과를 통제하도록 바뀐다.
• 데이터 → 연구 질문. 필요한 데이터를 구할 수 없다. 질문을 데이터가 답할 수 있는 형태로 바꾼다.

되먹임은 실패가 아니라 정상적인 연구 과정이다. 다만 되돌아간 기록을 남겨야 한다. 테스트 결과를 본 뒤 분할을 바꾸고 다시 테스트했다면, 그 테스트 데이터는 더 이상 독립적인 측정이 아니다. 이 문제는 23.6장(결과 분석과 주장의 범위)에서 다시 다룬다.

연구의 종류

왜 종류를 구분하는가. 같은 "모델 성능 향상"이라도 연구의 종류에 따라 기여의 의미와 검증 방법이 다르다. 자기 연구가 어느 종류인지 알아야 무엇을 증명해야 하는지 안다. 다른 사람의 논문을 읽을 때도, 그 논문이 무엇을 기여라고 주장하는지 먼저 파악해야 공정하게 평가할 수 있다.

한 논문이 여러 종류를 겸할 수도 있다. 하지만 주된 기여가 무엇인지는 분명해야 한다. 응용 연구라고 주장하면서 검증은 알고리즘 연구처럼 벤치마크 점수로만 하면, 현실의 결정이 나아졌다는 근거가 빠진다.

벤치마크 성능과 현실 문제. 벤치마크(benchmark)는 공개 데이터, 고정된 분할, 정해진 지표의 묶음이다. 벤치마크가 있으면 서로 다른 연구를 같은 기준으로 비교할 수 있어 분야가 빠르게 발전한다. 그러나 벤치마크 점수의 향상이 현실 문제의 해결로 이어지려면 두 조건이 필요하다.

1. 벤치마크의 분할이 현실의 일반화 대상과 같다. 무작위 분할로 만든 벤치마크에서 1위인 모델이, 처음 보는 조건을 예측해야 하는 현실에서는 순위가 바뀔 수 있다.
2. 벤치마크의 지표가 현실의 비용과 맞다. 평균 오차는 작지만 드물게 크게 틀리는 모델은, 큰 오차 한 번이 치명적인 현실에서는 쓸 수 없다.

같은 벤치마크로 오랫동안 많은 연구가 경쟁하면 또 하나의 문제가 생긴다. 각 연구가 테스트 점수를 보고 설계를 고르는 과정이 누적되어, 분야 전체가 그 테스트 데이터에 과적합될 수 있다. 벤치마크 점수의 작은 차이는 그래서 조심해서 읽는다(12.5장, 23.6장).

학습과 추론, 오프라인과 운영

학습과 추론. 모델의 생애에는 두 국면이 있다. 학습(training)은 데이터로 파라미터 $\theta$를 정하는 과정이고, 추론(inference)은 정해진 $\theta$로 새 입력 $x$에 대한 출력 $\hat{y} = f_\theta(x)$를 계산하는 과정이다. 두 국면은 조건이 다르다.

여기서 가장 중요한 줄은 첫 줄이다. 학습 데이터에는 미래의 측정값이나 사후에 계산된 값이 섞여 있을 수 있지만, 추론 시점에는 그런 정보가 없다. 학습할 때 입력에 넣은 정보가 추론 시점에 존재하는지 확인하는 일은 1.3장에서 자세히 다룬다.

오프라인 평가와 운영 환경. 연구에서 하는 평가는 대부분 오프라인 평가(offline evaluation)다. 이미 모아 둔 데이터의 일부를 떼어 테스트 데이터로 두고, 학습이 끝난 모델의 점수를 잰다. 이 점수가 실제 사용 환경(운영 환경)에서의 성능을 대변하려면 테스트 데이터와 운영 환경의 데이터가 같은 분포에서 나와야 한다. 이 가정이 깨지는 방식은 여러 가지다.

• 분포 이동(distribution shift). 장비가 바뀌거나, 계절이 바뀌거나, 새 재료를 다룬다. 학습·테스트 데이터에는 없던 조건이다(21.4장).
• 정답이 늦게 온다. 배터리 수명은 수개월 뒤에야 알 수 있다. 운영 중에는 모델이 맞는지 바로 확인할 수 없다.
• 모델이 데이터를 바꾼다. 모델이 고른 후보만 실험하면, 다음 학습 데이터는 모델이 좋다고 본 영역에 몰린다. 모델이 나쁘다고 본 영역은 다시 측정되지 않는다(25.3장, 25.4장).
• 입력 파이프라인이 다르다. 연구 중에는 정제된 파일을 읽었지만, 운영에서는 결측과 단위 오류가 섞인 원시 데이터가 들어온다.

이 간극은 연구 단계에서 없앨 수는 없지만 줄이고 드러낼 수는 있다. 운영 환경과 비슷하게 분할하고(시간 분할, 장비 분할), 조건별로 오차를 나눠 보고하고, 모델이 쓸 수 있는 범위를 명시한다.

제약과 절충

왜 절충인가. 연구에서 바라는 성질은 서로 부딪힌다. 정확도를 올리려면 계산과 데이터가 더 든다. 해석 가능성을 높이려면 모델을 단순하게 해야 하고, 그러면 정확도가 떨어질 수 있다. 모든 것을 최대로 할 수 없으므로, 어떤 성질을 얼마나 포기할지가 설계 결정이 된다.

절충은 문제마다 다르게 풀린다. 같은 정확도라면 계산이 싼 쪽이 낫지만, "같은 정확도"의 기준이 무엇인지부터 정해야 한다. 과학 문제에서 흔한 판단 몇 가지를 든다.

• 대리모델(surrogate model)은 정확도를 조금 포기하고 계산량을 크게 줄인다. 수천 번의 평가가 필요한 설계 탐색의 초기 단계에서는 이득이 크다. 최종 후보는 원래의 시뮬레이터나 실험으로 다시 확인한다.
• 물리 기반 모델은 데이터 비용을 줄이고 해석 가능성을 높인다. 대신 물리 모델이 놓친 현상에서는 체계적으로 틀린다(24.5장).
• 불확실성 추정은 계산량을 늘린다(앙상블은 모델 여러 개를 학습한다). 대신 어디서 모델을 믿지 말아야 하는지 알려 준다(21.1장).