논문 읽는 법

읽기의 단계

왜 단계를 나누는가. 23.1장의 지도를 만들려면 30편을 읽어야 하고, 재현하려면 한 편을 아주 깊이 읽어야 한다. 모든 논문을 같은 깊이로 읽으면 30편을 다 깊게 읽느라 한 달을 쓰거나, 재현할 논문을 훑어만 보고 실험을 시작하게 된다. 읽기의 깊이는 읽는 목적이 정한다.

세 단계. 논문을 여러 번에 걸쳐 점점 깊게 읽는 방법은 Keshav(2007)가 세 번의 읽기(three-pass approach)로 정리한 것이 널리 알려져 있다. 이 책은 이를 다음 세 단계로 부른다.

훑어보기는 몇 분 안에 끝나야 한다. 23.1장의 30편은 대부분 이 단계에서 멈춘다. 이해하기는 지도에서 핵심으로 고른 몇 편, 재구성하기는 재현하거나 직접 비교할 한두 편에만 한다. 재구성하기는 머릿속으로 논문을 처음부터 다시 쓰는 일이다. 같은 문제와 가정에서 출발해 저자의 각 결정을 스스로 내려 보면, 저자가 왜 그 결정을 했는지, 그리고 논문이 설명하지 않고 넘어간 결정이 어디인지 드러난다. 재현(23.3장)은 이 단계에서 시작한다.

읽는 순서

왜 순서대로 읽지 않는가. 논문은 서론 → 관련 연구 → 방법 → 실험 → 결론 순서로 쓰여 있지만, 이 순서는 저자가 설득하기 좋은 순서다. 읽는 사람에게 필요한 순서는 다르다. 먼저 무엇을 주장하는지 알아야 방법의 어느 부분이 그 주장을 떠받치는지 보며 읽을 수 있다.

권장 순서.

1. 초록 · 그림 · 결론. 주장과 그 주장의 근거가 되는 대표 결과를 찾는다. 첫 그림(대개 방법의 개요도)과 주요 결과 표를 본다. 이 셋만으로 "이 논문은 X 조건에서 Y가 Z보다 낫다고 주장한다"는 한 문장을 쓴다.
2. 방법. 그 주장을 만들어 내는 핵심 아이디어가 무엇인지, 무엇이 새롭고 무엇이 기존 방법 그대로인지 구분한다. 처음 보는 기호는 정의된 곳을 찾아 노트에 적는다.
3. 실험. 1에서 쓴 문장의 각 부분(X 조건, Y, Z, "낫다")이 실험의 어디에서 확인되는지 찾는다. 데이터·분할·metric·baseline·seed 수를 적는다.
4. 부록. 하이퍼파라미터, 추가 실험, 실패한 설정, 본문에서 빠진 조건이 여기 있다. 재구성하기 단계에서는 부록이 본문만큼 중요하다.

관련 연구 절은 23.1장의 지도를 넓히는 데 쓴다. 저자가 자기 연구를 기존 연구와 어떻게 구별하는지 보면, 저자 스스로 생각하는 기여가 무엇인지 알 수 있다.

무엇을 추출하는가

왜 정해진 항목을 뽑는가. 읽고 나서 "좋은 논문이었다"만 남으면 다시 읽어야 한다. 정해진 항목을 뽑아 두면 논문끼리 비교할 수 있고(23.1장의 지도), 재현할 때 필요한 조건이 이미 정리되어 있다.

다섯 항목.

• 문제 정의: 입력·출력·일반화 대상(1.3장). "새 분자에 대한 예측"인지 "학습에 쓴 분자 계열 안의 새 형태(conformation)에 대한 예측"인지는 전혀 다른 문제다.
• 가정: 결과가 성립하려면 참이어야 하는 것. 명시된 가정과 명시되지 않았지만 실험 설정에서 드러나는 가정을 구분해 적는다.
• 기여: 저자가 주장하는 새로운 점. 1.1장의 연구 종류(알고리즘·응용·시스템·데이터·분석) 중 무엇인지 정한다. 기여의 종류에 따라 필요한 근거가 다르다(23.4장).
• 비교 대상: baseline이 무엇이고, 어떻게 튜닝했는지. 같은 데이터·같은 분할·같은 예산에서 돌렸는지, 다른 논문의 숫자를 옮겨 왔는지.
• 평가 조건: 데이터와 그 판(version), 분할 방식과 단위, metric, seed 수, 오차 막대의 의미.

비판적 읽기

왜 필요한가. 동료 심사는 결과가 맞다는 보증이 아니다(1.6장). 심사자는 대개 코드를 돌려 보지 않고, 시간도 제한되어 있다. 그래서 논문에 실린 주장 중 일부는 근거가 지지하는 범위보다 넓다. 의도적인 과장이 아니어도 그렇다. 저자는 자기 방법이 잘 되는 조건을 가장 잘 알고, 그 조건에서 실험하는 것이 자연스럽기 때문이다. ML 연구의 글쓰기에서 자주 보이는 문제로 설명과 추측을 구분하지 않는 것, 성능 향상의 출처를 밝히지 않는 것, 수식을 설명이 아니라 인상을 주는 데 쓰는 것, 용어를 잘못 쓰는 것이 지적된 바 있다(Lipton & Steinhardt, 2018).

주장–근거 표. 비판적 읽기의 기본 도구는 주장과 근거를 한 줄씩 대응시킨 표다. 초록과 서론의 주장을 하나씩 적고, 각 주장을 지지하는 실험을 찾는다.

근거가 없는 주장, 근거보다 넓은 주장이 표에서 바로 드러난다. 판정 열은 결과가 틀렸다는 뜻이 아니라, 인용할 때 어디까지 말할 수 있는가를 정한다.

빠진 baseline. 비교 대상이 약하면 어떤 방법도 좋아 보인다. 다음을 확인한다.

• 단순한 baseline이 있는가. 선형 모델, 잘 튜닝한 gradient boosting, 물리 모델, "마지막 값을 그대로 예측"(persistence) 같은 기준이 있는지.
• baseline도 튜닝했는가. 제안 방법만 공들여 튜닝하고 baseline은 기본 설정으로 돌리면, 차이의 일부는 방법이 아니라 튜닝 노력이다. 언어 모델 분야에서는 표준 LSTM을 대규모 하이퍼파라미터 탐색으로 다시 튜닝하자 더 최근의 구조들보다 좋은 결과가 나왔다는 보고가 있다(Melis et al., 2018).
• 분야의 표준 방법과 비교했는가. AI for Science 논문은 ML baseline과만 비교하고 분야의 표준 수치해석·통계 방법을 빼는 경우가 있다.

숨겨진 조건. 결과가 특정 조건에서만 성립하는데 그 조건이 본문에 드러나지 않는 경우다. 부록이나 코드에서 찾는다. 테스트 세트에서 고른 하이퍼파라미터, 실패한 seed의 제외, 학습 데이터와 겹치는 테스트 데이터(15.4장), 특정 데이터 전처리, 보고된 것보다 훨씬 큰 계산 예산이 대표적이다.

표의 수치를 다시 계산하기. 논문이 신뢰구간이나 검정을 보고하지 않아도, 표에 평균과 퍼짐과 실행 횟수가 있으면 차이의 불확실성을 직접 계산할 수 있다(12.4장, 12.5장). 그런데 표의 "±" 뒤 숫자가 표준편차(SD, 한 번 실행할 때 흔들리는 정도)인지 표준오차(SE, 평균의 정밀도, $\mathrm{SD}/\sqrt{n}$)인지 캡션에 없는 경우가 많다. 두 해석으로 모두 계산해 본다.

표의 값은 다음과 같다고 하자. "seed 5개의 평균 ± (설명 없음)", baseline $0.842 \pm 0.006$, 제안 방법 $0.854 \pm 0.005$. 두 방법이 같은 seed를 썼는지, 즉 짝지은 비교가 가능한지는 표만으로 알 수 없으므로 짝짓지 않은 Welch 구간을 쓴다.

import numpy as np
from scipy import stats

n = 5                                        # 표 캡션: "seed 5개의 평균 ± ..."
m_base, pm_base = 0.842, 0.006               # baseline 정확도
m_ours, pm_ours = 0.854, 0.005               # 제안 방법 정확도

def compare(s_base, s_ours):
    diff = m_ours - m_base
    se = np.sqrt(s_base**2 / n + s_ours**2 / n)            # Welch 표준오차
    v = se**4 / ((s_base**2 / n) ** 2 / (n - 1) + (s_ours**2 / n) ** 2 / (n - 1))
    t = stats.t.ppf(0.975, v)
    d = diff / np.sqrt((s_base**2 + s_ours**2) / 2)        # Cohen's d (pooled SD)
    return diff, diff - t * se, diff + t * se, d

for label, sb, so in [("±가 표준편차(SD)", pm_base, pm_ours),
                      ("±가 표준오차(SE)", pm_base * np.sqrt(n), pm_ours * np.sqrt(n))]:
    diff, lo, hi, d = compare(sb, so)
    print(f"{label}: 차이 {diff:+.3f}, 95% CI [{lo:+.3f}, {hi:+.3f}], d = {d:.2f}")

±가 표준편차(SD): 차이 +0.012, 95% CI [+0.004, +0.020], d = 2.17
±가 표준오차(SE): 차이 +0.012, 95% CI [-0.006, +0.030], d = 0.97

같은 표가 해석에 따라 다른 결론을 낸다. ±가 표준편차라면 차이의 구간이 0을 포함하지 않고, 효과 크기 $d$(차이가 실행 간 흔들림의 몇 배인가)도 2를 넘는다. ±가 표준오차라면 실제 흔들림은 $\sqrt{5} \approx 2.24$배 더 크고, 구간은 0을 포함한다. 이 경우 seed 5개로는 차이의 방향조차 확정할 수 없다. 캡션이 이를 밝히지 않았다면, 논문의 주장은 더 약한 쪽 해석까지만 받아들이고 저자에게 확인하거나 코드로 재현한다(23.3장).

수식과 코드

왜 대응시키는가. 보고된 숫자를 만든 것은 수식이 아니라 코드다. 논문의 수식과 공개 코드가 다르면, 수식대로 재구현한 사람은 다른 숫자를 얻는다. 차이는 대개 사소해 보이는 곳에 있다. 평균인가 합인가, 정규화 상수가 어디에 곱해지는가, 로그의 밑, 분산인가 표준편차인가, 행렬이 전치되어 있는가.

대응표. 재구성하기 단계에서는 수식의 각 항과 코드의 줄을 대응시킨다.

합과 평균의 차이. 위 표 첫 줄의 차이가 얼마나 큰지 계산한다. 논문은 데이터 항을 평균으로 썼고, 코드는 합으로 썼다. 정규화 계수 $\lambda$는 둘 다 같은 값이다. 능선 회귀(ridge regression)에서 두 손실의 최솟값은 닫힌 형태로 구해진다.

양변에 $N$을 곱해 보면, 논문의 식은 코드에서 $\lambda$를 $N\lambda$로 바꾼 것과 같다. 즉 같은 $\lambda$라도 코드의 실효 정규화 강도는 논문의 $1/N$이다.

rng = np.random.default_rng(0)
N, D = 200, 10
X = rng.normal(size=(N, D))                  # (N, D)
w_true = rng.normal(size=D)                  # (D,)
y = X @ w_true + rng.normal(size=N)          # (N,)
X_te = rng.normal(size=(2000, D))
y_te = X_te @ w_true + rng.normal(size=2000)

lam = 1.0
# 논문: L = (1/N) sum (y - Xw)^2 + lam |w|^2  ->  (X^T X / N + lam I) w = X^T y / N
w_paper = np.linalg.solve(X.T @ X / N + lam * np.eye(D), X.T @ y / N)
# 공개 코드: loss = ((y - X @ w) ** 2).sum() + lam * (w ** 2).sum()  ->  (X^T X + lam I) w = X^T y
w_code = np.linalg.solve(X.T @ X + lam * np.eye(D), X.T @ y)
w_match = np.linalg.solve(X.T @ X + N * lam * np.eye(D), X.T @ y)   # 코드에서 lam을 N배로

mse = lambda w: np.mean((y_te - X_te @ w) ** 2)
print(f"|w| 참값 {np.linalg.norm(w_true):.2f}  논문 식 {np.linalg.norm(w_paper):.2f}  코드 {np.linalg.norm(w_code):.2f}")
print(f"test MSE  논문 식 {mse(w_paper):.3f}  코드 {mse(w_code):.3f}")
print("코드의 lam을 N배로 하면 논문 식과 같다:", np.allclose(w_match, w_paper))

|w| 참값 3.14  논문 식 1.57  코드 3.12
test MSE  논문 식 3.458  코드 1.050
코드의 lam을 N배로 하면 논문 식과 같다: True

논문의 식을 그대로 구현하면 가중치가 절반으로 줄어들고, 시험 오차는 세 배 넘게 커진다. 논문의 숫자가 공개 코드에서 나왔다면, 수식대로 재구현한 사람은 "재현에 실패했다"고 결론 내리게 된다. 실제로는 방법이 아니라 손실의 스케일이 달랐을 뿐이다. 학습률, weight decay, 온도, 손실 가중치처럼 다른 항과의 상대적 크기가 의미를 갖는 하이퍼파라미터는 모두 이런 스케일 차이에 민감하다. batch마다 평균을 내는지 합을 내는지에 따라 같은 값이 batch 크기에 따라 다른 강도가 되는 경우도 흔하다.

불일치를 발견했을 때. 어느 쪽이 "맞는지" 판단하기 전에 기록부터 한다. 보고된 숫자를 만든 것은 대개 공개 코드이므로, 먼저 코드 그대로 재현하고, 그다음 수식대로 바꿨을 때의 차이를 따로 측정한다. 이 순서를 지켜야 재현 실패의 원인을 분리할 수 있다(23.3장).

참고 문헌

• Keshav (2007). How to read a paper. ACM SIGCOMM Computer Communication Review, 37(3), 83–84. — 세 번에 나눠 읽는 방법
• Lipton, Steinhardt (2018). Troubling trends in machine learning scholarship. arXiv:1807.03341. — ML 논문에서 자주 보이는 서술상의 문제
• Melis, Dyer, Blunsom (2018). On the state of the art of evaluation in neural language models. International Conference on Learning Representations (ICLR). — 대규모 하이퍼파라미터 탐색으로 다시 튜닝한 baseline의 비교