역량 평가와 다음 단계

평가 질문

왜 필요한가. 연구 역량을 한 숫자로 요약하려는 유혹은 강하다. 논문 수, 벤치마크 순위, 다룰 줄 아는 모델의 목록이 그렇다. 이 숫자들은 셀 수 있지만 역량의 대리 지표일 뿐이고, 대리 지표에는 운·자원·주제 선택이 섞인다. 같은 결과를 낸 두 사람 중 한 사람은 실패의 원인을 찾을 줄 알고 다른 사람은 모를 수 있다. 다음 연구가 막혔을 때 둘의 차이가 드러난다. 그래서 결과가 아니라 결과를 만드는 과정의 능력을 질문으로 나눠 평가한다.

일곱 개의 평가 질문. 이 책의 모든 트랙이 결국 다음 일곱 질문 중 하나 이상을 키운다. 질문을 세 축으로 묶는다. 지식 축은 0.4장의 이론 축, 기술 축은 구현·운영 축, 연구 습관 축은 연구 축에 해당한다.

수준 기술. 수준은 0.4장과 같은 다섯 수준(1 인지 · 2 설명 · 3 구현 · 4 검증 · 5 확장)을 쓴다. 다만 질문마다 각 수준이 무엇으로 확인되는지를 구체적으로 적어야 루브릭이 된다. 수준 1(이름과 쓰임새를 안다)은 질문마다 같으므로 생략한다.

이 표의 칸은 그대로 근거 목록이 된다. 예를 들어 질문 3의 수준 4는 "gradient 검사 테스트가 통과한 코드"라는 파일로, 질문 5의 수준 4는 "동료가 재현한 기록"으로 확인된다. 31.1장의 프로젝트가 이 근거를 만든다. 프로젝트 B는 질문 3의, 프로젝트 C와 F는 질문 4·5의, 프로젝트 D·E·G는 질문 6·7의 근거를 남긴다.

근거 규칙. 0.4장의 규칙을 그대로 쓴다: 근거로 보일 수 있는 수준까지만 인정한다. 스스로 4라고 느껴도 근거 파일이 2까지만 있다면 그 칸은 2다. 이 규칙을 수식으로 쓰면, 항목 $i$의 수준은

다. $c_i$는 스스로 매긴 수준, $e_i$는 근거로 보일 수 있는 최고 수준이다. 축의 요약은 평균 대신 최저값을 함께 본다. 연구를 막는 것은 평균이 아니라 가장 낮은 칸이기 때문이다.

아래 코드는 한 독자의 루브릭을 집계한다. 0.4장의 첫 진단(first)과, 지금 스스로 매긴 수준(claimed), 근거로 보일 수 있는 수준(evidenced)을 비교한다.

import numpy as np

items = ["개념 설명", "논문 연결", "유도→코드", "실패 원인 분리",
         "재현 가능성", "주장 판단", "한계 명시"]
axis = np.array(["지식", "지식", "기술", "기술", "기술", "연구 습관", "연구 습관"])
first = np.array([2, 1, 1, 1, 1, 1, 0])          # (7,) 0.4장 첫 진단
claimed = np.array([4, 3, 4, 3, 4, 3, 3])        # (7,) 지금 스스로 매긴 수준
evidenced = np.array([4, 3, 4, 1, 4, 3, 2])      # (7,) 근거 파일로 보일 수 있는 최고 수준

now = np.minimum(claimed, evidenced)             # (7,) 근거 규칙: 근거가 있는 수준까지만
for a in ["지식", "기술", "연구 습관"]:
    m = axis == a
    print(f"{a}: 평균 {now[m].mean():.2f}, 최저 {now[m].min()} (처음 최저 {first[m].min()})")
print("근거보다 높게 매긴 항목:", [items[i] for i in np.flatnonzero(claimed > evidenced)])
lowest = np.argsort(now, kind="stable")[:2]      # 같은 수준이면 표의 순서대로
print("다음 목표:", [items[i] for i in lowest])
print("전체 평균:", f"{now.mean():.2f}", "→ 평균만 보면 최저 칸이 가려진다")

지식: 평균 3.50, 최저 3 (처음 최저 1)
기술: 평균 3.00, 최저 1 (처음 최저 1)
연구 습관: 평균 2.50, 최저 2 (처음 최저 0)
근거보다 높게 매긴 항목: ['실패 원인 분리', '한계 명시']
다음 목표: ['실패 원인 분리', '한계 명시']
전체 평균: 3.00 → 평균만 보면 최저 칸이 가려진다

출력에서 세 가지를 읽는다. 첫째, 기술 축의 평균은 3.00이지만 최저는 1이다. "실패 원인 분리"는 처음 진단 이후 근거 수준이 움직이지 않았다. 학습 루프와 재현 패키지는 잘 만들게 되었지만, 학습이 실패했을 때 원인을 한 층으로 좁힌 기록은 아직 없다는 뜻이다. 둘째, 스스로 매긴 수준과 근거 수준이 어긋나는 항목이 바로 다음 목표와 겹친다. 과대평가는 무작위로 일어나지 않고, 대개 연습하지 않은 곳에서 일어난다. 셋째, 축 평균으로만 보면 연구 습관 축(2.50)이 가장 약해 보이지만, 가장 낮은 칸은 기술 축에 있다.

연구에서의 의미. 이 루브릭은 시험이 아니다. 같은 사람이 시간에 따라 어떻게 변하는지 보는 도구이고, 다른 사람과 비교하는 순위표가 아니다. 근거 규칙 때문에 수준이 내려가는 것은 실패가 아니라 루브릭이 제대로 동작한 것이다. 내려간 칸이 다음 1년의 계획이 된다.

과학 연구자로서의 질문

왜 필요한가. 일곱 질문은 ML 연구자 누구에게나 해당한다. AI for Science 연구자에게는 세 질문이 더 있다. 모델이 과학 공동체 안에서 쓰이려면, 점수가 좋은 것만으로는 부족하고 그 분야의 사람들이 결과를 믿고 다음 실험에 쓸 수 있어야 한다.

세 질문은 아래로 갈수록 혼자 할 수 없게 된다. 질문 10의 수준 4는 대개 실험실이나 시뮬레이션 그룹과의 협업을 요구한다. 그래서 이 세 질문의 수준은 개인의 능력만이 아니라 협업 관계의 상태도 보여 준다. 질문 8이 2에 머물러 있다면, 기술을 더 배우기보다 결과를 함께 검토할 도메인 과학자를 찾는 것이 다음 목표다.

성장 계획

왜 필요한가. 이 책을 마친 뒤에는 정해진 경로가 없다. 0.3장의 다섯 단계는 책 안의 지도였고, 그 밖에서는 스스로 다음 길을 정해야 한다. 루브릭의 결과는 길을 정하는 근거가 되지만, 루브릭만으로는 방향이 정해지지 않는다. 무엇을 깊게 할지(도메인과 방법론)와 누구와 할지(커뮤니티)를 함께 정한다.

가장 낮은 칸에서 다음 장으로. 루브릭의 가장 낮은 칸이 다음 학습의 출발점이다. 다음 표는 칸에서 이 책의 장과 프로젝트로 돌아가는 길이다.

심화할 도메인과 방법론. 가장 낮은 칸을 채우는 것과 별개로, 1년 동안 깊게 팔 방향을 도메인 하나와 방법론 하나로 정한다. 둘 다 여러 개를 고르면 어느 것도 수준 5(확장)에 이르지 못한다. 0.3장의 분야 선택 기준(데이터 접근, 함께 검토할 도메인 과학자, 이미 가진 지식과의 연결)이 여기서도 쓰인다. 방법론은 고른 도메인의 핵심 문제와 맞닿은 것을 고른다. 예를 들어 배터리 수명 예측을 고른 사람에게는 불확실성 정량화(21부)나 하이브리드 모델(24.5장, 30.5장)이, 신소재 탐색을 고른 사람에게는 베이지안 실험 설계(25.3장)가 자연스러운 짝이다.

커뮤니티 참여. 연구 역량의 상당 부분은 다른 사람과의 상호작용에서 자란다. 질문 2(논문 연결)와 6(주장 판단)은 남의 논문을 읽고 토론할 때, 질문 5(재현 가능성)는 남이 내 코드를 실행해 볼 때, 질문 8(도메인 신뢰)은 도메인 과학자와 결과를 검토할 때 자란다. 참여는 산출물이 있는 형태로 계획한다.

• 논문 읽기 모임에서 한 달에 한 편 발표한다(23.2장, 23.10장).
• 워크숍이나 학회의 심사에 참여한다(23.11장).
• 쓰는 오픈소스 프로젝트에 기여하거나, 이 로드맵에 실패 사례·퀴즈를 기여한다(31.2장).
• 0.5장의 방식으로 스터디를 운영해, 자신이 수준 4 이상인 장을 다른 사람에게 가르친다. 가르치는 것은 수준 5(확장)의 근거가 된다.

1년 계획. 계획은 0.3장의 3개월 계획과 같은 형식으로, 기간이 아니라 산출물로 쓴다.

1년 계획 (2026-12 ~ 2027-11)
심화 방향 : 도메인 = 배터리 열화, 방법론 = 불확실성 정량화
가장 낮은 칸: 4. 실패 원인 분리 (1), 7. 한계 명시 (2)

분기 | 산출물                                         | 확인 방법                          | 루브릭 칸
Q1   | 프로젝트 C에 학습 실패 진단 테스트 추가            | 일부러 넣은 버그 3종을 테스트가 잡음   | 4 → 3
Q2   | 프로젝트 E(셀 수명의 예측분포), 조건별 calibration | 저온 셀에서의 coverage 보고          | 7 → 3
Q3   | 독립 연구(H) 계획서, 도메인 과학자 검토            | 검토 의견과 수정 이력                 | 8 → 3
Q4   | 논문 초안과 재현 패키지                          | 동료가 README만으로 표 하나 재현      | 5 → 4, 6 → 4
재진단: 분기마다 루브릭을 다시 채우고 성장 기록에 한 줄씩 남긴다
커뮤니티: 월 1회 논문 읽기 모임 발표, 쓰는 라이브러리에 PR 1개 이상

최종 산출물

왜 필요한가. 루브릭은 스스로 매기는 것이고, 근거 규칙이 있어도 자기 평가에는 한계가 있다. 그래서 이 책의 마지막 산출물은 다른 사람이 검증할 수 있는 형태로 정한다. 논문 초안과, 그 초안의 모든 숫자를 다시 만들 수 있는 연구 프로젝트다. 이것은 31.1장 프로젝트 H의 산출물이기도 하다.

논문 초안. 투고 직전 수준일 필요는 없지만, 다음을 갖춘다(23.8장).

• 연구 질문과 가설, 그리고 결과를 보기 전에 정한 비교 계획
• 강한 baseline과의 공정한 비교, 여러 seed의 변동, 통계적 판단
• 조건별 결과와, 평가하지 않은 조건을 밝힌 한계 절
• 모든 표·그림이 재현 패키지의 명령에 대응

재현 가능한 연구 프로젝트. 31.2장의 재현 패키지 구조를 따른다. 데이터 설명(출처, 라이선스, 데이터 카드, 분할 파일), 실행 환경(lockfile 또는 컨테이너), 학습, 평가, 결과 재생성 절차(표·그림별 명령과 기대 결과의 허용 범위)가 모두 있어야 한다.

포트폴리오 점검표. 최종 산출물은 포트폴리오의 중심이고, 포트폴리오는 루브릭의 근거를 모은 곳이다. 다음 점검표로 확인한다. 각 항목 옆에는 그것이 근거가 되는 루브릭 질문을 적었다.

점검표에서 비어 있는 칸이 있다면, 그 칸에 대응하는 루브릭 질문의 수준은 근거 규칙에 따라 3 이하다. 점검표와 루브릭은 같은 것을 두 방향에서 본다.