AI 연구 생태계
먼저 읽을 장 1.1 AI 연구의 생애주기
AI 연구는 다른 과학 분야와 다른 속도와 관행으로 움직인다. 많은 결과가 저널이 아니라 학회에서 발표되고, 심사를 받기 전에 프리프린트로 먼저 공개되며, 코드와 학습된 모델이 논문과 함께 풀린다. 과학 분야에서 온 연구자에게 이 관행은 낯설고, ML에서 온 연구자에게는 과학 분야의 저널 중심 관행이 낯설다. AI for Science 연구는 두 생태계 사이에 놓여 있어서, 어디에 결과를 내고 어디서 동향을 읽을지부터 판단이 필요하다.
이 장은 참조 등급이다. 처음 읽을 때는 각 절의 표와 실패 사례만 훑고, 논문을 쓰거나 투고처를 고를 때, 혹은 동향을 따라가는 방법을 정할 때 다시 펼친다. 구체적인 학회·저널·서비스 이름은 모두 집필 시점 예시다. 이름과 정책은 바뀌므로, 이 장은 그것을 확인하는 절차를 함께 적는다.
학습 목표
- 학회·저널·프리프린트·오픈소스 생태계를 이해한다
- 연구 동향을 따라가는 방법을 안다
발표 경로
왜 알아야 하는가. 발표 경로에 따라 누가 심사하고, 무엇을 기여로 인정하고, 얼마나 빨리 공개되는지가 다르다. 같은 연구라도 ML 학회에서는 "새 방법"이, 과학 분야 저널에서는 "새 과학적 사실"이 기여로 읽힌다. 경로를 잘못 고르면 좋은 연구도 "기여가 불분명하다"는 평가를 받는다. 논문을 읽을 때도, 그 논문이 어떤 심사를 거쳤는지 알아야 결과를 얼마나 믿을지 정할 수 있다.
경로의 종류. 대략 다섯 가지로 나눈다.
| 경로 | 집필 시점 예시 | 심사 | 공개 속도 | 주로 인정받는 기여 |
|---|---|---|---|---|
| ML 학회 | NeurIPS, ICML, ICLR | 동료 심사(마감일 기준 연 1회 주기) | 마감 후 수개월 | 새 방법, 이론, 벤치마크, 대규모 실험 분석 |
| 학회 워크숍 | 주요 ML 학회에 딸린 AI for Science·기후·분자·물리 주제 워크숍 | 가벼운 심사 | 빠름 | 진행 중인 연구, 새 문제 제기, 공동체 형성 |
| 과학 분야 학회·저널 | 각 분야의 학회지와 학술대회 | 분야 전문가의 동료 심사 | 수개월–1년 이상 | 새 과학적 사실, 분야 문제의 해결, 실험 검증 |
| 학제간·ML 저널 | Nature Machine Intelligence, Nature Computational Science, JMLR, TMLR, Machine Learning: Science and Technology | 동료 심사(마감일 없이 수시 투고) | 수개월 이상 | 방법과 과학적 기여를 함께 갖춘 연구 |
| 프리프린트 | arXiv, 분야별 서버(bioRxiv, ChemRxiv 등) | 형식 확인 수준의 검토, 동료 심사 없음 | 며칠 | 공개 시점의 기록, 빠른 공유 |
ML 분야에서는 학회 논문이 저널 논문만큼, 때로는 그 이상으로 주된 성과로 인정받는다. 많은 과학 분야에서는 반대로 저널 논문이 주된 성과이고, 학회 발표는 초록 수준인 경우가 많다. AI for Science 연구자는 자기가 평가받을 공동체의 관행이 어느 쪽인지 지도교수나 동료에게 확인한다.
프리프린트 문화. ML 연구에서는 학회 심사와 별개로 arXiv에 프리프린트를 올리는 것이 흔하다. 장점은 분명하다. 공개가 빠르고, 누구나 무료로 읽을 수 있고, 아이디어의 시점이 기록된다. 단점도 분명하다. 프리프린트는 동료 심사를 거치지 않았다. arXiv 같은 서버는 형식과 주제 적합성 정도만 확인한다. 소셜 미디어에서 화제가 되거나 인용이 많다는 것은 심사를 대신하지 않는다. 프리프린트를 인용할 때는 프리프린트라고 밝히고, 나중에 심사를 거친 판이 나왔는지 확인한다.
동료 심사의 역할과 한계. 동료 심사(peer review)는 분야의 전문가 몇 명이 논문을 읽고 방법의 타당성, 기여의 크기, 서술의 명확성을 판단하는 절차다. 명백한 결함을 걸러 내고, 주장과 근거의 불일치를 지적하고, 논문을 고치게 만든다. 그러나 심사가 보장하지 않는 것도 많다.
- 결과의 재현. 대부분의 심사자는 코드를 돌려 보지 않는다. 표의 숫자가 실제로 다시 나오는지는 확인되지 않는 경우가 많다.
- 모든 오류의 발견. 심사자는 몇 명이고 시간은 제한되어 있다. 데이터 누수나 미묘한 구현 오류는 본문만 읽어서는 보이지 않는다.
- 분야를 넘는 검증. ML 학회의 심사자가 과학 분야의 평가 관행을, 과학 저널의 심사자가 ML의 분할·baseline 관행을 모를 수 있다. AI for Science 논문은 이 틈에 빠지기 쉽다.
그래서 "심사를 통과했다"는 사실은 출발점일 뿐이다. 중요한 결과는 코드와 데이터로 직접 확인하고(23.3장), 자신의 논문은 심사자가 확인할 수 있게 공개한다. 투고와 심사의 실제는 23.11장에서 다룬다.
오픈소스와 공유 문화
무엇을 공개하는가. ML 연구에서는 논문과 함께 코드, 학습된 모델(checkpoint), 데이터를 공개하는 것이 널리 기대된다. 공개는 다른 사람이 결과를 검증하고, 같은 출발점에서 다음 연구를 하게 해 준다. 무엇을 공개하는지에 따라 다른 사람이 할 수 있는 일이 다르다.
| 공개한 것 | 다른 사람이 할 수 있는 일 | 흔히 빠지는 것 |
|---|---|---|
| 코드만 | 방법을 읽고 다시 구현한다 | 환경(패키지 버전), 실행 명령, 하이퍼파라미터 |
| 코드 + 환경 + 명령 | 같은 숫자를 다시 얻는다 | 데이터 전처리 스크립트, 분할 인덱스 |
| + 학습된 모델 | 학습 없이 추론하고 비교한다 | 모델이 학습된 데이터와 조건의 기록 |
| + 데이터와 분할 | 같은 조건에서 새 방법을 비교한다 | 라이선스, 데이터 문서(측정 조건, 단위, 결측 표기) |
공개 장소는 목적에 따라 나뉜다(집필 시점 예시). 코드는 GitHub 같은 코드 저장소, 학습된 모델과 데이터셋은 Hugging Face Hub 같은 모델·데이터 저장소, 인용 가능한 영구 보관이 필요한 코드와 데이터는 DOI를 발급하는 Zenodo 같은 저장소를 쓴다. 과학 분야에는 분야별 데이터 저장소가 따로 있는 경우가 많으니, 분야의 관행을 확인한다. 라이선스와 데이터 문서화는 15.5장과 23.12장, 공개 가능한 기여의 형태는 31.2장에서 다룬다.
벤치마크와 리더보드. 벤치마크는 공개 데이터·고정 분할·정해진 지표의 묶음이고, 리더보드는 그 벤치마크에서 여러 방법의 점수를 순위로 모아 둔 표다. 리더보드는 분야의 진전을 한눈에 보여 주고 공정한 비교를 쉽게 한다. 그러나 1.1장과 1.2장에서 본 한계가 그대로 적용된다.
- 순위의 작은 차이는 seed와 분할의 흔들림보다 작을 수 있다(1.5장).
- 같은 테스트 데이터로 많은 연구가 경쟁하면, 분야 전체가 그 테스트 데이터에 맞춰진다.
- 벤치마크의 분할과 지표가 현실의 일반화 대상·비용과 다르면, 1위가 현실에서 가장 쓸모 있는 방법이 아닐 수 있다.
- 계산량, 데이터 사용량, 추가 학습 데이터 같은 조건이 순위표에 드러나지 않을 수 있다.
동향을 따라가는 법
왜 방법이 필요한가. AI 분야의 논문 수는 한 사람이 다 읽을 수 있는 양을 훨씬 넘는다. 모든 새 논문을 따라가려 하면 읽는 데 모든 시간을 쓰고 자기 연구는 멈춘다. 반대로 아무것도 따라가지 않으면 이미 풀린 문제를 다시 풀거나, 표준이 된 baseline을 모른 채 비교하게 된다. 필요한 것은 무엇을 읽을지 고르는 기준이다.
정보원 선별. 정보원을 세 층으로 나누고, 층마다 쓰는 시간과 믿는 정도를 다르게 한다.
| 층 | 정보원 | 쓰임 | 믿는 정도 |
|---|---|---|---|
| 1. 핵심 | 자기 연구 질문과 직접 관련된 논문, 그 논문들이 인용하는 원 논문, 분야의 리뷰 논문 | 깊게 읽고, 재현하고, 비교 대상으로 쓴다 | 원문을 직접 확인한 만큼 |
| 2. 주변 | 관심 분야의 주요 학회 발표 목록, 신뢰하는 연구 그룹의 새 논문, 분야 저널의 새 호 | 제목·초록을 훑고 일부만 읽는다 | 심사 여부와 근거에 따라 |
| 3. 소음 | 소셜 미디어의 화제, 요약 블로그, 뉴스 기사, AI 도구가 요약한 내용 | 존재를 아는 정도. 중요해 보이면 1층으로 끌어올려 원문을 읽는다 | 원문 확인 전에는 인용하지 않는다 |
1층의 출발점은 자기 연구 질문이다(23.4장). 질문이 분명하면 무엇이 1층인지 정해지고, 나머지는 2–3층으로 밀어낼 수 있다. 문헌을 체계적으로 찾고 정리하는 방법은 23.1장, 논문을 깊게 읽는 방법은 23.2장에서 다룬다.
과대광고와 실질적 진전의 구분. 새 결과가 "획기적"이라고 소개될 때, 다음 질문으로 걸러 낸다.
- 무엇과 비교했는가? 강한 baseline(분야의 표준 방법, 잘 튜닝한 단순 모델)과 같은 조건에서 비교했는가.
- 어떤 분할로 평가했는가? 일반화 대상에 맞는 분할인가, 무작위 분할인가(1.3장).
- 차이가 흔들림보다 큰가? 여러 seed, 여러 데이터셋에서 일관된가, 아니면 표 하나의 작은 차이인가(12.5장).
- 검증의 사다리 어디까지 갔는가? 회고적 벤치마크인가, 실험으로 확인했는가(1.2장).
- 다른 사람이 확인할 수 있는가? 코드·데이터·모델이 공개되었는가, 독립된 그룹이 재현했는가.
- 주장의 동사가 근거와 맞는가? "발견했다", "해결했다", "이해한다" 같은 동사가 실제 근거의 범위를 넘지 않는가(23.6장).
이 질문들에 답이 많을수록 실질적 진전일 가능성이 높다. 답이 없다고 결과가 틀렸다는 뜻은 아니다. 다만 아직 확인되지 않은 주장으로 다루고, 자기 연구의 근거로 쓰기 전에 원문과 코드를 직접 확인한다.
실습
자신의 분야(또는 관심 분야)에서 논문을 내고 읽는 곳의 목록을 만든다. 이 목록은 23.1장(문헌 탐색)과 23.11장(투고와 동료 심사)에서 다시 쓴다.
- 발표 경로 목록. 아래 양식으로 ML 학회·워크숍, 분야 학회·저널, 학제간 저널, 프리프린트 서버를 각각 하나 이상 적는다. 지도교수나 분야의 선배에게 "이 분야에서 좋은 결과를 내면 어디에 내는가"를 물어 확인한다.
| 경로 | 이름 | 심사 방식 | 주기·마감 | 이 경로에서 인정받는 기여 | 확인한 곳(공식 페이지) |
|---|---|---|---|---|---|
| ML 학회 | |||||
| 분야 저널 | |||||
| 학제간 저널 | |||||
| 프리프린트 |
- 연구 그룹 목록. 자기 연구 질문과 가까운 연구를 하는 그룹을 세 곳 이상 적고, 각 그룹의 대표 논문 하나와 공개 코드 저장소를 찾는다.
- 정보원 층 나누기. 지금 보고 있는 정보원(구독 중인 메일링 리스트, 소셜 미디어 계정, 블로그 등)을 위의 세 층으로 나누고, 2층에 쓸 주간 시간을 정한다.
- 하나를 걸러 본다. 최근 화제가 된 결과 하나를 골라 과대광고를 거르는 여섯 질문에 답해 본다. 답할 수 없는 질문이 무엇이었는지 적는다.
실패 사례
- 리더보드 순위를 연구 기여와 동일시하는 것. 순위가 한 칸 올라간 것이 곧 기여는 아니다. 그 차이가 seed와 분할의 흔들림보다 큰지, 같은 계산·데이터 조건에서 비교했는지, 벤치마크의 분할이 현실의 일반화 대상과 맞는지에 따라 기여의 크기가 달라진다. 반대로 순위를 올리지 않은 연구(새 데이터셋, 실패의 분석, 재현 연구)도 중요한 기여일 수 있다.
- 프리프린트를 검증된 결과처럼 인용하는 것. 화제가 된 프리프린트의 숫자를 자기 논문의 근거로 쓰면, 그 숫자가 나중에 고쳐지거나 철회될 때 함께 무너진다. 프리프린트임을 밝히고, 핵심 근거라면 원문과 코드를 직접 확인한다.
- 요약만 읽고 인용하는 것. 블로그나 AI 도구의 요약은 원문의 조건(분할, baseline, 데이터 범위)을 빼먹기 쉽다. 인용하는 주장은 원문에서 직접 확인한다.
- 모든 새 논문을 따라가려는 것. 읽기에 모든 시간을 쓰면 자기 연구가 멈춘다. 연구 질문으로 1층을 정하고, 나머지는 정해진 시간 안에서만 훑는다.
통과 기준
- 자신의 분야에서 논문을 어디에 내고 어디서 읽는지 설명한다. 실습의 발표 경로 목록(경로별 하나 이상, 공식 페이지에서 확인한 심사 방식 포함)과 연구 그룹 목록(세 곳 이상)을 문서로 남긴다.
- 최근 화제가 된 결과 하나에 대해 과대광고를 거르는 여섯 질문의 답을 쓰고, 그 결과를 자기 연구의 근거로 쓸 수 있는지 판단한다.