ROSA AI · 스케치, 2026년 10월

논문 한 편의 여정

우리가 만들어 볼까 고민하고 있는 학술지를 따라가 보는 안내입니다. 과학 에이전트가 연구를 하고, 다른 에이전트가 그것을 검증하며, 중요한 일은 사람이 책임집니다.

여기에 실제로 작동하는 것은 없습니다. 연구, 에이전트, 날짜, 숫자는 모두 아이디어의 윤곽을 보여 주기 위해 지어낸 것입니다. 스크롤하거나 화살표를 눌러 보세요.

? 연구가 시작된다믿을 수도, 시험해 볼 수도 있는 논문

지금까지의 방식

한 사람이 쓰고, 낯선 두 사람이 판정하고, 몇 달이 흘러갑니다.

한 세기 동안 논문은 사람이 만든 산물이었고, 이름을 끝내 알 수 없는 두세 명의 무보수 심사자가 검토해 왔습니다. 신뢰는 평판과 인내 위에 서 있었습니다.

투고 5개월째 9개월째 판정 ? ? 무보수, 보이지 않음

무엇이 달라지는가

사람이 설계하고 지휘합니다. 일은 에이전트가 합니다.

사회학자인 저우 박사가 연구 질문을 정하고, 데이터와 중단 규칙을 고릅니다. 과학 에이전트 셋으로 이루어진 팀이 읽기, 분석, 글쓰기를 맡습니다. 에이전트가 제1저자이고, 저우 박사는 교신저자로서 책임을 집니다.

저우 박사, 교신저자 읽기 분석 글쓰기 에이전트 팀, 제1저자

연구가 진행되는 동안

모든 단계가 일어나는 그 순간에 기록됩니다.

에이전트는 기록 장치 안에서 일합니다. 모든 프롬프트, 모든 모델 호출, 코드 한 줄 한 줄, 통계적 선택 하나하나에 그 순간 지문이 찍힙니다. 아무도 보고하지 않는 실행까지 포함해서입니다.

팀은 분석을 31가지 방식으로 돌렸고 그중 4가지를 보고했습니다. 학술지는 31가지를 모두 봅니다. 탐색을 문제 삼으려는 것이 아니라, 독자가 탐색과 입맛에 맞는 결과만 골라내는 것을 구별할 수 있게 하려는 것입니다.

투고 시점

기본 점검이 먼저입니다.

인용된 논문이 실제로 존재하는가? 통계 수치가 서로 맞는가? 파일 안에 AI 독자를 조종하려는 숨은 텍스트가 있는가? 이 점검들은 기계적으로 이루어지고, 오류율이 공개되며, 어느 것도 점수를 내지 않습니다.

플래그는 질문이지 판정이 아닙니다. 참고문헌 2건을 찾을 수 없었고, 팀이 이를 고쳤습니다.

인용된 논문이 모두 존재함 보고된 통계가 서로 일치함 파일에 숨은 지시문 없음 참고문헌 2건 미발견 → 반송, 수정, 재점검

그다음은 진짜 시험

낯선 셋이 이 연구를 무너뜨리려 합니다.

익명 심사자 둘 대신, 서로 다른 회사가 만들고 서로 다른 방식으로 일하는 독립 에이전트 셋이 나섭니다. 하나는 원자료에서 분석을 다시 돌립니다. 하나는 다른 합리적인 분석 방법을 시도합니다. 하나는 논문에 반론을 펼칩니다.

이들에게는 저자가 왜 이 결과를 중요하다고 보는지가 전혀 전달되지 않습니다. 이들의 보고서는 한 글자도 바꾸지 않고 공개됩니다.

연구결과 1수치를 다시 계산 2다른 모형 설정을 시도 3반론을 제기

‘다르다’가 왜 중요한가

같은 것 셋은 세 번의 검증이 아닙니다.

같은 계열의 모델은 같은 실수를 저지르기 쉽고, 같은 글을 읽는 세 명의 독자는 여전히 독자일 뿐입니다. 직접 해 보세요. 검증자를 바꿔 보고, 독립적인 검증이 실제로 얼마나 남는지 확인해 보세요.

독립적 검증 수(대략)
3
서로 다른 제작사, 서로 다른 방법. 이것이 우리가 의도하는 바입니다.

그다음은 사람이 결정합니다

이름을 밝힌 편집자 한 사람이 검증 결과를 읽고 서명합니다.

이을마즈 박사는 세 보고서와 그 사이의 불일치, 그리고 31회 실행 기록 전체를 읽습니다. 해결되지 않은 반론 한 건을 논문에 명시한 채 게재를 결정하고, 그 이유를 두 단락으로 적습니다. 편집자의 이름과 그 이유는 논문과 함께 공개됩니다.

익명 심사자도, 위원회도 없습니다. 증거를 눈앞에 둔, 책임지는 한 사람이 있을 뿐입니다.

이을마즈 박사, 편집자 보고서 1: 수치 일치보고서 2: 6개 중 5개 유지보고서 3: 반론 1건 31회 실행 기록, 4회 보고 서명 완료

같은 주에

잠정적인 신호로서 게재됩니다.

판정을 기다리지 않습니다. 논문은 누가 무엇을 했고, 무엇을 검증했으며, 어디서 의견이 갈렸고, 누가 책임지는지를 담담하게 적은 설명과 함께 나갑니다. ‘강력하다’, ‘견고하다’ 같은 형용사는 없습니다. 행위와 결과, 그리고 오류가 남아 있을 수 있다는 인정만 있습니다.

편집자의 서명이 있더라도 이것은 가늠해 볼 신호일 뿐, 확정된 사실이 아닙니다. 다음 장면은 그것을 어떻게 가늠할지에 관한 이야기입니다.

증거 상태, 버전 1, 2027년 5월 12일
  • 검증자 1의 원자료 재분석: 수치 재현됨.
  • 검증자 2의 대안적 모형 설정: 6개 중 5개에서 주요 결과 유지.
  • 검증자 3의 적대적 비판: 변수 코딩에 관한 반론 1건, 논문에 명시.
  • 등록된 예측: 1건. 채점: 0건.
  • 이의 제기: 없음.
  • 오류가 남아 있을 수 있습니다.
  • 누구나 이의를 제기할 수 있습니다. 이의 제기는 공로를 인정받고, 답변은 기록에 남습니다.

어떻게 읽을 것인가

쓰레기도 아니고, 절대 진리도 아닙니다. 가늠해 볼 신호입니다.

에이전트가 주도한 연구의 결과를 대할 때는 다른 사고 습관이 필요합니다. 전부 기계가 내는 잡음으로 치부하면 실제로 이루어진 연구를 내버리는 것이고, 액면 그대로 받아들이면 오류가 퍼져 나갑니다. 쓸모 있는 자리는 그 사이에 있습니다.

사람들은 챗봇을 쓰면서 이미 이렇게 합니다. 답은 대개 쓸모가 있고, 작은 글씨로 틀릴 수 있다고 적혀 있으며, 중요한 일이라면 대부분 확인해 봅니다. 우리가 원하는 것은 그 습관에 더 나은 작은 글씨와 확인할 수 있는 기록을 더하는 것입니다.

‘AI 쓰레기’로무시하기 액면 그대로받아들이기 가늠하기 라벨 읽기 · 무엇을 검증했는지 보기어디서 어긋났는지 보기 · 기록 확인하기

그 뒤에

증거가 바뀌면 라벨도 계속 바뀝니다.

독자들이 이를 재현합니다. 팀이 등록한 예측은 내년 데이터가 도착하면 채점됩니다. 한 학자가 이의를 제기하고, 그 공로를 인정받습니다. 논문은 결코 완성되지 않습니다. 다만 계속 정직하게 바로잡혀 갈 뿐입니다.

이 모든 것의 밑바탕

기록은 누구나 확인할 수 있습니다.

모든 단계는 로그에 담기고, 각 항목은 바로 앞 항목의 지문을 지니고 있습니다. 글자 하나만 바꿔도 그 뒤의 모든 것이 어긋납니다. 한 줄을 고쳐 보세요.

신뢰는 여기서 발판을 얻습니다. 숨겨진 추가 분석, 슬며시 바뀐 데이터 범위, 검증이 끝난 뒤 바꿔 넣은 결과. 이 모두가 흔적을 남깁니다. 답이 무엇일지 아무도 모르던 시점에 기록이 이미 찍혔기 때문입니다. 이것은 기록이 쓰인 그대로임을 증명합니다. 연구가 옳다는 것을 증명하지는 않습니다. 우리는 모든 논문에 그렇게 밝힙니다.

모든 지문이 일치합니다.

전체의 윤곽

판단, 집행, 보상.

박한우 박사는 2026년에 펴낸 디지털 자산에 관한 책에서 ‘신뢰의 운영체제’를 이렇게 설명합니다. 누가 판단하는가, 결정은 어떻게 집행되는가, 누가 공로를 인정받고 책임을 지는가, 이 셋을 잇는 것이 곧 신뢰의 운영체제입니다. 지금까지의 여정을 돌아보면 세 층은 이미 그 안에 자리하고 있습니다.

판단은 정도의 문제입니다. 그래서 검증자들의 의견 차이는 공개되고, 라벨은 점수가 아니라 평이한 말로 적힙니다. 집행은 정도의 문제가 아닙니다. 그래서 관문, 지문이 찍힌 기록, 서로 너무 닮은 검증자 조합에 대한 거부는 모두 코드로 실행됩니다. 보상은 돈이 아니라 공로입니다. 토큰도 코인도 없고, 기록에 남는 이름과 인용되는 이의 제기만 있습니다.

판단서로 다른 검증자 셋, 실명 편집자 한 사람, 정도를 나타내는 라벨.사람이 남는 자리: 편집자가 서명합니다.
집행관문 역할을 하는 기본 점검, 모든 단계에 지문을 찍는 기록, 너무 닮은 검증자 조합을 코드로 거부하는 장치.사람이 남는 자리: 설계상 없습니다. 규칙은 미리 써 두었습니다.
보상에이전트 팀은 저자로 기록되고, 설계한 사람은 책임자로 실명이 오르며, 이의를 제기한 사람은 인용됩니다.사람이 남는 자리: 앞에서는 설계하고, 뒤에서는 이의를 제기합니다.
에이전트가 일하고 검증합니다. 사람이 서명합니다. 누구나 이의를 제기할 수 있습니다.

그러면 사람은 어디에

사람은 사라지지 않습니다. 자리를 옮길 뿐입니다.

노동을 직접 하던 자리에서 무엇이 할 만한 일인지 결정하는 자리로, 익명의 판정에서 이름을 건 책임으로, 게재 전 심사에서 게재 후 공로를 인정받는 이의 제기로. 그리고 독자에게는, 학술지의 이름을 믿는 데서 기록을 손에 들고 신호를 가늠하는 쪽으로.

이것은 스케치입니다. 배경 조사를 마쳤고 계획을 세웠지만, 아직 아무것도 만들지 않았습니다. 다음 단계는 서버 한 대에서 돌아가는 파이프라인을 만들고, 초청한 소수의 연구를 올리는 것입니다. 주로 이미 발표된 연구의 재현과 확장이 될 텐데, 그것이 에이전트가 이미 잘하는 영역이기 때문입니다.

Weiai Wayne Xu 박사(매사추세츠대학교 애머스트), 박한우 박사(영남대학교), Pieter E. Stek 박사(아시아경영대학원)가 ROSA Journal의 자매 학술지로 준비하고 있습니다. 이 모든 일은 한국과 매사추세츠에서, 우리가 직접 운영하는 서버 몇 대 위에서 손수 꾸려 가고 있습니다.

지금까지의 방식
  • 사람이 논문을 쓴다
  • 익명 심사자 둘이 판정한다
  • 몇 달의 기다림
  • 평판에 의한 신뢰
  • 심사자의 노동은 무보수이고 보이지 않는다
우리가 그리고 있는 것
  • 사람이 설계하고 지휘하며 책임진다
  • 서로 다른 에이전트 셋이 공개적으로 검증한다
  • 같은 주에 게재하고, 정직하게 표시한다
  • 누구나 확인할 수 있는 기록에 기댄 신뢰, 다만 건강한 의심을 품고 읽는다
  • 사람의 이의 제기는 공로를 인정받고 인용된다