에이전트가 자료를 찾고 코드를 실행하는 동안에는 작은 판단이 반복됩니다. 검색 결과가 질문에 맞는지, 실패한 작업을 다시 실행할지, 더 강한 모델을 호출할지 결정해야 합니다. 이때마다 긴 답변을 생성하면 판단 자체보다 호출을 기다리는 시간이 커질 수 있습니다. Jev는 이러한 판단을 소프트웨어의 짧은 함수 호출처럼 제공하려는 모델입니다.
현재 근거는 개발사 문서와 공개 초기 실험입니다. 이 리뷰는 자료를 대조하고 공개 집계값의 비율을 재계산했으며, Jev API나 벤치마크를 직접 실행하지 않았습니다. 범용 추론·과학 계산의 우위를 입증한 논문으로 취급하지 않습니다.
2026-09-21 보강: 공유된 LinkedIn 게시물의 항공편 검색·주행·거래 사례를 원문과 공개 코드로 확인하고 측정 범위를 추가했습니다.
Jev가 반환하는 것은 소프트웨어가 사용할 판단입니다
TypeSafe AI는 2026년 9월 15일 Jev를 공개했습니다. 회사가 붙인 System One이라는 명칭은 빠르고 집중된 판단을 강조합니다. 이를 뇌의 작동 방식을 재현했다는 뜻이나 확립된 학술 분류로 읽을 필요는 없습니다. 이름 Jev는 William Stanley Jevons에서 가져왔습니다. [1]
입력은 판단할 자료인 state와 질문 모음인 questions입니다. 일반적인 대규모 언어모델(large language model, LLM)이 텍스트를 생성하는 데 비해 Jev는 미리 정의된 답의 범위를 사용합니다. 현재 입력은 텍스트·텍스트를 담은 JSON 객체와 배열이며 이미지·음성·영상은 지원하지 않습니다. 따라서 게임 시연을 시각 인지나 현실 로봇 제어의 검증으로 확대할 수 없습니다. [2]
| 질문 유형 | 돌려주는 값 | 리뷰가 구성한 사용 예 |
|---|---|---|
Choice | 선택지, 선택지별 확률, confidence | 실행 기록의 분류: 정상 / 재시도 후보 / 추가 조사 / 해당 없음 |
Score | 순서가 있는 등급의 확률분포와 평균 점수, confidence | 근거의 직접성: 무관 / 간접 / 직접 |
Noul | 명제가 참일 확률을 나타내는 0–1 값 | 문서가 요청한 실험 조건을 명시하는가? |
Choice는 최대 255개 선택지를 허용하며, 목록 밖 입력을 위한 other나 not_stated도 설계자가 넣을 수 있습니다. Noul에는 별도 confidence 필드가 없습니다. 형식마다 반환값의 의미가 다르므로 같은 임계값을 무조건 공유하지 않아야 합니다. [3] [4]
짧은 질문을 병렬로 묻고, 조합은 코드에서 수행합니다
개발사는 동일한 state에 대한 질문들을 서로 분리해 병렬 평가한다고 설명합니다. 예를 들어 “이 문서를 자동 처리해도 되는가?”를 하나의 넓은 질문으로 묻기보다, 자료의 관련성·필수 항목의 존재·모호함을 각각 평가하고 프로그램이 결과를 조합합니다. 같은 호출에서 질문을 추가하면 추가 토큰 비용은 발생하지만 응답시간 증가는 작다는 것이 공식 설명입니다. 이는 질문 간 논리적 일관성이나 결과의 통계적 독립성을 보장한다는 뜻은 아닙니다. [5]
처리시간은 개념적으로 자료 준비 + 모델 평가 + 직렬 출력 생성 + 후처리로 나눌 수 있습니다. Jev의 설계는 자유로운 응답을 토큰마다 생성하는 부담을 줄이는 방향입니다. 그렇더라도 긴 입력을 읽는 시간, 네트워크 왕복, 대기열, 후속 모델 호출은 남습니다. 따라서 한 모델 호출의 가속 배율을 전체 에이전트의 가속 배율로 옮길 수 없습니다.
전체 실행시간 중 바꿀 수 있는 판단 단계의 비율을 f, 그 단계의 가속 배율을 s라 하면, 다른 비용이 같다는 단순 가정에서 전체 가속은 1 / [(1 − f) + f / s]입니다. 리뷰의 가상 예로 판단 단계가 전체의 20%이고 그 부분을 100배 가속해도 전체 가속은 약 1.25배입니다. 병목의 위치부터 측정해야 하는 이유입니다.
확률이 믿을 만하다는 것은 무엇을 뜻하는가
TypeSafe가 설명하는 학습법은 보정된 판단을 위한 강화학습(reinforcement learning for calibrated decisions, RLCD)입니다. 인간 선호를 학습하는 강화학습(reinforcement learning from human feedback, RLHF)이나 검증 가능한 보상 기반 강화학습(reinforcement learning with verifiable rewards, RLVR)과 구분해, 확률과 실제 결과의 대응을 목표로 내세웁니다. 정해진 형식을 지키는 것만으로는 RLCD의 목표를 설명할 수 없습니다. 형식 보장에 더해 반환 확률이 실제 결과와 얼마나 잘 맞는지를 학습·평가하려는 접근입니다. 확인한 공개 자료만으로는 구체적 보상함수·학습 절차·모델 규모·구조를 재구현할 수 없습니다. 내부가 특정 인코더나 특정 손실함수일 것이라고 추정하지 않습니다. [6]
확률 보정(calibration)은 여러 예측을 모아 평가하는 성질입니다. “관련 있음”에 약 0.8을 준 사례들을 모았을 때 실제 관련 사례가 약 80%이면 이 구간은 잘 보정되어 있습니다. 개별 답변의 정확성을 보증하지는 않습니다. 확률 보정 자체는 오래된 연구 주제이며, Guo 등의 연구는 신경망에서 정확도와 보정 상태가 다를 수 있음을 보이고 온도 조정(temperature scaling)을 검토했습니다. [7]
또 하나 구별할 값은 API의 confidence입니다. Choice·Score에서 이것은 반환된 확률분포가 얼마나 집중되어 있는지 요약하는 통계량입니다. 공식 설명 페이지에는 그 정확한 계산식이 제시되어 있지 않습니다. confidence = 0.9를 “정답률 90%”로 해석하면 안 됩니다. 배포할 자료에서 확률 보정과 보류 기준을 별도로 평가해야 합니다. [8]
Score도 물리량 회귀와 다릅니다. 등급 번호가 k, 그 확률이 pk일 때 기본 점수는 Σ k·pₖ입니다. 순서만 정의한 등급을 평균낸 값이므로 등급 사이의 의미상 간격까지 동일하다고 보장하지 않습니다. 이를 분자의 에너지나 정확한 위험량으로 읽으려면 별도의 측정·검증 모델이 필요합니다. [9]
실험은 유망하지만, 비교 조건이 결과를 바꿉니다
개발사의 193.6배 속도·444.6배 비용 개선은 자체 워크플로 평가에서 나온 상단 수준의 수치입니다. 비교는 강한 외부 모델들의 평균 예측을 참조하며, 다른 LLM에도 확률을 포함하는 출력 형식을 요구합니다. 사람의 정답과의 일치율을 직접 측정한 일반 벤치마크와는 조건이 다릅니다. [1]
9월 20일 공개된 LangChain 실험은 날씨 에이전트의 고정된 응답 5개를 각 평가 모델로 100번씩 판단했습니다. 단일 사람 평가자의 통과·실패 판정에 대한 500회 반복 일치율과 연속 점수의 반복 변동을 따로 측정했습니다. LLM의 temperature·seed 등은 별도 지정하지 않았고 Jev 서비스 버전도 실험 메타데이터에 남아 있지 않습니다. [10]
| 평가 모델 | 사람 판정 일치율 | 평균 시간 / 호출 | 평균 비용 / 호출 |
|---|---|---|---|
| Jev | 100.0% | 0.44초 | $0.00035 |
| GPT-5.6 Luna | 96.4% | 2.50초 | $0.00039 |
| GPT-5.6 Terra | 99.8% | 2.83초 | $0.00289 |
| Claude Sonnet 4.6 | 80.0% | 2.16초 | $0.02811 |
표는 실험 저장소의 보고값입니다. 서로 다른 문제는 5개뿐이므로 500개 독립 문제에서 얻은 정확도로 해석할 수 없습니다. 같은 사례에서 일관되게 틀리는 평가자도 있을 수 있습니다. [11]
표의 반올림된 평균값으로 비용을 나누면 Jev는 Luna 대비 약 1.11배, Terra 대비 약 8.26배, Sonnet 대비 약 80.31배 저렴합니다. 비교 대상에 따라 차이가 크게 달라집니다. 공개 JSON의 집계 분산도 대조했습니다. 연속 품질 점수의 사례별 분산 평균은 Jev에서 약 1.494×10−5이며, 다른 세 모델은 약 92–913배였습니다. [12]
이 결과는 반복 평가의 안정성을 조사할 이유가 됩니다. 그러나 점수의 낮은 분산은 확률 보정의 증명도, 모든 분야에서의 정확도 우위도 아닙니다. 모델별 최적 설정, 더 다양한 독립 사례, 여러 사람의 기준 합의, 시간에 따른 성능 변화까지 비교해야 적용 여부를 판단할 수 있습니다.
7초 항공편 검색을 만든 모델과 실행기의 분업
차예솔(Peter Cha)의 LinkedIn 게시물 [17]은 이메일 분류에서 항공편 검색·주행·거래로 이어지는 활용 사례를 소개합니다. 이를 따라 확인한 Jev Ultrafast [18]는 Jev 자체와 에이전트 시스템의 차이를 보여줍니다. Jev는 다음 판단을 반환하고, 주변 프로그램이 관찰·기억·실행·종료 확인을 묶어 하나의 에이전트를 구성합니다.
이 브라우저 에이전트는 화면의 문서 객체 모델(document object model, DOM)에서 관찰한 버튼·입력칸을 번호가 붙은 목록으로 만듭니다. Jev에는 동작 종류와 동작별 대상을 함께 묻습니다. 예컨대 클릭을 선택하면 클릭 대상의 답만 실행하고, 입력을 선택하면 입력 대상의 답을 사용합니다. 미리 가능한 분기의 질문을 함께 평가하는 speculative fan-out은 다음 질문을 위해 기다리는 네트워크 왕복을 줄입니다. 사용하지 않은 분기의 답은 버립니다. [19]
TYPE_TEXT일 때에는 별도의 작은 언어모델이 입력할 문자열을 만듭니다. 공개된 녹화 기록에서 이 모델은 inception/mercury-2.5이며 Zurich와 London을 생성했습니다. 따라서 이 결과를 Jev 혼자 검색어까지 생성한 사례로 읽을 수는 없습니다. 실행기는 선택한 대상이 아직 유효한지 검사하고, 페이지가 바뀌었다면 재관찰합니다. 모델이 고른 DONE도 외부 검사 없이 작업 성공의 증거가 되지는 않습니다. 실행 루프 [20]
| 공개 기록의 항목 | 확인한 값과 범위 |
|---|---|
| 작업 | 취리히 → 런던, 2026년 9월 20일 편도 항공편의 검색 결과 표시. 항공편 선택·예약·결제는 수행하지 않음. |
| 녹화 실행시간 | 7.073초. 최초 페이지 관찰 이후 첫 판단부터 마지막 DONE까지. 초기 탐색·브라우저 준비·마지막 독립 검증은 제외. |
| 포함된 처리 | Jev 17회 요청, 텍스트 모델 2회 호출, 브라우저 상호작용 10회와 명시적 대기 1회. 페이지 변화로 버린 판단과 결과 로딩 대기 포함. |
| 기록된 사용량 | Jev 입력 90,558토큰. 텍스트 모델의 보고 요금 합계 $0.00006272. |
위 값은 공개 측정 JSON [21]과 작성자의 측정 설명 [22]을 대조한 것입니다. 현재 공개 단가를 적용하면 Jev 요금 추정치는 90,558 × $0.042 / 1,000,000 = $0.003803436이고, 텍스트 모델 요금을 더하면 약 $0.003866, 반올림해 $0.0039입니다. Jev 응답에는 청구 달러 금액이 없어 이 부분은 계산값입니다. 브라우저·호스팅·개발 비용을 포함한 총운영비가 아니며, 이 리뷰에서 실행하거나 결제한 금액도 아닙니다.
같은 두 모델을 유지한 실행기 비교도 있습니다. 기존·개선 버전을 번갈아 각 3회 실행했을 때 중앙값은 9.450초에서 7.092초로 약 25% 감소했고, 브라우저 제어 호출의 중앙값은 1,092회에서 101회로 줄었습니다. 양쪽 모두 3/3회 확인을 통과했습니다. [23] 이는 같은 작업에서 주변 코드가 기여한 개선을 보여주는 작은 실험입니다. Jev와 다른 모델의 비교도, 다양한 웹사이트에서의 성공률 추정도 아닙니다.
여기서 연구 하네스로 옮길 수 있는 설계는 현재 자료에서 허용할 행동 후보를 만들고, 의미 판단으로 하나를 고른 뒤, 코드가 실행 조건과 결과를 확인하는 방식입니다. 후보를 준비하는 코드와 상태 갱신이 부정확하면 빠른 판단만으로는 전체 시스템을 신뢰할 수 없습니다.
주행·거래 시연에서 실제로 확인되는 것
게시물의 주행 링크는 JevPilot [24]이라는 Three.js 시뮬레이터입니다. 프로그램이 조향·속도 후보를 생성하고, 도로·교통·목적지 정보를 표 형태로 Jev에 보냅니다. README의 요청 주기는 교통·회전 구간에서 최대 초당 4회, 한산한 도로에서 약 1.5회입니다. 이 값은 작성자의 설정 설명이며 리뷰가 측정한 처리율이 아닙니다.
공개 요청 구성 코드 [25]는 선택지가 하나뿐이면 로컬에서 결정하고, 서버 코드 [26]는 입력과 반환된 선택을 검사하며 임박한 충돌이 예측되는 이동 경로를 거부합니다. 상세 기하·차량 제어·충돌 계산은 주변 코드가 담당합니다. 따라서 이 시연의 기여는 구조화된 상태에서 빠른 선택을 제어 루프에 연결한 데 있습니다. 카메라 인지나 실제 도로에서의 자율주행 안전성을 평가한 결과는 아닙니다.
Jev Trader [27]의 공개 화면에서는 Kuru의 MON/USDC 주문장에서 매 블록 매수·매도 방향을 고르는 구성을 확인했습니다. 열람 시 dry run이 표시되고 실행 기록은 연결 대기 상태였습니다. 실거래 체결·손익·수수료를 검증할 자료는 확보하지 못했습니다. 거래 방향을 빠르게 반환하는 기능과 수익성은 별개의 평가 대상입니다.
게시물의 속도 20–200배·비용 40–400배라는 범위는 모든 작업의 보장값으로 채택하지 않습니다. 앞 절의 개발사 비교, LangChain 반복 평가, 항공편 실행기 실험은 비교 대상과 측정 단위가 서로 다릅니다. 출력 요금 무료 역시 현재 서비스의 가격 정책입니다. 문자열을 생성하지 않아도 입력 처리와 판단에는 계산이 필요하며, 생성 모델을 함께 쓰면 그 모델의 요금이 더해집니다.
기존 분류기와 비교해야 기술의 위치가 보입니다
문장을 생성하지 않고 분류하는 모델은 오래전부터 쓰였습니다. ModernBERT 같은 인코더 계열은 분류와 검색에서 효율적인 기준선입니다. 따라서 “텍스트 대신 범주를 출력한다”는 사실만으로 새로운 학습 원리의 독창성이 증명되지는 않습니다. Jev는 질문과 선택지를 호출마다 기술하는 범용 인터페이스, 확률 출력, 병렬 처리, 서비스 운영을 함께 평가해야 합니다. [13]
| 접근 | 잘 맞는 조건 | 도입 전 비교할 비용 |
|---|---|---|
| 규칙·파서 | 명확한 형식, 수치, 날짜, 권한 | 예외 규칙의 유지 관리 |
| 인코더 기반 분류기 | 범주가 안정적이고 학습용 정답이 있는 업무 | 라벨링·학습·운영 인프라 |
| 구조화 출력 LLM | 추론·설명·생성과 판단을 함께 해야 하는 업무 | 입출력 길이·추론 설정·재시도 |
| Jev | 답의 범위를 정할 수 있고 좁은 의미 판단이 많은 업무 | 외부 호출·질문 설계·보정·후속 검토 |
이 표는 실측 순위가 아닌 선택 기준입니다. LangChain은 Jev를 TypeSafeClassifier로 연결하고 모델 라우팅 등 판단 단계에 배치하는 예를 제공합니다. 기존 에이전트의 생성 모델을 유지하면서 일부 판단만 바꾸는 실험이 자연스럽습니다. [14]
형식 보장 이후에도 남는 오류가 있습니다
정해진 선택지에서만 답하게 하면 존재하지 않는 선택지를 만드는 오류는 줄일 수 있습니다. 그러나 허용된 선택지를 잘못 고르는 오류는 남습니다. 회사가 사용하는 “환각 없음”이라는 표현은 이 차이를 가릴 수 있으므로, 여기서는 출력 스키마의 준수와 판단의 정확성을 구분합니다.
개발사가 공개한 Jev 1.13 한계에는 숫자 계산·개수 세기·날짜 비교·다단계 참조·관련 없는 긴 문맥·적대적으로 작성된 입력이 포함됩니다. 서로 다른 질문으로 물은 명제와 부정의 확률이 합계 1을 만족한다는 보장도 없습니다. 예를 들어 논리적으로 하나인 사건의 여사건 확률은 코드가 1 − p로 계산하고, 따로 물은 두 답이 확률 공리를 만족할 것으로 가정하지 않는 편이 타당합니다. [15]
이러한 제한 때문에 Jev의 출력만으로 권한을 부여하거나 실패를 성공으로 바꾸어서는 안 됩니다. 파일 존재·종료 코드·테스트 결과·수치 허용오차 같은 객관적 검사는 코드가 수행하고, Jev는 서술형 자료의 의미를 판단하는 데 배치하는 구성이 적절합니다. 이는 보안 제품 성능이 검증됐다는 주장이 아니라 이 리뷰의 설계 제안입니다.
연구·코딩 하네스에서 먼저 시험할 작업
첫 후보는 공개 논문과 기술 문서의 선별입니다. “이 초록이 실험적 소자 수명을 보고하는가?”, “상태에 제시된 근거가 해당 주장을 직접 지지하는가?”처럼 좁은 질문을 묻습니다. 논문을 읽고 설명하는 모델은 유지하되, 자료를 거르는 빈번한 판단의 시간과 비용을 비교할 수 있습니다.
두 번째는 실행 기록의 분류입니다. 프로세스의 종료 코드는 파서가 확인하고, 정형화되지 않은 오류 설명을 Jev가 분류하게 합니다. 재시도·중단·추가 모델 호출의 정책은 프로그램이 정합니다. 밀도범함수이론(density functional theory, DFT) 계산이라면 수렴 오차, 에너지 차이, 힘의 기준을 계산하는 일은 기존 수치 코드가 맡아야 합니다. Jev를 전자구조 계산기나 물성 예측기로 간주할 근거는 없습니다.
공식 문서의 현재 고정 모델명은 jev-1.13.0입니다. 입력 100만 토큰당 $0.042이며 출력 요금은 없습니다. 요청 전체는 64k 토큰, state와 가장 긴 질문의 합은 32k 토큰이라는 서로 다른 제한이 있습니다. 영어가 주 학습 언어이므로 한국어 자료는 별도 평가해야 합니다. 문서에서 온프레미스 가중치 배포를 확인하지 못했으므로 내부망 도입 가능성을 전제하지 않습니다. [16]
다음은 공개 문서 선별을 위한 요청 본문의 예입니다. 실제 API 호출·측정 결과가 아니며, 질문 식별자보다 instructions와 criteria에 의미를 명시했습니다.
{
"model": "jev-1.13.0",
"state": {"abstract": "Public abstract to evaluate"},
"questions": {
"reports_device_lifetime": {
"type": "noul",
"instructions": "Does the abstract explicitly report measured OLED device lifetime?",
"criteria": {
"true": "A measured device lifetime result is explicitly stated.",
"false": "No such result is stated, or only a calculated proxy is given."
}
}
}
}실험은 대표 사례를 사람이 먼저 판정하고 규칙·소형 분류기·현재 LLM·Jev를 같은 입력에서 비교하는 방식이 좋습니다. 정확도뿐 아니라 오탐과 누락, 확률 구간별 실제 정답률, 보류 비율, 지연시간의 중앙값과 95백분위수, 재시도와 후속 모델을 합친 비용을 기록합니다. 같은 사례의 반복 실행과 새로운 독립 사례의 평가는 분리합니다.
가장 중요한 운영 지표는 요구 품질을 만족한 최종 작업 한 건당 비용입니다. 판단 호출이 싸져도 더 많은 오분류가 고가의 재작업을 만들면 전체 이득이 사라집니다. 처음에는 실제 실행을 바꾸지 않는 관찰 모드로 평가하고, 오류의 종류와 손실을 확인한 뒤 낮은 부담의 분류부터 적용하는 것이 이 리뷰의 제안입니다.
관련 게시물과 이어 읽을 자료
Sergii Shcherbak의 공개 LinkedIn 소개를 확인했습니다. 포스트에는 Doom 시연이 포함되며 개발사 발표로 연결됩니다. 여기서는 소셜 게시물을 발견 자료로만 사용하고 기술 판단은 공식 문서·공개 실험에 근거했습니다.
- 추가 확인한 게시물과 구현: 차예솔의 소개 [17] · Jev Ultrafast [18] · JevPilot [24]
- 제품의 의도와 자체 비교 조건: TypeSafe 발표 [1]
- 인터페이스를 이해하기: System One [2] · Confidence [8]
- 실험의 표본과 재현 한계: LangChain 평가 [10] · 고정 시점의 공개 저장소 [11]
- 실제 도입 전 읽을 문서: Jev 1.13의 알려진 한계 [15]