Laya
lastmod 2026-11-17created 2026-11-171 edits
Laya는 Convai Innovations 의 Nandakishor M 이 만든 오픈 소스 의사결정 모델이자 Python 라이브러리이다. 텍스트와 질문 목록을 주면 문장을 생성하지 않고 한 번의 순전파(forward pass)로 선택지·점수·예/아니오 확률을 돌려주는 비자기회귀(non-autoregressive) "System 1" 엔진이다. LLM 에게 분류를 맡기는 대신 작은 인코더로 빠르게 판단하고, 확률을 보고 자동 처리할지 사람이 검토할지를 가르는 용도를 노린다.
About
- 질문 유형은 정해 둔 갈래 중 하나를 고르는
choice, 단계 점수를 매기는score, 예/아니오 확률을 내는noul세 가지. 선택지마다 설명(criteria)만 적으면 레이블 데이터 없이 zero-shot 으로 판단함 - 기본 체크포인트는 ModernBERT 계열 인코더(약 1.5억~4.21억 파라미터). 영어용
laya, 100개 이상 언어용laya-multilingual(mmBERT-base, 최대 8,192 토큰), 업무 판단용으로 미세조정한laya-typed-decisions -
Router가 입력의 문자 체계와 언어를 감지해 체크포인트를 고름. T4 GPU 에서 결정 하나에 약 33ms, 배치로 초당 103~332개 질문 처리 - 확률은 strictly proper scoring rule 을 보상으로 쓰는 강화학습(RLCD)으로 학습함. 출고 상태로는 과신하는 경향이 있어 자기 데이터로 temperature 를 보정하라고 권함
-
vegaml=True를 주면 0.8B 리더 모델(vega-U) 위에서 돌며, 답마다 conformal 예측 집합·기권 여부·분포 밖 입력 여부·자동/검토 라우팅을 함께 돌려줌. 이 모드는 이미지·음성·영상과 73,728 토큰 문서도 받음 - 레이블 CSV 로 질문별 작은 로지스틱 헤드를 맞추는
fit은 모델 가중치를 건드리지 않고 몇 초 만에 끝남. 저장소 예제에서는 40행으로 부서 분류 정확도가 0.600 에서 0.900 으로 오름 - 미세조정한
laya-typed-decisions는 typed-decisions 벤치마크 2,000건에서 정확도 0.766, 기본 영어 체크포인트는 0.362 - 선택지가 20개를 넘으면 고정된 토큰 예산을 나눠 쓰느라 정확도가 떨어짐(Banking77 의 77개 레이블에서 0.425)
- CLI 에서
laya "My payment failed twice" --preset triage처럼 triage·email·guard·moderation·router 프리셋을 바로 씀. Jev 와 같은/v1/systemone프로토콜의 HTTP 서버(laya-serve), MCP 서버, LangChain·LlamaIndex·CrewAI 연동, TypeScript 패키지(laya-ts) 제공 -
pip install laya, Python 3.10 이상. Apache-2.0 라이선스
See also
- Jev - TypeSafe AI 의 System One 의사결정 모델
- ModernBERT
- Classification
- LLM