Collect
실제 사용 로그와 업무 프롬프트를 수집하고 평가 기준을 정의합니다.
Solution
Introducing
Prism by Hanbit.
한빛인공지능연구원은 AI 기술이 실제 산업 현장에서 신뢰성 있게 활용될 수 있도록 LLM 운영 인프라의 새로운 기준을 만들어가고 있습니다. Prism by Hanbit은 실제 업무 프롬프트와 평가 데이터를 기반으로 복수의 대형언어모델을 정밀하게 비교하고, 요청별 목적과 성능 요구에 따라 가장 적합한 모델을 선택하는 eval-first LLM routing infrastructure입니다. 한빛인공지능연구원은 Prism을 통해 단순한 모델 호출을 넘어, 비용·품질·속도·안정성을 함께 고려하는 AI 운영 체계를 구현하며 기업과 조직의 AI 활용 효율을 한 단계 고도화하고 있습니다.
Prism by Hanbit
검증 기반 모델 운영
단일 모델을 모든 업무에 고정하는 방식은 비용, 응답속도, 품질 측면에서 비효율을 만들 수 있습니다. Prism은 고객사의 실제 사용 로그를 기반으로 모델별 성능을 평가하고, 업무 목적과 운영 조건에 맞는 라우팅 정책을 지속적으로 조정합니다.
고객사의 실제 프롬프트 로그 기반 평가
복수 LLM에 대한 동일 요청 비교 실행
정답률, 환각률, 응답속도, 비용, 만족도 분석
업무 조건별 라우팅 정책 자동 생성
운영 중 모델 성능 저하 감지
신규 모델 출시 시 자동 벤치마크
Evaluate
동일 요청을 여러 모델에 실행해 품질, 비용, 속도 지표를 축적합니다.
Route
업무 유형과 운영 조건에 맞는 모델 선택 정책을 생성합니다.
Monitor
운영 중 품질 변화를 감지하고 라우팅 정책을 갱신합니다.
Technical Architecture
Eval-first Routing Architecture
Prism은 LLM을 하나의 API처럼 추상화하는 데서 끝나지 않습니다. 실제 사용 로그와 benchmark 결과를 기반으로 모델별 강점, 비용 곡선, 오류 유형을 축적하고, 요청마다 최적의 모델 선택 정책을 계산합니다.
Prompt & Context Classifier
요청의 목적, 업무 맥락, 민감도, 요구 품질을 분류해 라우팅 판단의 기본 단위를 구성합니다.
Evaluation Harness
동일한 요청을 여러 모델에 실행하고 정확도, hallucination, latency, cost, 사용자 선호도를 비교합니다.
Routing Policy Engine
평가 결과와 운영 조건을 반영해 업무 유형별 모델 선택 규칙을 생성하고 갱신합니다.
Drift Monitor
운영 중 응답 품질, 비용, 지연시간의 변화를 감지해 재평가와 정책 조정을 트리거합니다.
3-Layer Safety Filter
데이터 및 답변 안전성 점검
기업과 기관의 LLM 운영에서는 어떤 모델을 사용할지뿐 아니라, 어떤 데이터를 보낼 수 있는지, 생성된 답변이 근거를 갖는지, 외부 자료와 내부 문서를 적절하게 사용했는지가 함께 관리되어야 합니다. Prism은 이 과정을 세 개의 안전 계층으로 분리해 운영 리스크를 줄입니다.
Data Boundary Filter
전송 가능 데이터 판단
기업 또는 기관이 LLM에 전송해도 되는 데이터와 차단해야 하는 데이터를 자동으로 구분합니다. 내부 문서, 고객 데이터, 개인정보, 계약 정보 등 민감한 정보가 모델 호출 단계로 넘어가기 전에 위험도를 판단합니다.
Factuality & Grounding Filter
허위정보 방지
AI가 사실처럼 제시했지만 근거가 없거나 부정확할 가능성이 있는 내용을 검토합니다. 다중 LLM cross-checking과 RAG 기반 근거 대조를 활용해 답변의 정확성과 근거성을 높입니다.
Source & Usage Integrity Filter
출처·무단도용 위험 점검
AI가 외부 자료, 저작물, 내부 문서, 고객 데이터를 출처 없이 사용하거나 과도하게 유사한 형태로 재사용하는 문제를 점검합니다. 참조 DB와 문서 유사도 데이터를 활용해 출처 누락과 무단도용 리스크를 관리합니다.
Routing Examples
업무 요청별 모델 라우팅 예시
법률·컴플라이언스 성격의 요청은 비용보다 정확도와 환각 억제가 우선됩니다.
대량 반복 작업은 단위 비용과 응답속도를 낮추는 라우팅이 합리적입니다.
문체 품질, 안정성, 비용의 균형을 기준으로 가장 적합한 모델을 선택합니다.
Applicable Domains
다양한 산업과 조직 환경에 적용 가능한 LLM 운영 기반
Prism은 특정 모델이나 단일 업무에 종속되지 않고, 산업별 데이터 민감도와 응답 품질 기준에 맞춰 모델 선택과 안전성 점검을 함께 구성할 수 있습니다.
Ready to meet Prism?
Prism by Hanbit is being developed with a target beta testing window in Q4 2026. The beta program will focus on enterprise and institutional use cases that require measurable model quality, controlled operating cost, and safer LLM deployment.
Contact Hanbit AI Research