AI 시스템의 평가와 하네스: AI를 실험에서 프로덕션으로 올리는 법
AI 시스템을 데모에서 프로덕션으로 올리는 데 필요한 다섯 가지 핵심 요소를 정리합니다. 평가(Evals), 실행 기록(Traces), 가드레일, 사람 개입(Human-in-the-loop), 그리고 하네스(Harness) 개념까지 다룹니다.
AI 평가
Recent Posts
Categories
- 1. AI 코딩 도구 트렌드 2026: 뭘 써야 할지 모르겠는 당신을 위한 정리
- 2. AI란 무엇인가: 매일 쓰면서도 설명 못 하는 그것
- 3. LLM은 어떻게 동작하나: 토큰, Transformer, 컨텍스트 윈도우
- 4. 프롬프트와 컨텍스트 설계: AI에게 제대로 말 거는 법
- 5. LLM을 외부 세계에 연결하기: AI가 이메일 보내고, 파일 읽고, API 부르는 법
- 6. AI 에이전트 입문: 혼자 판단하고 움직이는 AI는 어떻게 만들어지나
- 7. AI 시스템의 평가와 하네스: AI를 실험에서 프로덕션으로 올리는 법
- 8. Spring에서 AI 붙이기: "일단 AI 뭐라도 넣어라"
- 1. 가상머신과 도커 : 무거운 집과 가벼운 텐트
- 2. 도커 컨테이너와 서비스: 햄버거로 이해하는 도커의 세계관
- 3. 1인 개발자 인프라 생존기: 시말서로 배우는 배포
- 4. CI/CD 파이프라인: 나만의 배포 로봇 설계하기
- 5. 깃랩 러너(GitLab Runner) 구축: 내 파이프라인에 생명을 불어넣자
- 6. 배포 전략과 환경 분리: '말 바꾸기'에 대처하는 개발서버
- 7. GitFlow 전략: 브랜치를 나누니 비로소 '협업'이 보였다
- 8. Nginx 리버스 프록시: 서비스 앞에 '문지기'를 세우자
- 9. 환경 분리와 Spring Profile: "로컬에선 되는데 운영에선 안 돼요"의 끝
- 1. CS 기초, 전공자지만 다시 시작하다: 잃어버린 4년을 찾아서
- 2. 빌드와 컴파일: 컴파일러와 인터프리터의 차이
- 3. 프로그래밍 언어와 프레임워크: 하나를 깊게 파야 하는 이유
- 4. 스택과 힙: 내 코드는 메모리 어디에 사는가
- 5. 프로세스와 스레드: 혼자 일하기 vs 분신술 쓰기
- 6. 컨텍스트 스위칭: 멀티태스킹의 숨겨진 비용
- 7. 네트워크와 HTTP: 패킷이 되어 여행을 떠나자
- 8. 브라우저 렌더링: 텍스트가 그림이 되기까지
- 9. 스프링 부트: 대한민국 개발자의 표준, 그리고 제어의 역전
- 10. 웹 아키텍처의 진화: PHP의 추억과 CORS의 악몽
- 11. 데이터베이스와 JPA: 교과서적 정규화의 배신
- 12. REST API 설계와 DTO: 포장지 없는 선물은 위험하다
- 13. 서버와 리눅스: 윈도우 깔면 안되나요?
- 14. 리눅스 CLI와 권한: 마우스 없는 세상에서 살아남기
- 15. 서버 보안 기초: 문을 열기 전에, 자물쇠부터 확인하자
- 16. 가상머신과 도커 : 무거운 집과 가벼운 텐트
- 17. 도커 이미지와 레이어: 0.1초 만에 빌드되는 마법의 원리
- 18. 도커 컨테이너와 서비스: 햄버거로 이해하는 도커의 세계관
- 19. 1인 개발자 인프라 생존기: 시말서로 배우는 배포
- 20. CI/CD 파이프라인: 나만의 배포 로봇 설계하기
- 21. 깃랩 러너(GitLab Runner) 구축: 내 파이프라인에 생명을 불어넣자
- 22. 배포 전략과 환경 분리: '말 바꾸기'에 대처하는 개발서버
- 23. GitFlow 전략: 브랜치를 나누니 비로소 '협업'이 보였다
- 24. Redis 캐싱 전략: 같은 질문을 왜 매번 DB에게 시키는가
- 25. Nginx 리버스 프록시: 서비스 앞에 '문지기'를 세우자
- 26. 서버 로그 관리와 모니터링: 서버가 아프면 누가 알려주는가
- 27. 세션 vs JWT vs OAuth2: 스프링 로그인 방식, 무엇을 언제 써야 하나
- 28. Spring Security 필터 체인: 로그인 뒤에서 무슨 일이 벌어지는가
- 29. QueryDSL과 동적 쿼리: 검색 조건이 늘어날 때 코드가 망가지지 않는 법
- 30. N+1 문제와 fetch join: 프로젝트 10개 조회에 쿼리가 11개 나가는 이유
- 31. Spring Boot 테스트 : MockMvc와 Testcontainers로 API와 DB를 검증하는 법
- 1. 스프링 부트: 대한민국 개발자의 표준, 그리고 제어의 역전
- 2. 웹 아키텍처의 진화: PHP의 추억과 CORS의 악몽
- 3. MyBatis vs JPA: 세상에 나쁜 기술은 없다.
- 4. REST API 설계와 DTO: 포장지 없는 선물은 위험하다
- 5. Redis 캐싱 전략: 같은 질문을 왜 매번 DB에게 시키는가
- 6. 서버 로그 관리와 모니터링: 서버가 아프면 누가 알려주는가
- 7. 세션 vs JWT vs OAuth2: 스프링 로그인 방식, 무엇을 언제 써야 하나
- 8. Spring Security 필터 체인: 로그인 뒤에서 무슨 일이 벌어지는가
- 9. QueryDSL과 동적 쿼리: 검색 조건이 늘어날 때 코드가 망가지지 않는 법
- 10. N+1 문제와 fetch join: 프로젝트 10개 조회에 쿼리가 11개 나가는 이유
- 11. Spring Boot 테스트 : MockMvc와 Testcontainers로 API와 DB를 검증하는 법
- 12. 트랜잭션과 동시성: 두 사용자가 동시에 수정하면 누구의 데이터가 살아남는가
- 13. Swagger에서 SpringDoc으로: Springfox가 죽었다, API 문서는 어떻게 하지
- 14. Flyway DB 마이그레이션 관리: ALTER TABLE 한 줄이 서비스를 멈추는 이유
- 15. 환경 분리와 Spring Profile: "로컬에선 되는데 운영에선 안 돼요"의 끝
- 16. Service Layer와 예외 처리: 코드를 오래 유지하는 실무 패턴
- 17. Spring에서 AI 붙이기: "일단 AI 뭐라도 넣어라"