매일 2개 자동 업데이트 · 공식 발표와 실전 경험을 기반으로 큐레이션합니다.
tool use → 결과 주입 → 다시 호출의 루프를 돌리는 에이전트. 안전하게 운영하려면 처음부터 6가지 가드가 필요하다.
공통 컨텍스트(시스템 프롬프트·RAG·코드베이스)가 길다면 캐싱이 정답. 언제 어떻게 켜야 하는가.
임베딩 갱신, 로그 분류, 대량 요약 — 실시간이 아니면 Batch로 반값. 실전 워크플로우.
한 모델이 다 하지 말고, 계획자-실행자-검증자로 분리. 병렬화·특화·감사 로그가 따라온다.
벡터 유사도만으로는 한계가 있다. BM25 + 벡터 + 재순위화 3단 구조로 리콜과 정밀도 동시 상승.
매 세션 처음부터 설명하는 에이전트는 가짜다. 요약·팩트 추출·벡터 인덱스 3단 메모리 설계.
RAG 문서에 숨겨진 "권한을 올려" 지시를 에이전트가 실행하면 사고 난다. 샌드박싱·허용목록·사용자 승인 3중 방어.
월말에 청구서 보고 놀라면 늦다. 호출마다 비용을 차원 태그와 함께 적재하는 관측 파이프라인.
텍스트 스트리밍은 쉽다. 도구 호출이 섞인 스트림을 파싱하고 UI를 부분 갱신하는 건 별개 문제다.
LLM 기능에도 테스트가 있어야 한다. 골든셋·자동 채점·점수 임계선으로 나쁜 변경을 머지 전에 차단.