issuerisk 2/3
quest://mlops-bike-sharing-metric-drop
Bike Sharing 예측 모델 성능이 갑자기 떨어진 상황
MLOps 학습 파이프라인은 정상 완료됐지만 검증 지표가 평소보다 낮게 나왔습니다.
자전거 수요 예측 프로젝트에서 새 데이터가 들어온 뒤 모델 성능이 흔들립니다. 데이터 분포 변화인지, 전처리 누락인지, 평가 방식 문제인지 빠르게 좁혀야 합니다.
MLOps모델 평가데이터 품질
quest list
choose mission
공개 GitHub 활동을 바탕으로 재구성한 실무 사건을 선택합니다.
session context
agent=Y
source=static-json
quests=10
pull_requestrisk 3/3
quest://iceberg-table-partition-design
Iceberg 테이블 파티션 전략을 정해야 하는 상황
데이터 레이크 실험에서 쿼리 성능과 쓰기 유연성 사이의 선택이 필요합니다.
Iceberg 테스트 프로젝트에서 날짜, 사용자, 이벤트 타입 중 어떤 기준으로 파티션을 잡을지 결정해야 합니다. 초기에 잘못 잡으면 작은 실험은 빨라도 나중에 운영 쿼리가 느려질 수 있습니다.
데이터 모델링쿼리 최적화설계 판단
issuerisk 2/3
quest://personalize-recommendation-cold-start
추천 시스템 콜드스타트 문제를 처리해야 하는 상황
Amazon Personalize 데모에서 신규 사용자에게 추천 품질이 낮아지는 문제가 보입니다.
사용자 행동 이력이 없는 상태에서 추천 결과가 너무 일반적입니다. 개인화 품질을 높이면서도 초보 사용자가 이해할 수 있는 데모 흐름을 유지해야 합니다.
추천 시스템실험 설계사용자 경험
pull_requestrisk 2/3
quest://sagemaker-pipeline-reproducibility
SageMaker 파이프라인 재현성을 보장해야 하는 상황
노트북에서는 동작하지만 다른 환경에서 같은 실험 결과가 재현되지 않습니다.
SageMaker Pipeline 예제에서 데이터 위치, 파라미터, 학습 이미지 버전이 흩어져 있습니다. 다른 사람이 같은 실험을 반복할 수 있도록 실행 단위를 정리해야 합니다.
재현성파이프라인문서화
issuerisk 3/3
quest://churn-feature-leakage
Churn 예측 모델에서 데이터 누수가 의심되는 상황
이탈 예측 모델의 점수가 지나치게 높아 실제 성능을 믿기 어렵습니다.
공개 데이터 기반 churn prediction 프로젝트에서 일부 feature가 정답 이후의 정보를 포함했을 가능성이 있습니다. 좋은 점수보다 신뢰할 수 있는 평가가 더 중요합니다.
Feature Engineering모델 검증리스크 관리
commitrisk 2/3
quest://factorization-machine-data-shape
Factorization Machine 입력 데이터 형태가 맞지 않는 상황
추천 모델 학습 전에 사용자-아이템 상호작용 데이터를 어떤 형태로 변환할지 결정해야 합니다.
FM 추천 예제에서 sparse feature를 잘못 구성하면 모델은 돌아가도 의미 있는 학습이 되지 않습니다. 데이터 형태와 feature 의미를 먼저 검증해야 합니다.
추천 모델데이터 전처리디버깅
issuerisk 2/3
quest://object-detection-label-quality
Object Detection 라벨 품질을 점검해야 하는 상황
객체 탐지 모델이 특정 클래스에서 자주 틀리는데 라벨 박스 품질이 의심됩니다.
이미지 전처리와 object detection 프로젝트에서 bounding box가 조금씩 어긋나면 모델 성능이 크게 흔들릴 수 있습니다. 모델 구조를 바꾸기 전에 데이터 라벨을 확인해야 합니다.
컴퓨터 비전데이터 라벨링오류 분석
issuerisk 3/3
quest://trading-backtest-overfit
Trading 백테스트가 과최적화됐는지 의심되는 상황
전략 수익률은 좋아 보이지만 실제로는 특정 기간에만 맞춘 결과일 수 있습니다.
개인 trading 프로젝트에서 파라미터를 여러 번 바꾸다 보니 백테스트 점수가 좋아졌습니다. 하지만 거래 비용, 기간 분리, 데이터 누수를 확인하지 않으면 실전 판단에 위험합니다.
시계열 검증리스크 관리실험/평가
pull_requestrisk 3/3
quest://redshift-emr-sagemaker-boundary
Redshift, EMR, SageMaker 사이의 책임 경계를 정해야 하는 상황
분석, 전처리, 학습을 어느 서비스에서 처리할지 설계 판단이 필요합니다.
Redshift, EMR, SageMaker를 함께 쓰는 예제에서 모든 작업을 한 곳에 몰면 단순하지만 비용과 운영 복잡도가 커질 수 있습니다. 데이터 크기와 반복 주기를 기준으로 경계를 정해야 합니다.
데이터 아키텍처클라우드 설계비용 최적화
pull_requestrisk 2/3
quest://agent-triage-no-response-flow
Agent triage 템플릿에서 무응답 케이스를 처리해야 하는 상황
지원/이슈 triage agent가 사용자 응답이 없을 때 어떻게 상태를 관리할지 정해야 합니다.
agent workspace template 프로젝트는 skeleton-first intake, tracker/log 기반 관리를 전제로 합니다. 사용자가 응답하지 않는 케이스를 방치하면 다음 액션이 불명확해지고 운영 신뢰도가 떨어집니다.
Agent Workflow운영 설계상태 관리