그래픽 사용자 인터페이스(GUI)를 가진 인터랙티브 소프트웨어 개발에서는 긴 상호작용 기록이 필요한 깊은 상태에 도달하는 것이 주요 테스트 병목 현상으로 작용합니다. 이러한 상태 도달 비용은 커밋마다 반복 발생하지만, 렌더링 엔진이 DOM이나 접근성 트리를 노출하지 않는 환경에서는 기존 GUI 자동화 방식을 적용하기 어렵습니다. 이에 따라 개발된 StatePortal은 자연어 기능 테스트 케이스와 대상 소스코드에 대한 읽기 전용 접근을 활용해 상태를 복원하고 버전 관리 및 재생이 가능한 체크포인트 아티팩트를 합성합니다.
체크포인트는 수동 작성 코드 없이 온보딩 에이전트가 바인딩하거나 합성하는 애플리케이션별 훅을 통해 복원됩니다. 잘못 렌더링되면서도 상태 검사를 통과할 수 있는 문제를 방지하기 위해, 프로그램 상태 오라클과 시각적 오라클을 모두 통과해야 하는 하이브리드 평가 방식으로 체크포인트가 채점됩니다. 시각적 오라클은 블라인드 처리된 교차 VLM 레퍼런스를 기준으로 보정되었습니다.
연구진은 5개 언어 패밀리와 6개 렌더링 스택, 874라인에서 720만 라인에 이르는 소스 규모를 가진 10개의 인터랙티브 소프트웨어 기반 61개 깊은 상태 태스크로 구성된 DeepStateBench를 발표했습니다. 등록된 세 가지 모델을 대상으로 한 실험에서, 합성된 체크포인트로 시드된 GUI 에이전트는 동일한 픽셀 액션 스페이스에서 시딩 없이 진행했을 때의 0% 대비 10.4%의 완료율을 기록했으며 훅을 통해 대상 액션을 전달하는 StatePortal은 27.5%를 완료했습니다. 112개 체크포인트의 1,361회 재생 결과 98.90%가 모델 호출 없이 원래 판정을 재현했으며, 하이브리드 오라클은 프로그램 상태 검사만으로는 감지할 수 없는 제어된 시각적 결함의 96.25%를 감지했습니다.
댓글
0개아직 공개된 댓글이 없습니다. 첫 의견을 남겨 주세요.