대형 언어 모델을 활용한 페이지 스트림 세분화(PSS)는 여러 페이지로 구성된 파일을 개별 문서로 분할하는 작업이다. 기존의 출판된 LLM 방식들은 단일 페이지나 인접한 소수의 페이지를 대상으로 경계 분류를 수행하는 한계가 있었다. 상업용 문서 분할 API의 경우 구체적인 방법론을 공개하지 않는 상황이다. 이에 연구진은 전체 스트림에 걸친 순차적 프로세스로 PSS를 재정립하는 RICoT(Recurrent Interleaved Chain-of-Thought) 프레임워크를 제안했다.
RICoT는 사람이 문서를 읽는 방식에 착안하여 프레임워크를 설계했다. 슬라이딩 윈도우 내에서 각 페이지를 추론하고 경계 여부를 결정한 뒤 다음으로 이동한다. 창과 창 사이에서는 읽은 내용에 대한 압축된 기록을 전달하여 호출당 비용을 제한하는 구조를 갖췄다. 이와 함께 실제 익명화된 금융 페이지 스트림 205개로 구성된 벤치마크인 FinancePSS-205가 공개되었다.
FinancePSS-205 벤치마크 테스트에서 RICoT는 세 가지 오픈웨이트 LLM을 대상으로 동일한 백본을 사용했을 때 기존의 쌍대 및 윈도우 방식과 동등하거나 더 우수한 성능을 보였다. TABME 테스트 하위 집합에서 GLM-5와 결합한 RICoT는 문서 F1 0.847, 경계 F1 0.915를 기록하여 기존의 제로샷 결과들을 상회했다. 또한 페이지별 추론 여부에 따라 대형 교사의 결정을 학습한 2B 파라미터 규모의 학생 모델은 두 모드 모두에서 유사한 성능을 보였으며, FinancePSS-205에서 가장 성능이 높은 프롬프트 모델과 0.05 이내의 문서 F1 차이를 나타냈다.
댓글
0개아직 공개된 댓글이 없습니다. 첫 의견을 남겨 주세요.