AI 기반 워크플로우 자동화 및 LLM 적용 경험 공유
최근 AI와 자동화를 활용한 과제를 진행하며 얻은 소중한 경험과 인사이트를 공유하고자 합니다. 이번 과제를 통해 업무 효율성을 극대화하고 LLM 적용 시 마주칠 수 있는 현실적인 문제와 해결 과정에 대해 깊이 있게 이해할 수 있었습니다.
과제 개요 및 성과:
기존에 사람이 직접 자료 취합, 정리, 보고서 작성, 메일 발송까지 담당했던 일련의 업무 워크플로우를 자동화하는 poc를 진행했습니다. 자동화 결과물은 사람이 직접 만든 결과와 유사하거나 오히려 더 높은 품질을 보였고, 사람이 수작업으로 처리하기 어려운 방대한 양의 정보까지 포함할 수 있었습니다. 특히, 보고서 전체를 읽지 않아도 핵심 내용을 파악할 수 있도록 각 단락에 요약 기능을 추가하여 가독성을 높였습니다. 향후에는 각 항목의 중요도 파악 및 액션 플랜 자동 추가 기능까지 확장할 계획입니다.
poc는 요구사항 분석부터 1차 버전 구현까지 약 3일, 추가 요구사항 반영 및 AI 요약 기능 개선, 코드 리팩토링까지 포함하여 총 6일 정도 소요되었습니다. 이러한 자동화를 통해 담당자가 반복적인 업무에 투입해야 하는 시간을 획기적으로 줄이고, 더 의미 있고 가치 있는 일에 집중할 수 있도록 기여할 수 있다는 점에서 큰 보람을 느꼈습니다.
LLM 적용 과정에서의 도전과 학습:
LLM을 활용하면서 가장 중요하게 느꼈던 점은 '결과물의 품질 확보'였습니다. LLM은 빠르고 그럴싸한 결과물을 생성해주지만, 실제 업무에 적용하기 위해서는 결과에 대한 철저한 품질 검증 과정이 필수적입니다. 이를 위해 실무 적용 시에는 항상 결과물의 품질을 어떻게 평가하고 검증할 것인지에 대한 계획을 포함해야 합니다.
데이터 품질 문제나 LLM의 한계 때문에 RAG(Retrieval Augmented Generation), Grounding, Agentic workflow 등 다양한 방법을 탐색하고 적용했습니다. 이러한 방법들은 단순히 프롬프트 한 번으로 LLM 답변을 얻는 것보다 더 나은 품질의 결과를 도출하지만, 그만큼 시간과 비용이 추가되는 트레이드오프가 존재합니다.
특히, 이번 과제에서는 체인 워크플로우에서 발생하는 낮은 품질 문제를 개선하기 위해 Agentic workflow를 사용했는데, 확실히 더 나은 결과물을 얻을 수 있었습니다. 하지만 이 과정에서 또 다른 문제에 직면했습니다. 고품질 결과를 위해 작업을 세분화하고 중간에 대량의 데이터를 재분류하는 단계에서 아웃풋 토큰 부족으로 인해 정상적인 결과가 생성되지 않는 문제가 발생했습니다.
문제 해결 과정 및 핵심 인사이트:
이 문제를 해결하기 위해 여러 방안을 고민했습니다.
첫 번째는 더 나은 LLM 모델을 사용하는 것이었습니다. 마침 Gemini 2.5 Pro가 높은 추론 성능과 아웃풋 토큰을 제공하여 시도해 보았습니다. 모델 변경 후 기존보다 더 나은 성능과 더 많은 양의 결과물을 얻을 수 있었지만, 처리 시간이 더 오래 걸리고 비용 또한 훨씬 높아지는 단점이 있었습니다. 그럼에도 불구하고 고품질 결과 생산이 우선이었기에 최신 모델을 활용했지만, 여전히 품질 개선에는 한계가 있었습니다.
두 번째 해결책으로 캐시나 메모리 활용, 코드 생성 기법 등을 검토했지만, 과연 이것이 근본적인 해결책인지에 대한 의문이 들었습니다.
결론적으로, Gemini와 함께 문제 해결 방안을 깊이 고민한 끝에 기존의 AI 중심 접근 방식을 벗어나 'LLM이 꼭 필요한 부분에만 사용하고, 나머지는 LLM 없이 해결하는' 방향으로 전략을 수정했습니다. 그 결과, 이전보다 훨씬 빠르고 비용 효율적이며 정확한 결과물을 만들어낼 수 있었습니다.
마무리하며:
이번 경험을 통해 LLM은 매우 강력한 도구이지만, 만능 해결책은 아니라는 것을 다시 한번 깨달았습니다. 실제 업무에 AI를 성공적으로 적용하기 위해서는 기술 자체에 대한 이해뿐만 아니라, 해결하고자 하는 문제의 본질을 파악하고, LLM의 강점과 한계를 명확히 인지하여 전통적인 개발 방식과 효과적으로 결합하는 전략적 접근이 중요하다고 생각합니다.