GitHub Copilot 도입 효과는 어떻게 측정할까? 개발 생산성을 정량화하고 전사 도입을 이끌어낸 방법

개인 자산 관리(PFM) 서비스와 법인용 백오피스 SaaS 등 다양한 금융 서비스를 개발·제공하는 주식회사 머니포워드(Money Forward)에서는 엔지니어 조직의 개인 회고와 조직 과제 발굴에 엔지니어링 조직 지원 클라우드 'Findy Team+'를 활용하고 있습니다.

이번 인터뷰에서는 개발 생산성 향상 이니셔티브를 이끌고 있는 VPoE 타카이 님을 모시고, GitHub Copilot의 효과 검증에 'Findy Team+'를 활용한 사례에 대해 이야기를 나누었습니다.

VPoE로서 급성장하는 조직의 성장을 지원하다

── 타카이 님의 지금까지의 주요 경력에 대해 말씀해 주세요.

타카이: 저는 줄곧 웹 엔지니어로서 커리어를 쌓아왔습니다. 전 직장인 웹 서비스 벤처 기업에서 전사 공통 기술 부문장을 시작으로 자회사 CTO, 전사 기술 부문 총괄 등 점차 조직 관리 영역으로 역할이 옮겨갔습니다. 이후 더 큰 규모의 조직에 도전하고 싶다는 생각에 2021년 12월 머니포워드에 합류했습니다.

── 현재 맡고 계신 역할과 미션에 대해서도 소개해 주실 수 있나요?

타카이: 먼저 저희 회사의 체계에 대해 간략히 말씀드리겠습니다. 머니포워드는 사업부를 '컴퍼니'로 정의하고 법인, 개인, 금융기관 대상의 3가지 서비스 영역으로 나누어 각 사내 컴퍼니 단위로 개발을 진행하는 사내 컴퍼니제를 채택하고 있습니다. 각 컴퍼니의 CxO가 의사결정을 내리기 때문에, 회사가 커져도 스타트업의 기민한 분위기를 유지하며 계속 성장할 수 있습니다.

그중에서 저는 엔지니어 조직 전체를 이끄는 '엔지니어링 전략실'에 소속되어 있으며, VPoE로서 엔지니어 조직 전체의 과제 해결을 주도하는 것이 핵심 역할입니다. 개발 생산성 향상뿐만 아니라 엔지니어 조직 및 평가 제도 개편, 사내 공용어 영어화 추진 등도 맡고 있습니다.

또한 머니포워드는 최근 몇 년 사이 임직원 수가 2배로 늘어나는 등 조직 규모가 급격히 커졌습니다. 조직이 지속적으로 성장하려면 규모의 확대에 맞추어 변화를 만들어내야 합니다. 상상 이상으로 빠르게 성장하는 조직에 필요한 시스템과 제도를 마련하여 도입하는 것이 저의 미션입니다.

GitHub Copilot의 효과 검증에 'Findy Team+' 활용

── 귀사에서는 개발 생산성 향상에 주력하고 계신데요, 계기가 무엇이었나요?

타카이: 머니포워드는 엔지니어 조직에만 국한되지 않고, 회사 차원에서 성장을 위해 적극적으로 투자하고 있습니다. 이러한 배경 속에서 엔지니어 조직 역시 투자 대비 조직이 건강하게 성장하고 있는지 생산성을 측정하고자 했습니다. 이에 따라 Four Keys를 생산성 지표로 삼아 다양한 시도를 이어나가게 되었습니다.

── 'Findy Team+'를 일부 부서에서 전사로 확대하게 된 계기도 궁금합니다.

타카이: Four Keys가 엔지니어 조직의 생산성을 나타내는 좋은 지표이기는 하지만, 엔지니어 개개인의 활동을 디테일하게 반영하지는 못합니다. 빌드 파이프라인이나 개발 프로세스 개선 등 기본적인 조치가 일단락된 시점에 개개인의 활동에 더 초점을 맞추고 싶어졌고, 간사이 개발 거점에서의 도입 사례를 참고하여 'Findy Team+' 활용을 넓혀가게 되었습니다.

── 감사합니다. 이번에는 'Findy Team+'로 GitHub Copilot의 효과를 측정한 사례를 듣고자 하는데요, 그전에 GitHub Copilot을 도입하게 된 이유부터 말씀해 주시겠어요?

타카이: 앞서 말씀드린 대로 저희는 개발 생산성 향상에 힘쓰고 있습니다. 새로운 기술을 적극적으로 활용하는 것에도 중점을 두고 있어, 그 일환으로 2023년에 테스트 차원에서 GitHub Copilot을 도입했습니다.

GitHub Copilot이 개발자의 업무 효율을 높여준다는 점은 GitHub의 조사 결과나 개인적인 사용 후기 등으로 접해왔지만, 이것이 실제 우리 회사의 업무 효율화로 이어질지는 불확실했습니다.

또한 처음부터 명확한 목표를 세웠다기보다는 '일단 시도해 보자'는 분위기였기 때문에, 몇 개 팀에 제한적으로 파일럿 도입을 해보며 효과를 검증하기로 했습니다.

── 처음에는 GitHub Copilot의 효과 검증을 어떻게 진행하셨나요?

타카이: 처음에는 GitHub Copilot 사용자들을 대상으로 설문조사를 실시했습니다. 하지만 "효과가 있는 것 같기도 한데, 때로는 불필요하게 느껴지기도 한다"와 같이 모호한 답변이 많아, 설문조사만으로는 실제로 효과가 있는지 판단하기 어려웠습니다.

그래서 희망자를 대상으로 GitHub Copilot을 활성화하고 사용자가 늘어난 시점에 다시 설문조사를 진행했습니다. 그러자 응답자의 약 42.5%는 "확실히 생산성 향상에 효과가 있다"고 답했고, 약 51.2%는 "일부 용도에서는 개발 생산성 향상에 효과가 있다"고 답했습니다.

많은 인원이 분명하게 효과를 체감하고 있는 것으로 보였지만, 도입을 확정 짓기에는 설득력이 부족했습니다. 조직 전체의 생산성이 실제로 높아졌는지 판단하기 어려웠고, 비용 대비 효과(ROI) 측면에서도 여전히 의문이 남아있었습니다.

── 눈에 보이는 데이터가 없다면 경영진 입장에서 투자 의사결정을 내리기 어렵겠네요.

타카이: 맞습니다. 그래서 어떻게 해야 할지 고민하던 차에 'Findy Team+'가 떠올랐습니다. 사용자 그룹과 비사용자 그룹의 생산성을 비교하면 GitHub Copilot의 효과를 정량적으로 판단할 수 있겠다고 생각하여 'Findy Team+'를 통한 본격적인 효과 검증에 착수했습니다.

GitHub Copilot 도입 후 개선 효과를 한눈에 가시화

── 'Findy Team+'로 어떻게 검증을 진행하셨는지 말씀해 주세요.

타카이: 먼저 GitHub Copilot 사용자 그룹과 비사용자 그룹을 나누어 두 그룹을 비교하면 무언가 파악할 수 있지 않을까 생각했습니다. 그런데 전체 액티비티를 확인한 순간, GitHub Copilot의 효과가 명확하게 가시화되어 있음을 곧바로 알 수 있었습니다.

참조 : Money Forward Developers Blog

이 그래프를 보면, GitHub Copilot을 사용하기 전에는 두 그룹 간에 차이가 없었지만, 테스트 시작 이후에는 사용자 그룹의 활동량이 눈에 띄게 증가한 것을 확인할 수 있습니다.

상세 데이터를 더 세부적으로 분석해 보니, GitHub Copilot 사용자 그룹이 PR(Pull Request) 생성 수가 더 많았고, 커밋부터 PR 오픈까지의 평균 시간도 단축된 것으로 나타났습니다. 즉, 비사용자 그룹에 비해 사용자 그룹이 코드를 더 많이, 더 빠르게 작성하고 있었던 것입니다.

Copilot 사용자는 비사용자에 비해 PR 생성 수가 약 12% 많았으며, '커밋부터 PR 오픈까지의 평균 시간', 즉 기능 개발을 시작해서 완료할 때까지 걸리는 시간도 약 7시간가량 단축되었습니다.

PR 오픈부터 리뷰까지, 리뷰부터 승인(Approve)까지의 평균 시간은 약간 늘어났는데, 이는 PR 수가 증가함에 따라 리뷰 건수도 함께 늘어나 대기 시간이 길어졌기 때문입니다. 결과적으로 기능 개발 전체에 소요되는 시간은 줄어들었으므로 문제가 없다고 판단했습니다.

PR 수와 리뷰 수 모두 증가하는 경향을 보였으며, 특히 Four Keys 지표 중 하나인 '변경 사항 이도 타임(Lead Time for Changes)'이 대폭 단축되었습니다. 배포 빈도에 변화가 없는 것은 제품의 워크플로우나 프로세스에 의해 결정되는 영역이며, 개인의 활동량이 직접 반영되기 어려운 지표이기 때문이라고 해석했습니다.

변경 사항 리드 타임의 경우, Copilot 비사용자 대비 사용자는 약 69.7% 수준으로 줄어들어, Copilot을 활용함으로써 한층 더 짧은 주기 내에 기능을 출시할 수 있게 되었음을 확인할 수 있었습니다. 이는 Copilot 활용 시 기능 개발 시간이 단축될 것이라는 주요 지표상의 추정과도 일치합니다.

결론적으로 'Findy Team+'를 통한 검증을 통해, Copilot 사용이 기능 개발 시간을 줄여주고 더 많은 기능을 개발할 수 있게 해준다는 강력한 근거를 얻었습니다. Copilot 도입으로 머니포워드에서는 최소 10% 이상의 개발 생산성 향상 효과를 기대할 수 있다는 점이 입증된 것입니다.

GitHub Copilot이 개발자 개인의 코딩 능력을 뒷받침해 준다는 사실을 확인했고, 이것이 주관적인 느낌을 넘어 개발 조직 전체의 생산성 향상으로 이어진다는 확신이 들었기에 현재는 전사 차원에서 GitHub Copilot 활용을 추진하고 있습니다.

── 효과 검증에 도움이 되었다니 다행입니다. 그 외에 'Findy Team+'를 사용하면서 새롭게 알게 된 점이 있으신가요?

타카이: GitHub Copilot으로 개선할 수 있는 부분과 그렇지 않은 부분이 명확히 가시화되면서, 조직 차원에서 보완해야 할 지점이 분명해졌습니다. 이는 향후 실행할 이니셔티브를 구상하는 계기로도 이어졌습니다. 단순 설문조사는 주관적인 의견이 개입되기 때문에, 특정 조치가 해결하려는 과제와 실제로 직접 연결되어 있는지 불분명한 부분이 있었습니다. 역시 데이터를 바탕으로 분석해야만 알 수 있는 지점들이 있어서 매우 유용하다고 느낍니다.

또한 데이터를 기반으로 ROI(비용 대 효과)를 산출할 수 있게 된 점도 좋았습니다. 전사 도입을 진행하려면 그에 따른 비용이 발생하기 때문에, 경영진을 설득할 때 유용한 보조 도구로써 큰 도움이 되었습니다.

이러한 점을 고려할 때 'Findy Team+'는 가시화 도구로서 매우 뛰어납니다. 전체적인 흐름과 동향을 한눈에 파악할 수 있는 도구는 흔치 않으며, EM(Engineering Manager)이나 매니지먼트 레이어에서도 충분히 잘 활용할 수 있는 서비스라고 생각합니다.

더 큰 사업 확장을 향한 머니포워드의 도전

── 개발 생산성 향상과 관련하여 앞으로 새롭게 도전하고 싶은 분야가 있다면 말씀해 주세요.

타카이: 최근에는 생성형 AI를 활용해 새로운 시도를 해보고자 고민 중입니다. GitHub Copilot은 코드를 작성하는 단계를 보조해 주지만, 제품을 개발하기 위해서는 코드 작성 외에도 설계, 리뷰, 테스트 등 다양한 공정이 존재합니다. 이러한 영역에서도 생성형 AI를 적극 활용하여 생산성을 극대화하고자 합니다.

── Four Keys를 성장 지표로 활용하고 계시다고 말씀해 주셨는데요. Four Keys 외에 현재 주목하고 계신 프레임워크가 있나요?

타카이: 특정 지표 하나만을 꼽기는 어렵습니다. 다만 개인적으로 강조하고 싶은 점은, 개발 생산성 향상을 도모할 때 지나치게 '산출물(Outcome)'만을 좇는 경향이 있는데 이는 본질에서 벗어날 수 있다는 것입니다. 개발 활동은 다차원적이어서 단순히 측정할 수 없으며, Outcome에만 매몰되면 본질을 놓칠 위험이 있습니다.

애초에 모든 조직에 완벽히 들어맞는 프레임워크는 존재하지 않는다고 봅니다. "우리 조직은 현재 어떤 문제를 겪고 있는가", "개인 단위의 문제인가, 조직 전체에 영향을 미치는 문제인가", "이를 해결하려면 어떻게 해야 하는가", "해결 여부를 측정하기에 적합한 프레임워크는 무엇인가"를 하나씩 깊이 있게 파고들어, 우리 조직과 과제에 최적화된 방식을 선택해야 합니다.

새로운 지표가 등장하면 시도해 보고 싶은 마음이 들 수 있지만, 사용자에게 가치를 전달하고 조직을 성장시키기 위해서는 냉정하게 판단하고 검증하는 자세가 중요합니다.

── 좋은 말씀 감사합니다. 마지막으로, 머니포워드 조직의 매력과 함께 일하고 싶은 엔지니어상에 대해 말씀해 주세요.

타카이: 머니포워드는 'User Focus'를 핵심 가치로 삼고 진정성 있게 제품 개발에 임하는 조직입니다. 다만 사업 영역이 넓어지고 조직 규모가 빠르게 성장하고 있어, 조직 체계 측면에서 가다듬어야 할 부분도 여전히 많습니다. 2024년 11월 달성을 목표로 사내 언어 영어화를 추진하는 등 많은 변화가 일어나는 시기이기도 합니다. 그만큼 구성원 개개인이 기여할 수 있는 기회가 많다는 것이 매력이며, 조직을 함께 만들어가는 데 관심 있는 분들에게는 매우 흥미로운 환경입니다.

또한 지금까지는 SaaS 시장의 성장에 발맞추어 다수의 제품을 만들어왔고, 이들이 궤도에 오르며 규모가 커졌습니다. 이에 따라 서비스 공통화 및 표준화를 추진하고자 하며, 더 높은 생산성을 이루기 위해 “엔지니어를 위한 엔지니어” 역할을 해줄 분이 필요합니다.

"모든 사람의 '돈의 플랫폼'이 된다"는 비전을 향해 함께 도전을 이어갈 분들의 많은 합류를 기대합니다.

── 타카이 님, 오늘 말씀 감사합니다!