콘텐츠 A/B테스트, 스티비는 이렇게 합니다
스요레터가 콘텐츠 A/B 테스트로 뉴스레터를 개선하는 법
작년 4월, 스티비 마케팅팀은 <스요레터> 구독자들과 FGI(Focus Group Interview)*를 진행했습니다. 매주 피드백 란을 통해 구독자분들의 의견을 듣고 있긴 했지만, 구독자를 직접 만나 각 코너 그리고 <스요레터> 구독 경험 전반에 대한 목소리를 듣는 경험이 필요하다고 판단했거든요. 실제로 FGI는 <스요레터>가 개선해야 할 지점과 나아가야 할 방향 등을 파악할 수 있는 기회가 되었고요. 그렇다면 스티비 팀은 FGI의 결과와 콘텐츠 A/B 테스트 기능을 활용해 어떻게 스요레터를 개선했을까요?
*특정한 경험을 공유한 사람들이 모여 집단 인터뷰를 진행하는 질적 조사 방법
<스요레터>가 콘텐츠 A/B 테스트를 한 이유
FGI에서 가장 많은 구독자들이 이야기한 의견은 <스요레터>로 전하는 ‘스요일의 꿀팁', ‘이달의 스요레터', ‘[보낸사람:]’ 콘텐츠 중 [보낸사람:] 인터뷰 시리즈가 한 번에 소화하기 어려운 분량이라는 점이었습니다. 구독자들은 <스요레터> 내에서의 [보낸사람:] 인터뷰 분량을 줄이고 더 많은 사람이 스티비 블로그에서 전문을 읽을 수 있도록 돕는 것이 어떠냐는 제안을 전해주기도 했습니다.
스티비 마케팅팀은 FGI에서 구독자들이 전달해 준 의견을 반영했을 때 실제로 [보낸사람:] 전문을 읽는 사람이 더 많아질지 궁금해졌습니다. 그래서 ‘[보낸사람:] 콘텐츠를 기존보다 짧게 요약해 <스요레터>로 발송할 때 ‘[보낸사람:] 인터뷰 전문 읽기' 버튼을 더 많이 클릭할 것이다'라는 가설을 세우고 콘텐츠 A/B 테스트를 진행하기로 했고요.
스티비는 A/B 테스트를 이렇게 했습니다.
[보낸사람:] 콘텐츠 A/B 테스트는 총 다섯 번에 걸쳐 이루어졌는데요. 그중 첫 두 번의 [보낸사람:] 콘텐츠 A/B 테스트를 진행할 때는 스티비 제품팀이 처음 ‘콘텐츠 A/B 테스트' 기능의 개발을 고려하던 시점이었습니다. 스티비 내에도 콘텐츠 A/B 테스트 기능이 없었던 것이죠. A/B 테스트를 위해서는 이메일을 작성하고, 복사하고, 전체 구독자를 두 그룹으로 나누어 수동으로 각각 발송하는 번거로움을 감수해야 했습니다. 이렇게 직접 콘텐츠 A/B 테스트를 했을 때는 이메일 제작과 발송 과정뿐만 아니라 성과를 분석하는 단계도 번거로웠습니다.
콘텐츠 A/B 테스트 기능이 개발된 이후에는 이러한 불편함 없이 A/B 테스트를 진행할 수 있는 환경이 마련되었습니다. 물론 간편하게 이메일을 작성하고 테스트 그룹과 발송 그룹을 나누는 것도 좋았지만 무엇보다 각 테스트 그룹에서의 이메일 마케팅 성과를 한눈에 비교하고 어떤 테스트 그룹이 더 좋은 성과를 보이는지 쉽게 확인할 수 있는 점 덕분에 콘텐츠 A/B 테스트가 더욱 용이해졌거든요.
이렇게 다섯 번의 콘텐츠 A/B 테스트를 통해 살펴본 결과, 처음 상정한 ‘[보낸사람:] 콘텐츠를 기존보다 짧게 요약해 <스요레터>로 발송할 때 ‘[보낸사람:] 인터뷰 전문 읽기' 버튼을 더 많이 클릭할 것이다.’ 가설은 성립하는 것으로 밝혀졌습니다. 콘텐츠 A/B 테스트 결과 80%의 확률로 긴 콘텐츠보다 짧은 콘텐츠가 더 높은 클릭률을 보여줬거든요.
콘텐츠 A/B 테스트 덕분에 일반화하기 어려웠던 FGI의 결과를 실제 데이터로 확인할 수 있었습니다. 콘텐츠 길이에 대한 구독자들의 선호를 추측이나 감이 아니라 숫자로 분명하게 파악할 수 있었던 것이죠. 구독자님도 뉴스레터 콘텐츠에 있어 고민되는 부분이 있으신가요? 그렇다면 가설을 세우고 콘텐츠 A/B 테스트를 진행해 보세요. 고민에 대한 해답을 명확한 데이터로 얻을 수 있을 것입니다.
관련 링크
✍ 글. 스티비 마케터 세솔
🎨 메인 이미지. 스티비 디자이너 밀리