AI 제목 추천 기능을 활용한 A/B 테스트 실험기

이메일을 발송할 때 고민이 많아지는 단계 중 하나는 바로 제목을 정하는 순간입니다. 이메일 제목은 콘텐츠의 첫 인상이자 오픈율을 결정하는 요소이기 때문입니다.

스티비는 AI가 본문의 내용을 파악하고 뉴스레터 제목을 추천해 주는 ‘제목 추천 기능’을 베타로 선보였습니다. 지난주 <스티비 뉴스레터>에서는 실제로 '제목 추천 기능'을 활용해 A/B 테스트를 진행해 보았고요.

1. A/B 테스트 조건 설정하기

가장 먼저 콘텐츠 작성의 [A/B 테스트] 단계에서 [이메일 제목] 항목을 선택하고, 테스트 그룹을 100%로 설정했습니다. 보통 오픈율 개선이 목적이라면 테스트 그룹의 비중은 작게, 성과 반영이 되는 발송 그룹의 비중은 크게 가져가곤 합니다. 그러나 이번 테스트의 목적은 <스티비 뉴스레터> 담당자가 쓴 제목과 AI가 추천한 제목 중 어느 쪽이 더 높은 오픈율을 보일지 확인하는 것이었기 때문에, 충분한 모수를 확보하는 것이 더 중요하다고 판단했습니다.

2. 이메일 제목, AI와 함께 쓰기

본문 콘텐츠를 작성한 뒤 A/B 테스트에 사용할 두 가지 제목을 선정했습니다. A안은 콘텐츠 본문을 작성하면서 염두에 둔 '레이아웃에 대한 고민 해결 강조', '3가지 수치 강조'를 소구하며 '뉴스레터 레이아웃을 결정하는 3가지 질문'으로 직접 작성했습니다.

B안은 제목 추천 기능이 제안한 5개 제목 중, A안과 소구점이 겹치지 않으면서도 메시지가 명확한 문구인 '구독자의 행동을 유도하는 뉴스레터 레이아웃 전략'을 골랐습니다. 이 제목은 콘텐츠가 제시하는 전략을 적용했을 때 기대되는 성과와, ‘전략’이라는 단어를 통해 문제 제시-해결 방안 제안-기대 성과로 연결되는 흐름을 강조하고 있습니다.

3. AI와 마케터 중, 누가 쓴 제목이 더 효과적일까?

실험 결과는 A안의 오픈율이 21.4%, B안의 오픈율이 21.2%으로 나타났습니다. A안의 오픈율이 소폭 높았지만, 그 차이는 0.2%P로 유의미하다고 보긴 어려운 수준이었습니다. 실험을 통해 제목 추천 기능이 제안한 제목 역시 충분히 유효한 성과를 낼 수 있다는 점을 확인할 수 있었습니다.

특히 주목할 점은 클릭률의 경우, 두 제목 중 B안이 더 높았다는 것입니다. 만약 제목 추천 기능이 오픈율만을 높이기 위한 자극적인 제목을 제안했다면, 열람 이후 본문과의 괴리감으로 클릭률이 낮아졌을 가능성도 있을 것입니다. 하지만 두 제목의 클릭률이 비슷하다는 점에서, AI가 제안한 제목이 콘텐츠의 톤앤매너와 내용을 충실히 반영한다는 점도 발견할 수 있었습니다.

4. 제목 추천 기능, 이렇게 활용해 보세요. 

오늘 소개한 방식과 같이 제목 추천 기능을 활용한다면, 본문 콘텐츠를 기반으로 다양한 소구점을 탐색하고 빠르게 A/B 테스트를 설계할 수 있다는 장점이 있습니다. 이메일 제목 전략을 감이 아니라 데이터를 기반으로 수립할 수 있는 것입니다.

A/B 테스트를 거듭하며 구독자의 반응을 비교하는 방식으로 우리 구독자가 좋아하는 이메일 제목을 발견해 보세요. 잘 쓴 제목에서 나아가 잘 반응하는 제목을 발견할 수 있습니다.

글 | 스티비 한세솔
메인 이미지 | 스티비 권지현