인사이트를 도출해야 하는 CMO들에게 데이터 품질은 매우 중요하며, 구매 담당자의 89%가 이를 최우선 과제로 꼽고 있습니다. 이 글에서는 데이터 사기 현황을 살펴보고, 칸타르(Kantar)가 AI 및 기타 첨단 솔루션을 통해 이를 어떻게 해결할 수 있는지 소개합니다.
인사이트를 도출해야 하는 CMO들에게 데이터 품질은 매우 중요하며, 구매자의 89%가 이를 최우선 과제로 꼽고 있습니다 (출처: Greenbook, 2023 GRIT Insights Practice Report).
이 문제를 반드시 해결해야 한다는 점을 더 많은 구매자, 판매자, 공급자가 인식함에 따라 최근 업계에서 제안된 품질 서약이 탄력을 받고 있습니다.
시장조사협회(Market Research Society)의 CEO인 제인 프로스트(Jane Frost)는 다음과 같이 말합니다:“사기 행위는 특히 온라인 조사 분야에서 점점 더 정교해지고 있습니다. 이는 우리 업계의 미래에 중대한 위협이 되고 있습니다.”
데이터 품질은 인사이트 구매자가 신뢰할 수 있는 기본 요건이어야 하지만, 만연한 사기 행위는 수년 동안 지속되어 왔습니다. 게다가 이는 업계 전반에서 이상하게도 거의 논의되지 않는 주제입니다. 패널 사기는 마치 이번 10년의 광고 사기나 클릭 팜과 같은 양상을 띠고 있으며, 빠르게 산업화되고 있습니다.
더 큰 문제는 사기 발생률이 높아질수록, 그로 인해 발생하는 데이터의 변동도 커진다는 점이다.
이 글에서는 사기 문제의 현황과 칸타(Kantar)가 AI 및 기타 첨단 솔루션을 통해 이를 어떻게 해결할 수 있는지 소개합니다.
전 세계적으로 패널 조사에 영향을 미치는 세 가지 주요 과제가 있습니다:
1. ‘시선 쟁탈전’ - 패널 참가자들의 소중한 시간을 어떻게 확보할 것인가?
2. 강화되는 데이터 개인정보 보호 규정: 예를 들어, GDPR은 CPPA와 다릅니다.
3. 증가하는 온라인 사기. ‘조정률’—품질이 낮아 거부된 샘플의 비율—은 지난 3년 동안 약 300% 증가했으며, 고객들은 현장 조사 후 데이터의 최대 40%를 거부하고 있습니다.
패널 운영자는 이 세 가지 요인 각각을 지능적이고 전략적으로 대처해야 합니다.
1. 시청자 확보를 위한 경쟁
이는 패널을 단순한 상품이 아닌 소중한 자원으로 대하는 것에서 시작됩니다. 우리는 질문 방식, 인터뷰 길이(LoI), 그리고 게임화 요소를 강화할 방법을 끊임없이 모색하고 있습니다. 패널의 질문에 성실히 답변하고 그들을 정성껏 대함으로써, 우리는 그들을 한 명의 인간으로서 이해하고 있습니다. 또한 독자적인 설문 매칭 알고리즘을 통해 각 패널의 특성에 맞춰 설문조사를 배정함으로써, 적합한 대상이 적절한 속도로 올바른 설문조사에 참여하도록 합니다. 이를 통해 중도 탈락과 사전 탈락률을 줄일 수 있으며, 그 결과 업계 평균보다 175% 더 많은 설문 조사가 완료됩니다. 응답자를 소중히 여기는 마음과 첨단 패널 기술을 결합함으로써, 저희 패널리스트들은 만족하고 적극적으로 참여하고 있습니다. 그들은 Trustpilot에서 저희 앱에 4.2점을 부여하며 다음과 같은 긍정적인 후기를 남깁니다. “분위기가 긍정적이고, 온라인 설문을 통해 많은 것을 배웠을 뿐만 아니라 제 통장 잔고도 계속 웃고 있네요!”
2. 데이터 개인정보 보호 규정 준수 요건의 강화
칸타(Kantar)는 업계 토론 및 실무 그룹(예: ESOMAR)에서 주도적인 역할을 수행하고 있습니다. 또한 사내 전문 팀을 운영하여 개인정보 보호 및 동의 관련 규정을 지속적으로 모니터링하고, 데이터 수집, 저장 및 삭제를 위한 적절한 기술적 솔루션을 갖추고 있는지 확인합니다.
예를 들어, 중국에서는 CAC(중국 사이버공간관리국)의 승인을 받은 데이터 수집을 위해 PIPL(개인정보보호법)을 준수하는 전용 표본 관리 플랫폼을 운영하고 있으며, 이를 통해 시장별 최적화 기능을 제공합니다. 이 플랫폼은 전적으로 중국 사이버 공간 내에 위치하며, 당사가 전적으로 소유한 위챗 모바일 패널에 대한 프로그래매틱 접근 권한을 부여하여, 접근이 어려운 150만 명의 대상자에게 도달할 수 있게 합니다. 또한 다중 단계의 사기 방지 및 품질 점검 시스템을 통해 각 위챗 계정이 실제 고유한 은행 계좌와 연결되도록 보장합니다. 해시 처리된 ID와 설문조사 링크는 MD5 및 Wave Secret으로 암호화되어, 유령 응답 및 해커에 의한 부정 응답을 방지합니다.
3. 온라인 사기 증가
데이터 품질 경고의 3분의 2 이상(69%)이 다양한 유형의 사기로 인한 것입니다. 이 중 41%는 해외 해커에 의한 것이며, 13%는 알려진 봇, 7%는 고스트 컴플리트(응답자가 설문조사를 완료한 것처럼 보이지만 리디렉션 링크를 설정하여 데이터가 수집되지 않는 경우), 8%는 중복 응답(응답자가 여러 설문조사를 완료하는 경우로, 주로 다양한 인구통계학적 특성을 가장한 다수의 사기 계정을 생성했을 때 발생)에 기인합니다.
최상의 데이터 품질을 보장하기 위해, 당사는 사기를 다음 세 가지 유형으로 분류했습니다:
• 참여도가 낮은 패널: 이들은 여러 작업을 동시에 수행하거나 설문을 대충 작성하므로 정확성에 의문이 제기됩니다. 데이터 무결성에 미치는 영향은 중간에서 낮은 수준입니다. 이러한 패널에게는 지침과 행동 모니터링이 필요합니다. 특정 연구에서 이들을 제외하는 것이 필요할 수 있습니다.
• 부정직한 패널: 신원을 속이고 보상을 더 빨리 받기 위해 더 많은 설문조사를 완료합니다. 데이터 무결성에 미치는 영향은 중간에서 높은 수준입니다.
• 사기성 패널: 단독 또는 집단으로 활동하며 설문조사를 해킹하고 보상을 대량으로 획득합니다. 일종의 새로운 '클릭 팜'이라 할 수 있습니다. 이는 심각한 사기로, 대규모로 발생하며 데이터 무결성에 큰 영향을 미칩니다.
칸타르는 이러한 각 유형의 사기를 근절하기 위해 어떤 조치를 취하고 있나요? 또한 시장을 선도하는 AI/GenAI 도구를 활용해 이를 어떻게 대응하고 있나요?
• 저희는 우수한 설문조사 설계: 설문 조사의 품질은 설계, 길이, 사용자 경험에 달려 있습니다. 이러한 요소를 고려하지 않으면 가장 적극적인 참여자조차 흥미를 잃을 수 있습니다.
• 우리는 부주의로 인한 실수를 방지합니다: 일부 패널은 오해로 인해 일관성 없는 답변을 하기도 하고, 일부는 자신이 주장하는 사람이 아닐 수도 있습니다. 하지만 모든 문제점이 의도적인 기만에서 비롯되는 것은 아닙니다. 일부는 단순한 실수이며, 모든 문제가 데이터 무결성을 해치는 것도 아닙니다. 우리는 모든 진정한 참여자를 포용하고자 합니다. 따라서 우리는 패널들에게 교육을 제공하고, 필요한 경우 행동을 개선할 기회를 부여합니다.
• 우리는 품질을 정의합니다: 품질은 주관적이므로 객관적인 지표를 사용합니다. 다양한 수준의 낮은 품질과 그 원인을 파악하는 것이 핵심입니다. 칸타(Kantar)의 프로파일즈(Profiles) 사업부는 20년 이상의 심층적인 패널 전문 지식에 기술과 AI를 접목하여, 자체 개발한 사기 방지 도구인 Qubed AI를 통해 이를 실시간으로 수행합니다. Qubed AI는 실시간으로 작동하며, 5개의 딥 뉴럴 네트워크(즉, 고급 머신러닝)를 기반으로 합니다. 매일 6천만 건 이상의 이벤트를 바탕으로 학습되며, 각 설문 조사 세션마다 300개 이상의 특징을 처리하여 패널리스트의 부정 행위 여부를 밀리초 단위로 자동으로 점수화하고 판정 및 권장 조치를 반환합니다. 이는 인간(및 다른 사기 방지 기술)이 도저히 할 수 없는 일입니다.
• Qubed 개방형 검증(Open-End Validation)과 함께 GenAI를 활용합니다: 당사는 ChatGPT 기반의 독자적인 개방형 평가 솔루션을 사용하여 패널리스트의 개방형 응답을 다차원적으로 평가합니다. 우리가 감지하는 요소에는 질문과의 관련성, 독창성, 완성도, 언어, 표절된 답변, 개인 식별 정보(PII) 사용, 속어, 약어 사용은 물론, 욕설, 인종 차별적 발언, 횡설수설, ChatGPT가 생성한 답변 등이 포함됩니다. 칸타르(Kantar)의 Qubed Open-End Validation이 사기를 어떻게 방지하는지에 대한 자세한 내용은 이전에 게시한 '패널의 변혁: 칸타르는 LLM을 활용해 패널 응답을 어떻게 개선하고 있는가?'라는 기사를 참조하십시오.
• Qubed 얼굴 인증 도입: 설문조사 사기 방지를 위한 칸타르의 최신 조치는 Realeyes Verify를 Qubed AI에 통합한 것입니다. Verify는 1,700만 건의 동의된 설문조사 세션으로 구성된 독자적인 웹캠 데이터셋을 기반으로 훈련된 경량형 얼굴 인증 기술입니다. 우리는 악의적인 행위자가 프리미엄 패널에 가입하려 할 때 이를 신속하게 식별할 수 있습니다.
CMO와 인사이트 리더들은 패널 파트너사가 데이터 품질을 얼마나 우선시하는지 이해해야 하며, 패널 파트너사가 사기성 응답으로 오염되지 않은 시기적절하고 정확한 데이터를 제공하고 있음을 확신해야 합니다.
업계 전체가 '품질 서약 ( Quality Pledge )' 및 기타 수단을 통해 품질을 중시하는 가운데, 칸타르는 AI를 지능적으로 활용하여 사기를 근절하고 소비자 데이터 업계에 더 큰 신뢰를 회복하는 데 있어 선도적인 역할을 지속할 수 있는 유리한 위치에 있습니다.
.svg)