콘텐츠 필터링

콘텐츠 필터링은 많은 양의 데이터를 처리하고 특정 기준에 해당하는 콘텐츠에 대해 조치를 취하기 위해 마련된 자동 시스템을 말합니다. 게시자는 텍스트 및 미디어 필터링 솔루션을 사용하여 사이트에서 사용자 제작 콘텐츠를 처리하곤 합니다. 이러한 시스템은 주로 총기, 약물, 주류, 담배 판매와 성인용 콘텐츠, 불법 파일 공유 등의 콘텐츠를 필터링하는 데 사용됩니다.

중요: 콘텐츠가 로컬에서 호스팅되어야만 정책 위반이 되는 것은 아닙니다. 외부 소스로의 링크도 정책 위반으로 간주될 수 있습니다. 예를 들어 서드 파티 사이트에 불법으로 호스팅된 영화를 프레이밍으로 제공하는 게시자는 Google 게시자 정책을 위반하는 것입니다.

자체 솔루션 개발

필터링 시스템을 직접 개발하는 게시자가 많습니다. 이 경우 다음과 같은 이점이 있습니다.

• 텍스트 기반 필터링은 상대적으로 코딩하기가 쉽습니다.
• 상용 솔루션에 비해 상당히 저렴합니다.
• 게시자가 사이트 및 사용자에 대해 가장 잘 알고 있으므로 누구보다 정책 관련 문제를 잘 예상할 수 있습니다.

다음은 텍스트 기반 자체 솔루션을 개발할 때 고려할 만한 아이디어와 제안사항입니다.

 

키워드 목록 만들기

텍스트를 필터링하려면 시스템에서 개별 단어 및 단어 조합으로 구성된 키워드 목록을 사용해야 합니다. 이 목록은 콘텐츠 유형, 사이트에 있는 콘텐츠의 양, 사용 가능한 게시자 리소스 등에 따라 다양한 방법으로 만들 수 있습니다.

• 필터링하려는 단어와 구문 목록을 직접 작성하세요. 자신의 직관을 활용하거나 다음과 같은 도움을 받을 수 있습니다.
  • 직원 의견 반영
  • 사용자 의견 수집
  • Google Ads 키워드 플래너 사용
  • 더 많은 영감을 얻으려면 바람직하지 않은 콘텐츠(예: 성인용 콘텐츠 또는 파일 공유 사이트)를 호스팅하는 웹사이트를 살펴보고 자주 등장하는 키워드를 찾아보세요.
• 자동 키워드 스크래핑 도구를 직접 코딩해 보세요.
  • 검색엔진 데이터를 사용하여 특정 사이트의 모든 페이지 확인하기
  • 고유한 단어 및 단어 조합 목록 가져오기
  • 가장 일반적으로 사용되는 키워드는 유지하고 나머지는 폐기. ‘a’, ‘and’, ‘the’ 등과 같은 관사와 단어 삭제
  • 텍스트 파일로 출력
  • 목록이 만족스럽게 작성될 때까지 여러 사이트에 대해 위의 과정 반복
  • 중요: 다른 사이트를 스크래핑하고 해당 콘텐츠를 자신의 콘텐츠로 사용하는 것은 Google 게시자 정책 및 Google 웹 검색의 스팸 정책을 위반하며, 불법 또는 비윤리적인 것으로 간주될 수도 있습니다.

가중치 부여

모든 단어가 동일하게 작성되지 않고 일부 키워드는 효과가 덜할 수 있습니다. 따라서 키워드마다 서로 다른 가중치를 부여하는 것이 좋습니다.

예를 들어 성인용 필터는 '성'보다 '포르노'라는 단어에 더 높은 가중치를 부여해야 합니다. '포르노'는 거의 비가족용 콘텐츠와 전적으로 관련이 있지만, '성'은 사용되는 상황에 따라 '성별'을 의미할 수도 있습니다.

또한 단독으로 사용할 때는 아무 문제 없는 단어가 다른 단어와 함께 사용할 경우 완전히 다른 의미가 될 수도 있다는 점에 유의하세요. 예를 들어 ‘사진’ 자체로는 문제가 없지만 '십대 사진'은 포르노를 의미할 수 있습니다.

필터링 절차

콘텐츠 필터링에는 흔히 다음의 두 가지 방법을 사용합니다. 게시자는 사이트에 가장 적절한 방법을 선택할 수 있습니다.

방법 1: 사용자 제작 콘텐츠를 우선 페이지에 게재한 후에 검사

1. 콘텐츠 검사
2. 필터링 기준을 충족할 경우 신고
3. 콘텐츠 호스팅 페이지에 광고 게재 사용중지
4. 수동으로 콘텐츠 검토:
   1. 안전한 경우 광고 게재 사용 및 필터 조정
   2. 안전하지 않은 경우 광고 코드가 포함된 페이지에 콘텐츠를 게시하지 않도록 함

방법 2: 사용자 제작 콘텐츠를 게시 전에 검사

1. 콘텐츠 검사
2. 필터링 기준을 충족할 경우 신고
3. 검토 대기 또는 거부
4. 수동으로 콘텐츠 검토:
   1. 안전한 경우 광고 게재 페이지에 게시 및 필터 조정
   2. 안전하지 않은 경우 광고 게재 사용중지 및 콘텐츠 게시 또는 거부

상용 솔루션에 대한 간단한 설명

여러 콘텐츠 필터링 서비스가 존재하며 성인용 콘텐츠나 저작권이 있는 콘텐츠와 같은 특정 유형을 필터링하는 전문 서비스도 있습니다. 또한 인터넷에서 쉽게 수익을 올리려는 사용자와 게시자를 연결해 주는 크라우드소싱 플랫폼도 있습니다. 가장 좋은 방법은 해당 주제에 대해 시장조사를 진행하여 자신이 제공하는 서비스에 가장 적합한 솔루션을 채택하는 것입니다. 소프트웨어 리뷰 사이트를 찾아보고 어떤 사용자 제작 콘텐츠 필터링 시스템을 추천하는지 확인해 보세요. 모든 정보를 검토한 후 제품 점수, 고유 기능, 가격 모델 등을 기반으로 최적의 솔루션을 선택해야 합니다.