Як фільтрувати контент

Фільтрування контенту відбувається завдяки автоматичній системі, що створена для обробки великих обсягів даних і вживання заходів щодо контенту, який відповідає певним критеріям. Видавці часто використовують на сайті фільтрування тексту й медіа для масової обробки контенту, який створюють користувачі. За допомогою таких систем часто відфільтровують різний контент, зокрема контент для дорослих і матеріали, що стосуються незаконного обміну файлами та продажу вогнепальної зброї, наркотиків, алкоголю й тютюну.

Важливо. Порушувати правила може не лише локально розміщений контент. Як порушення розцінюється навіть посилання на зовнішні джерела, де його розміщено. Наприклад, видавець, який додає фрейми фільмів, незаконно розміщених на сторонніх сайтах, порушує правила Google для видавців.

Розробка власного рішення

Багато видавців розробляють власну систему фільтрування. Це рішення може мати такі переваги:

• запрограмувати фільтрування на основі тексту порівняно легко;
• часто це значно дешевше, ніж комерційні рішення;
• видавець знає свій сайт і користувачів найкраще й може передбачити проблеми з дотриманням правил ефективніше, ніж будь-хто інший.

Нижче наведено кілька ідей і пропозицій, які варто врахувати, розробляючи власне рішення на основі тексту.

 

Створіть список ключових слів

Для фільтрування тексту система має спиратися на список ключових слів, складений з окремих слів і їх комбінацій. Залежно від типу контенту, його обсягу на сайті й доступних у видавця ресурсів можна застосувати різні способи створення такого списку.

• Створіть власний список слів і фраз для фільтрування. Тут можна покластися на власну інтуїцію або скористатися допомогою:
  • запросити до участі своїх працівників;
  • звернутися по допомогу до користувачів;
  • використати інструмент добору ключових слів Google Ads;
  • переглянути вебсайти, де розміщено небажаний контент (наприклад, сайти для дорослих або для обміну файлами), і з’ясувати, які ключові слова часто там зустрічаються.
• Запрограмуйте власний автоматичний інструмент скрейпінгу ключових слів:
  • скористайтеся даними пошукової системи для огляду всіх сторінок на сайті;
  • отримайте список унікальних слів і їх комбінацій;
  • залиште найпоширеніші ключові слова й відкиньте решту (не забудьте вилучити поширені сполучники, як-от "і", "й", "та", "або");
  • відформатуйте результат як текстовий файл;
  • повторюйте описані вище кроки, доки не підготуєте задовільний список.
  • Важливо. Скрейпінг інших сайтів і використання контенту з них як власного порушує правила Google для видавців і правила щодо спаму для вебпошуку Google, а також може вважатися порушенням законодавчих і/або етичних норм.

Призначте вагу

Не всі слова рівні: деякі ключові слова гірші від інших. Тому варто призначити різним термінам різну вагу.

Наприклад, в українськомовних фільтрах контенту для дорослих слову "порно" слід надати більшу вагу, ніж слову "ескорт". Слово "порно" практично завжди пов’язане з контентом не для сімейного перегляду, тоді як слово "ескорт" може залежно від контексту позначати "супровід".

Також враховуйте, що певні слова, безпечні окремо, у поєднанні з іншими словами можуть позначати щось зовсім інше. Наприклад, слово "зірки" цілком невинне, проте вираз "голі зірки" часто стосується порнографії.

Фільтруйте контент

Є два поширені підходи до фільтрування контенту. Кожен видавець має сам вирішити, що найкраще підходить для його сайту.

Спосіб 1. Створений користувачами контент перевіряється після показу на сторінці

1. Перевірте контент автоматичним фільтром.
2. Позначте контент, якщо він відповідає критеріям фільтрування.
3. Вимкніть розміщення оголошень на сторінках, де розміщено такий контент.
4. Перевірте контент вручну.
   1. Якщо він безпечний, увімкніть розміщення оголошень і відкоригуйте фільтри.
   2. В іншому разі подбайте про те, щоб цей контент не відображався на сторінках із кодом оголошення.

Спосіб 2. Створений користувачами контент перевіряється перед тим, як стане доступним для користувачів

1. Перевірте контент автоматичним фільтром.
2. Позначте контент, якщо він відповідає критеріям фільтрування.
3. Додайте цей контент у чергу на перевірку або відразу відхиліть його.
4. Перевірте контент вручну.
   1. Якщо він безпечний, відобразіть його на сторінках із розміщенням оголошень і відкоригуйте фільтри.
   2. В іншому разі вимкніть розміщення оголошень і відобразіть або відхиліть вміст.

Стисло про комерційні рішення

Багато сервісів пропонують функції фільтрування контенту. Зокрема, деякі з них навіть спеціалізуються на фільтруванні контенту для дорослих або контенту, захищеного авторським правом. Також є платформи стихійного набору ресурсів: вони створюють міст між видавцями й користувачами, які шукають легкого заробітку в Інтернеті. Найкраще дослідити пропозиції на ринку й підібрати найвідповідніше для своєї служби рішення. Перегляньте сайти відгуків про програмне забезпечення й ознайомтеся з їх рекомендаціями щодо систем фільтрування контенту, який створюють користувачі. Зібравши всю цю інформацію, ви маєте підібрати найвідповідніше рішення, враховуючи рейтинг продукту, його унікальні функції і модель ціноутворення.