Фильтрация контента

Фильтрация контента выполняется автоматической системой, способной обрабатывать большие объемы данных и принимать меры в отношении контента, соответствующего определенным критериям. Чтобы регулировать поток пользовательского контента на своем сайте, издатели часто используют системы фильтрации текста и медиа-контента. Эти системы предотвращают размещение материалов только для взрослых, информации о незаконном файлообмене, а также о продаже огнестрельного оружия, лекарств, алкоголя и табака.

Важно! Запрещено не только размещать контент с нарушениями локально, но и добавлять ссылки на внешние источники такого контента. Например, фрейм с фильмом, размещенным незаконно на стороннем сайте, также нарушает правила Google для издателей.

Разработка собственного решения

Многие издатели сами разрабатывают системы фильтрации. Преимущества:

• Фильтрация текста может осуществляться сравнительно легко.
• Часто это значительно дешевле использования коммерческих решений.
• Издатель знает свой сайт и пользователей, и может предугадывать возможные нарушения лучше, чем кто-либо ещё.

Ниже приводятся идеи и рекомендации, которые помогут вам разработать собственное решение для фильтрации текста.

 

Создайте список ключевых слов

Чтобы фильтровать текст, системе необходим список ключевых слов и фраз. Способ его создания зависит от типа и объема контента на сайте и доступных издателю ресурсов.

• Составьте свой собственный список слов и фраз. Вы можете подобрать их сами или:
  • посоветоваться с вашими сотрудниками;
  • обратиться за помощью к пользователям;
  • использовать Планировщик ключевых слов Google Рекламы;
  • посмотреть сайты с нежелательным контентом (например, содержащие контент для файлового обмена и/или только для взрослых) и определить, какие ключевые слова там часто используются.
• Создайте собственный инструмент скрейпинга ключевых слов:
  • Используйте данные поисковой системы, чтобы проверить все страницы сайта.
  • Составьте список уникальных слов и словосочетаний, которые на нем встречаются.
  • Выберите и сохраните часто используемые ключевые слова, а остальные отбросьте. Не забудьте исключить статьи с общими сведениями.
  • Выведите данные в виде текстового файла.
  • Повторите шаги, описанные выше, для каждого сайта, чтобы завершить создание списка.
  • Важно! Использовать контент с других сайтов, выдавая его за собственный, запрещено правилами Google для издателей и правилами в отношении спама для веб-поиска Google. Это неэтично и в некоторых случаях незаконно.

Оцените вес ключевых слов

Не все слова равноценны: некоторые ключевые слова менее эффективны, чем другие. Поэтому вы можете назначить им весовые коэффициенты.

Например, для фильтрации контента для взрослых на английском языке слово "porno" будет более эффективно, чем слово "sex", поскольку первое практически всегда связано с материалами для взрослой аудитории, а второе может также означать пол человека.

Кроме того, следует учитывать слова, которые сами по себе безопасны, но в сочетании с другими принимают иное значение. Например, слово "фотографии" достаточно нейтрально, но словосочетание "фотографии подростков" часто относится к порнографии.

Реализуйте фильтрацию

Существует два распространенных метода фильтрации контента. Издатель должен решить, какой больше подходит для его сайта.

Метод 1. Пользовательский контент сканируется после добавления на страницу

1. Проверьте контент.
2. Поставьте отметку, если он соответствует критериям фильтрации.
3. Отключите показ объявлений на странице с контентом.
4. Проверьте контент вручную и:
   1. если он безопасен, включите показ объявлений и измените фильтры;
   2. в противном случае убедитесь, что контент не отображается на странице с рекламным кодом.

Метод 2. Пользовательский контент сканируется перед добавлением на страницу

1. Проверьте контент.
2. Поставьте отметку, если он соответствует критериям фильтрации.
3. Отправьте контент на проверку или полностью удалите его.
4. Проверьте контент вручную и:
   1. если он безопасен, отобразите его на странице объявлений и измените фильтры;
   2. в противном случае отключите показ объявлений, после чего решите, что делать с контентом (не стоит ли удалить его).

Кратко о платных решениях для фильтрации контента

Существует ряд сервисов фильтрации контента. Некоторые из них специально разработаны для блокирования определенных типов содержания, например контента только для взрослых или защищенного авторским правом. Существуют также платформы краудосорсинга, на которых издатели могут найти пользователей, готовых зарабатывать онлайн. Лучший способ – изучить доступные варианты и выбрать оптимальное для вас решение. Поищите сайты с обзорами ПО и посмотрите, какие системы фильтрации пользовательского контента они рекомендуют. Так вы сможете выбрать наилучшее решение с учетом отзывов о продукте, его уникальных функций и цены.