Moderación con IA
Moderación con IA que entiende el contexto, para lo que los filtros no detectan.
Cómo funciona
La Moderación con IA complementa los filtros de palabras clave del plugin Moderación con un modelo de IA que lee los mensajes según su intención, no solo por palabras exactas. Puede detectar acoso, odio, amenazas y más aunque no haya una palabra concreta que filtrar. Puntúa cada mensaje por separado en seis categorías.
Configuración básica
Actívala en la pestaña General, define un canal de registro y elige una Acción adicional (nada, advertir, silenciar, expulsar, banear, baneo temporal o añadir/quitar un rol) que se aplica además de borrar el mensaje marcado. También puedes enviar un MD al usuario y responder en el canal cuando se marca algo.
Ajustar las categorías
Cada categoría se puntúa por separado en una escala de 0 a 100 %, y un mensaje se marca en cuanto la puntuación ajustada de cualquier categoría activa alcanza su umbral. Por categoría, controlas:
| Campo | Qué controla |
|---|---|
| Umbral | La puntuación de confianza mínima necesaria para marcar un mensaje. |
| Sensibilidad | Un multiplicador que se aplica a la puntuación bruta de la IA antes de compararla con el umbral. Más alta detecta más, pero aumenta el riesgo de falsos positivos. |
| Eliminar mensaje | Si esta categoría, por sí sola, borra el mensaje infractor cuando se activa. |
Las seis categorías
| Categoría | Descripción |
|---|---|
| Acoso | Contenido que expresa, incita o promueve lenguaje de acoso hacia cualquier objetivo. |
| Odio | Contenido que expresa, incita o promueve odio por raza, género, etnia, religión, nacionalidad, orientación sexual, discapacidad o casta. |
| Ilícito | Contenido que da consejos o instrucciones para cometer actos ilícitos, p. ej. "cómo robar en una tienda". |
| Autolesiones | Contenido que promueve, fomenta o muestra actos de autolesión, como suicidio, cortes y trastornos alimentarios. |
| Sexual | Contenido destinado a provocar excitación sexual o que promueve servicios sexuales (excepto educación sexual y bienestar). |
| Violencia | Contenido que muestra muerte, violencia o lesiones físicas. |
Restricciones, pruebas y revisión
- Restricciones: Limita a qué canales y roles se aplica la Moderación con IA, para que solo vigile donde hace falta.
- Probador de mensajes: El Probador de mensajes pasa cualquier texto que pegues por los ajustes activos de tu servidor y muestra las puntuaciones por categoría, para que puedas ajustar los umbrales antes de que afecten a miembros reales.
- Mensajes marcados: Mensajes marcados guarda opcionalmente tus últimos 25 mensajes marcados (cifrados) para que puedas revisarlos y marcar falsos positivos, que no se volverán a marcar del mismo modo.
Variables disponibles
La respuesta que se publica en el canal cuando se marca un mensaje admite las variables habituales de miembro y servidor, más un token propio de la marca:
{user_name}el nombre de usuario de Discord del miembro{user_global_name}su nombre visible global{user_display_name}su nombre tal como se muestra en este servidor{user_mention}una @mención que le notifica{user_tag}su etiqueta antigua con formato usuario#0000{user_id}su ID de usuario de Discord{user_avatar}un enlace a su avatar{server_name}el nombre de este servidor{server_avatar}un enlace al icono de este servidor{policies}una lista separada por comas de las categorías que provocaron la marca