Setting Up AI Moderation
Um passo a passo para pegar mensagens nocivas pela intenção, ajustar cada categoria e revisar o que é sinalizado.
Como a Moderação com IA se encaixa
A Moderação com IA complementa os filtros de palavras-chave do plugin Moderação com um modelo que lê as mensagens pela intenção, não só por palavras exatas. Ela consegue pegar assédio, ódio, ameaças e mais mesmo quando não há uma palavra específica para filtrar. Cada mensagem recebe uma pontuação separada em seis categorias.
Ver a referência completaAs seis categorias
Cada categoria é avaliada separadamente numa escala de 0 a 100%, e uma mensagem é sinalizada assim que a pontuação ajustada de qualquer categoria ativa atinge o limite dela:
| Categoria | Descrição |
|---|---|
| Assédio | Conteúdo que expressa, incita ou promove linguagem de assédio contra qualquer alvo. |
| Ódio | Conteúdo que expressa, incita ou promove ódio com base em raça, gênero, etnia, religião, nacionalidade, orientação sexual, deficiência ou casta. |
| Ilícito | Conteúdo que dá conselhos ou instruções para cometer atos ilícitos, ex.: "como furtar uma loja". |
| Automutilação | Conteúdo que promove, incentiva ou mostra atos de automutilação, como suicídio, cortes e transtornos alimentares. |
| Sexual | Conteúdo feito para provocar excitação sexual ou que promove serviços sexuais (exceto educação sexual e bem-estar). |
| Violência | Conteúdo que mostra morte, violência ou ferimentos físicos. |
Ajuste cada categoria
Cada categoria da aba Políticas tem três controles próprios, então você pode afrouxar ou apertar cada uma separadamente em vez de usar uma única configuração para tudo:
| Campo | O que controla |
|---|---|
| Limite | A pontuação mínima de confiança necessária para sinalizar uma mensagem. |
| Sensibilidade | Um multiplicador aplicado à pontuação bruta da IA antes de compará-la com o limite. Mais alta pega mais, mas aumenta o risco de falsos positivos. |
| Excluir mensagem | Se esta categoria, sozinha, exclui a mensagem infratora quando é acionada. |
Limite onde ela vigia e teste
As Restrições limitam a Moderação com IA a canais ou cargos específicos, por exemplo só os canais públicos e não uma área da equipe. Antes de confiar nela, use o Testador de mensagens para rodar exemplos reais com as suas configurações ativas e ver quais categorias uma mensagem acionaria, sem sinalizar ninguém.
Revise mensagens sinalizadas e corrija falsos positivos
Ative Guardar mensagens sinalizadas e as últimas 25 mensagens sinalizadas ficam guardadas (criptografadas) para revisão na aba Mensagens sinalizadas. Últimas correspondências mostra o que foi pego recentemente; para cada uma você pode:
- Aprovar: confirma que a correspondência estava certa. É só um registro e não muda nada.
- Marcar como falso positivo: aquela mensagem exata nunca mais será sinalizada. A categoria e as configurações que a pegaram continuam iguais.
Decida o que acontece quando uma mensagem é sinalizada
A chave Excluir mensagem de cada categoria (do passo 3) controla se a mensagem é removida. Ação adicional, na aba Geral, adiciona mais uma consequência: nada, advertir, silenciar, expulsar, banir, banimento temporário ou adicionar/remover um cargo. Você também pode mandar ao membro uma DM com a explicação, responder no canal e enviar tudo para um canal de log da sua equipe de moderação.
Pronto para ativar
Comece pelos padrões, acompanhe a aba Mensagens sinalizadas nos primeiros dias e ajuste os limites por categoria conforme vê o desempenho no seu servidor.