Segurança e Ética em IA - Abordagem da Meltwater

A IA está transformando nosso mundo, oferecendo novos recursos incríveis, como criação automatizada de conteúdo e análise de dados e assistentes de IA personalizados. Embora essa tecnologia traga oportunidades sem precedentes, ela também apresenta preocupações de segurança significativas que devem ser abordadas para garantir seu uso confiável e equitativo.

Na Meltwater, acreditamos que entender e enfrentar esses desafios de segurança de IA é crucial para o avanço responsável dessa tecnologia transformadora.

As principais preocupações com a segurança da IA ​​giram em torno de como tornamos esses sistemas confiáveis, éticos e benéficos para todos. Isso decorre da possibilidade de os sistemas de IA causarem danos não intencionais, tomarem decisões que não estão alinhadas com os valores humanos, serem usados ​​de forma maliciosa ou se tornarem tão poderosos que se tornam incontroláveis.

Índice

• Robustez

• Alinhamento

• Preconceito e imparcialidade

• Interpretabilidade

• Deriva

• O caminho à frente para a segurança da IA

  
  

Robustez

A robustez da IA ​​refere-se à sua capacidade de ter um bom desempenho consistente, mesmo sob condições inesperadas ou variáveis.

Se um modelo de IA não for robusto, ele pode falhar facilmente ou fornecer resultados imprecisos quando exposto a novos dados ou cenários fora das amostras nas quais foi treinado. Um aspecto central da segurança da IA, portanto, é a criação de modelos robustos que podem manter níveis de alto desempenho em diversas condições.

Na Meltwater, abordamos a robustez da IA ​​nos estágios de treinamento e inferência. Múltiplas técnicas como treinamento adversário, quantificação de incerteza e aprendizado federado são empregadas para melhorar a resiliência de sistemas de IA em situações incertas ou adversárias.

Alinhamento

Nesse contexto, “alinhamento” refere-se ao processo de garantir que os objetivos e decisões dos sistemas de IA estejam sincronizados com os valores humanos, um conceito conhecido como alinhamento de valor.

A IA desalinhada pode tomar decisões que os humanos consideram indesejáveis ​​ou prejudiciais, apesar de serem ótimas de acordo com os parâmetros de aprendizado do sistema. Para alcançar uma IA segura, os pesquisadores estão trabalhando em sistemas que entendem e respeitam os valores humanos em todos os seus processos de tomada de decisão, mesmo enquanto aprendem e evoluem.

Construir sistemas de IA alinhados a valores requer interação contínua e feedback de humanos. A Meltwater faz uso extensivo de técnicas Human In The Loop (HITL), incorporando feedback humano em diferentes estágios de nossos fluxos de trabalho de desenvolvimento de IA, incluindo monitoramento online do desempenho do modelo.

Técnicas como aprendizado por reforço inverso, aprendizado por reforço inverso cooperativo e jogos de assistência estão sendo adotados para aprender e respeitar os valores e preferências humanas. Também aproveitamos a teoria da agregação e da escolha social para lidar com valores conflitantes entre diferentes seres humanos.

Preconceito e imparcialidade

Uma questão crítica com a IA é seu potencial de amplificar preconceitos existentes, levando a resultados injustos.

O viés na IA pode resultar de vários fatores, incluindo (mas não limitado a) os dados usados ​​para treinar os sistemas, o design dos algoritmos ou o contexto em que são aplicados. Se um sistema de IA for treinado em dados históricos que contenham decisões tendenciosas, o sistema poderá inadvertidamente perpetuar esses vieses.

Um exemplo é a IA de seleção de empregos, que pode favorecer injustamente um determinado gênero porque foi treinada em decisões de contratação anteriores que foram tendenciosas. Abordar a justiça significa fazer esforços deliberados para minimizar o viés na IA, garantindo assim que ela trate todos os indivíduos e grupos de forma igualitária.

A Meltwater realiza análises de viés em todos os nossos conjuntos de dados de treinamento, tanto internos quanto de código aberto, e solicita adversamente todos os Modelos de Linguagem Grande (LLMs) para identificar o viés. Fazemos uso extensivo de testes comportamentais para identificar problemas sistêmicos em nossos modelos de sentimento e aplicamos as configurações de moderação de conteúdo mais rígidas em todos os LLMs usados ​​por nossos assistentes de IA. Várias definições estatísticas e computacionais de justiça, incluindo (mas não limitadas a) paridade demográfica, igualdade de oportunidades e justiça individual, estão sendo aproveitadas para minimizar o impacto do viés de IA em nossos produtos.

Interpretabilidade

A transparência na IA, muitas vezes referida como interpretabilidade ou explicabilidade, é uma consideração de segurança crucial. Envolve a capacidade de entender e explicar como os sistemas de IA tomam decisões.

Sem interpretabilidade, as recomendações de um sistema de IA podem parecer uma caixa preta, dificultando a detecção, o diagnóstico e a correção de erros ou vieses. Consequentemente, promover a interpretabilidade em sistemas de IA aumenta a responsabilidade, melhora a confiança do usuário e promove o uso mais seguro da IA. A Meltwater adota técnicas padrão, como LIME e SHAP, para entender os comportamentos subjacentes de nossos sistemas de IA e torná-los mais transparentes.

Deriva

Desvio de IA, ou desvio de conceito, refere-se à mudança nos padrões de dados de entrada ao longo do tempo. Essa mudança pode levar a um declínio no desempenho do modelo de IA, impactando na confiabilidade e segurança de suas previsões ou recomendações.

Detectar e gerenciar desvios é crucial para manter a segurança e a robustez dos sistemas de IA em um mundo dinâmico. O tratamento eficaz do desvio requer monitoramento contínuo do desempenho do sistema e atualização do modelo conforme e quando necessário.

A Meltwater monitora as distribuições das inferências feitas por nossos modelos de IA em tempo real para detectar desvios de modelo e problemas emergentes de qualidade de dados.

O caminho à frente para a segurança da IA

A segurança da IA ​​é um desafio multifacetado que exige o esforço coletivo de pesquisadores, desenvolvedores de IA, formuladores de políticas e da sociedade em geral.

Como empresa, devemos contribuir para a criação de uma cultura em que a segurança da IA ​​seja priorizada. Isso inclui definir normas de segurança para todo o setor, promover uma cultura de abertura e responsabilidade e um compromisso constante de usar a IA para aumentar nossas capacidades de maneira alinhada com os valores mais profundos da Meltwater.

Com esse compromisso contínuo, vem a responsabilidade, e as equipes de IA da Meltwater estabeleceram um conjunto de Princípios Éticos de IA da Meltwater inspirados nos do Google e da OCDE. Esses princípios formam a base de como a Meltwater conduz pesquisa e desenvolvimento em Inteligência Artificial, Aprendizado de Máquina e Ciência de Dados.

1. Beneficiar a sociedade sempre que surgirem oportunidades de forma inclusiva e sustentável.
2. Tendências e desvios são defeitos. Eles falham com o negócio e com nossos clientes.
3. Segurança, privacidade e segurança como cidadãos de primeira classe.
4. Rastreie tudo e seja responsável. A transparência é fundamental.
5. Somos cientistas e engenheiros; tudo deve ser provado e testado.
6. Use código aberto sempre que possível; examine todo o resto e assuma que não é seguro.

A Meltwater estabeleceu parcerias e associações para fortalecer ainda mais seu compromisso de promover práticas éticas de IA.

• A Meltwater estabeleceu um Conselho Consultivo Científico (SAB), que é uma equipe de renomados pesquisadores científicos e profissionais que oferecem orientação sobre a estratégia de IA da Meltwater
• A Meltwater segue a orientação do PR Council para Generative AI que foi introduzida em abril de 2023
• A Meltwater ajuda as marcas a aderir ao Brand Safety Floor & Suitability Framework do WAF GARM, fornecendo vários modelos de IA para detectar conteúdo prejudicial, abusivo e inseguro em texto, áudio, imagens e vídeos, incluindo casos de uso de desinformação por meio de nossa parceria Newsguard.

Estamos extremamente orgulhosos de quão longe a Meltwater chegou ao fornecer IA ética aos clientes. Acreditamos que a Meltwater está preparada para continuar fornecendo inovações revolucionárias para simplificar a jornada de inteligência no futuro e estamos entusiasmados em continuar assumindo um papel de liderança na defesa responsável de nossos princípios no desenvolvimento de IA, promovendo a transparência contínua, o que leva a uma maior confiança entre os clientes.