Início NOTÍCIAS Os agentes de IA precisam de controles analíticos, não de mais tamanho...

Os agentes de IA precisam de controles analíticos, não de mais tamanho de modelo

68
0
Os agentes de IA precisam de controles analíticos, não de mais tamanho de modelo

Coloque o vice-presidente financeiro de um grande varejista. Uma nova empresa de análise de IA faz uma pergunta simples: “Qual foi a nossa receita no último trimestre?“Uma resposta chega em segundos.

Confiando

Limpar

Errado.

Tecnologia da UE

As últimas notícias sobre o cenário tecnológico da UE, uma história sobre os sábios do autor Boris e alguma arte questionável de IA. É grátis, toda semana, na sua caixa de entrada. Cadastre-se agora!

Esse cenário exato acontece com mais frequência do que muitas organizações gostariam de admitir. A AtScale, que capacita as organizações a desenvolver ambientes de governança com análise e consistência semântica, descobriu que simplesmente dimensionar o modelo de parametrização não resolve esse problema. Governo de IA e questões contextuais para seus esforços.

Quando os sistemas de IA consultam dados que são inconsistentes ou não controlados, adicionar mais ao modelo não contém a complexidade do problema, mas agrava-o. Organizações de todos os setores avançaram rapidamente para desenvolver IA agente, implantando sistemas que analisam dados, geram insights e acionam fluxos de trabalho automatizados. Devido a esta tendência, os modelos de IA foram adaptados rapidamente através de parâmetros de modelo maiores, maior poder de computação e recursos adicionais. A justificativa era que, desde que o modelo se tornasse suficientemente grande, o resultado seria certo.

Mas há indícios de que esta suposição não está em falta. Recente Investigações TDWI Constatou-se que quase metade dos entrevistados caracterizaram as suas iniciativas governamentais de IA como imaturas ou muito imaturas. Isto pode ter mais a ver com as características do tipo e definições de negócio nas quais estes modelos se baseiam do que com as capacidades dos modelos.

Por que você não resolve os principais exemplos de governo?

A indústria de IA tende a operar sob suposições não examinadas sobre o que impulsiona o desempenho: à medida que construímos modelos mais avançados, eles corrigirão alguns de seus erros. Em projetos analíticos, a suposição pode rapidamente desmoronar.

Como a escala do cálculo pode melhorar a largura do modelo, ela não impõe automaticamente qual definição de margem bruta a tarefa deve usar. Isso não resolve as inconsistências métricas que existem há anos em painéis individuais. E também não produz por si só um estoque corruptível.

O governo não exibiu os problemas na escala. Os padrões de negócios estão enterrados em ferramentas individuais, com definições conflitantes entre as equipes, e quando as ferramentas são estruturadas sem ferramentas, o modelo não corrige a estrutura maior. Desta forma, produz respostas de luz mais rapidamente.

Na AtScale, esse é um objetivo constante de nossos clientes: depois que eles alcançaram definições de marca consistentes em sua plataforma de IA, os problemas não pararam por aí. Eles são avançados, normalmente com maior velocidade e menos transparência do que a camada anterior oferecia.

Desempenho e responsabilidade são tarefas separadas. Contas modelo. A camada de controle define o que fazer com o modelo acima, como ele aplica a lógica de negócios e garante que as saídas possam ser rastreadas até o registro de origem. Um não pode ser substituído pelo outro.

Perigo real: agência forçada em ambientes empresariais

O problema com os agentes de IA é o próprio modelo muito raro. Este é um exemplo do que funciona e se alguém pode ver o que aconteceu.

Com um contexto partilhado, os agentes de IA poderiam ler os dados de forma diferente em sistemas diferentes. Em grandes projetos, mesmo pequenas diferenças nas definições podem causar discrepâncias. O risco estrutural normalmente resulta de quatro causas principais:

  • Os agentes recorrem a fontes onde a mesma métrica pode significar coisas diferentes para grupos diferentes, tornando as definições de dados menos claras.
  • Métricas de diferentes departamentos que não concordam – duas agências dão duas respostas, mas não está claro qual delas está certa.
  • Um sistema incerto de resultados produzidos sem um balanço claro de como foi definido.
  • Lacunas de auditoria: Dado que os resultados não podem ser rastreados até uma fonte controlada de registo, não existe uma forma fiável de detectar erros, contabiliza-los ou atribuí-los à contabilização correcta.

Estes não são sinais de que a IA não esteja funcionando. Eles mostram que a infraestrutura em torno da IA ​​não acompanhou o ritmo.

O que as proteções realmente significam na análise de IA?

Os guardas são frequentemente vistos como uma limitação. Mas, em muitos casos, são os guardiões das próprias condições que permitem aos agentes de IA agir com maior confiança.

Os guardiões podem ajudar a alinhar os resultados gerados pela IA com a lógica de negócios estabelecida. Também criam uma estrutura na qual os agentes podem operar de forma independente; desta forma, à medida que aumenta a autonomia, aumenta também a constância. Na análise, os guardiões normalmente existem em diversas formas específicas;

  • Definições de dados compartilhados: Uma definição única de termos como receita, variação ou margem que são comuns a todos os sistemas.
  • Restrições de lógica de negócios: regras que regem como os cálculos devem ser realizados, independentemente das ferramentas ou agentes que executam os cálculos.
  • Tipo de visão: A capacidade de saber de onde vem a saída de alguém.
  • Controles de acesso: define as permissões que o gerenciador de dados pode rastrear.
  • Na padronização de métricas: Definições consistentes entre departamentos e plataformas aplicáveis.

Não interfere no desempenho da IA. Oferecer à IA uma base para se firmar.

A camada semântica funciona como uma estrutura restrita

Uma camada semântica entre os dados e os aplicativos e agentes de IA que os utilizam, definindo conceitos de negócios, implementando processos lógicos e fornecendo uma estrutura comum de termos para todos os aplicativos e agentes de IA utilizarem.

UM camada semântica não manipule ou duplique dados; define o que os dados representam. Ao consultar um mapa semântico em vez de um mapa base, os agentes podem gerar resultados com base na lógica de negócios definida, em vez de inferência. A distinção deste resultado torna-se importante quando vários agentes de IA devem produzir resultados semelhantes em vários sistemas.

Da perspectiva do AtScale, a camada semântica é uma camada de contexto que pode ajudar os agentes de IA a interpretar dados com base em definições comerciais comuns. Uma camada semântica mais análoga à língua vernácula, em oposição a um guardião, que permite que todas as disciplinas trabalhem com um entendimento comum.

A governança é um problema arquitetônico, não um problema de modelo

As organizações empresariais estão percebendo que o gerenciamento de IA tem menos a ver com a construção de um ótimo modelo e mais com a criação de um ambiente onde o modelo escolhido possa funcionar bem. Uma arquitetura bem projetada e controlada (com definições comuns de conceitos, lógica escalável e um contexto comum em todos os sistemas) provavelmente fornecerá resultados melhores e mais confiáveis ​​do que um modelo maior executado em um ambiente não controlado.

Dimensionar exemplos sem melhor clareza semântica tende a aumentar a complexidade, e não a diminuí-la. À medida que cada ferramenta, sistema ou fluxo de trabalho adicional é adicionado a um ambiente não controlado, as oportunidades de discrepância aumentam.

Neste sentido, criar uma infraestrutura de IA é um desafio. As organizações com implementações de IA bem-sucedidas tratam o significado dos seus dados como um plano estratégico, antes mesmo de um modelo ser escolhido.

Desempenho econômico e operacional

As lacunas governamentais não permanecem abstratas por muito tempo. Eles tendem a aparecer no orçamento.

A ambiguidade no significado dos dados pode aumentar os atritos operacionais, pois os gestores que criam fluxos de trabalho inconsistentes exigem revisão humana, ciclos de reconciliação e atualização que se combinam entre equipes e ferramentas. Quando a classe não é clara, custam mais auditorias. A modernização dos controles após a implantação normalmente é mais cara do que construir a arquitetura correta do zero.

Em ambientes de projetos complexos, os custos previsíveis podem aparecer de várias maneiras: validação redundante quando os resultados não correspondem entre sistemas, cálculos excessivos em questões incertas e atrasos na análise enquanto as equipes esperam para descobrir quando a resposta é realmente certa. Restrições semânticas claras podem significar menos ciclos de validação e tornar o valor operacional mais fácil de medir.

O caminho a seguir: autonomia forçada

Os agentes de IA não estão no futuro, eles já estão em uso. O que ainda é preciso é a infraestrutura ao seu redor. Agências sem contexto e restrições claras tendem a operar além do que a organização pode realmente governar. Essa lacuna não se fecha por si só.

A diferença no projeto de IA, afirma AtScale, não será o modelo em escala, mas a clareza do ambiente em que os modelos trabalham. À medida que os agentes se tornam mais comuns em fluxos de trabalho, o quão bem definida é a camada semântica será mais importante do que o tamanho do modelo.

Esta mudança para o contexto de governação e autonomia limitada é explorada mais detalhadamente Relatório público de camadas semânticas de 2016 da AtScaleque examina como os padrões abertos, a interoperabilidade e a governança semântica moldarão a próxima era da inteligência empresarial.

Source link