Pular para o conteúdo
Natalia Nario

Natalia Nario

Avaliação de agentes de IA · Transformação de processos · Treinamentos · Bancos e finanças · Uruguai

natalianario.com · contact@natalianario.com · linkedin.com/in/natalianario

Resolvo problemas complexos unindo negócio, risco e tecnologia.

Retrato de Natalia Nario

O que me move é ver os processos melhorarem, as pessoas crescerem e o que entregamos ficar melhor a cada dia. Hoje trabalho em três frentes:

  • Avaliação de agentes de IA. Estratégia, critérios e evidências para decidir se um agente está pronto. Estratégia, critérios e evidências para decidir se um agente está pronto para uso, avaliando-o de ponta a ponta.
  • Transformação de processos. Processos mais rápidos e eficazes em bancos, finanças e auditoria. Transformo processos manuais, lentos e caros em processos rápidos e eficazes, que funcionam sem depender de mim, em bancos, finanças, fintechs e auditoria.
  • Treinamentos. Cursos e workshops de avaliação de IA e de IA responsável. Cursos e workshops de avaliação de IA e de IA responsável, para equipes e organizações.

Contadora Pública (Uruguai). Mais de 25 anos de trajetória, 14 no sistema financeiro, do lado do regulador e do banco. Independente desde novembro de 2026.

Minha trajetória

Experiência

Em cada organização, fui além da função para a qual fui contratada e assumi problemas que ainda não tinham solução.

  • Contadora Pública (Uruguai)
  • Mais de 25 anos de trajetória, 14 no sistema financeiro, no regulador e no banco
  • Qualidade desde 2014 e IA desde 2023: QA Leader e criadora da ArtificialQA na QAlified
  • Independente desde novembro de 2026 · Uruguai
  1. Desde novembro de 2026

    Consultora independente

    Hoje aplico ao meu próprio caminho a pergunta que me guia: como podemos fazer isso melhor? Trabalho em três frentes: avaliação de agentes de IA, transformação de processos em bancos, finanças, fintechs e auditoria, e treinamentos em avaliação de IA e IA responsável.

    O que faço como consultora independente
    • O que ofereço. Avaliações de agentes de IA, da estratégia e dos critérios até as evidências para decidir se estão prontos; projetos de transformação de processos; e cursos e workshops. Em todos, penso, pesquiso, inovo, proponho e executo em equipe, com gestão da mudança.
    • Como avalio agentes. Ao avaliar um agente, não olho só para as respostas: olho também como ele foi implementado, suas etapas, seus dados, as pessoas que participam e o acompanhamento depois que entra em produção.
    • Como uso a IA. Primeiro especifico o que se quer alcançar, depois construo e, no final, valido se funciona como foi proposto.
    • Aprendizado contínuo. Continuo estudando todos os dias e me mantenho atualizada na minha área.
  2. 2022 a 2026

    QAlified (GeneXus Consulting)

    QA Leader e referência em IA aplicada · Criadora e Product Manager da ArtificialQA

    Estruturei e executei a estratégia de avaliação de agentes de IA em projetos reais; essa experiência deu origem à ArtificialQA, que imaginei, desenhei, construí e coloquei em produção na QAlified. Impulsionei a adoção da IA generativa em toda a empresa, com foco em segurança. Também liderei equipes de testes e qualidade em que jovens, muitas vezes no primeiro emprego, cresceram e passaram a valorizar o que faziam.

    O que eu fazia na QAlified
    • Avaliação de agentes. Pensei, estruturei e executei a estratégia de avaliação de agentes de IA em projetos reais, de chatbots baseados em RAG a agentes que tomam decisões e executam tarefas em várias etapas: o que avaliar, com quais critérios e que evidências cada decisão exigia.
    • Liderança de equipes. Coordenei mais de 20 projetos de testes para órgãos públicos e empresas privadas, vários ao mesmo tempo, com equipes de até 7 pessoas sob minha responsabilidade, da integração ao acompanhamento e às avaliações de desempenho.
    • Qualidade de sistemas. Liderei a qualidade de sistemas contábeis, financeiros, de faturamento e de folha de pagamento, com testes funcionais, automatizados, de performance, de segurança, de migração de dados e de aceitação com usuários.
    • Consultorias. Participei de consultorias de qualidade sobre processos de desenvolvimento e entrega, com diagnóstico e propostas de melhoria. Além disso, liderei consultorias para apoiar outras organizações na passagem do QA tradicional para o QA agêntico.
    • Melhoria interna. Redesenhei o programa de onboarding para novos integrantes, melhorei os relatórios e criei modelos de comunicação para não redigir sempre as mesmas mensagens.
    • Primeiros passos com IA. Em janeiro de 2023, usei o ChatGPT pela primeira vez para criar casos de teste: diante dos 16 que tínhamos, ele propôs mais de 40. No mesmo ano, assumi a liderança da linha de atuação em IA aplicada a testes funcionais.
    • Assistentes e agentes. Projetei assistentes de IA para testers e depois agentes para apoiar o trabalho diário de líderes e equipes. Criei e organizei por muito tempo as reuniões de IA da empresa.
    • Formação. Obtive a certificação como instrutora em IA generativa aplicada a testes e ministrei cursos para testers dentro e fora da QAlified.
    • Inovação. Propus mais de 15 iniciativas entre 2022 e 2026, da qualidade a partir dos requisitos ao uso de IA para testar IA.
    • ArtificialQA. A avaliação de agentes de IA era manual e muito lenta. Primeiro buscamos como avaliá-los, depois como automatizar essa avaliação e depois como torná-la mais rápida e melhor. Assim nasceu a ArtificialQA, uma plataforma para avaliar chatbots e agentes de IA com revisão humana. Foi uma ideia que tive e que fomos construindo em equipe. Durante quase um ano, nós a desenvolvemos com uma abordagem tradicional; essa primeira versão saiu em 2025 e nos deu uma base sólida de conhecimento do produto. No início de 2026, propus reconstruí-la com desenvolvimento assistido por IA, com outra linguagem e outra forma de trabalhar: a IA escrevia o código, eu contribuía com o critério e as decisões de produto, e depois validávamos cada versão antes de ela ir para produção. Essa forma de trabalhar, mais ágil, organizada e segura, foi depois incorporada pela equipe, e com uma equipe reduzida a nova versão entrou em produção em abril de 2026, com a validação de especialistas em segurança e performance.
    • O que aprendi. Foi uma das experiências de que mais gostei: construir um produto a partir do conhecimento do sistema e dos seus objetivos, sem escrever uma linha de código. Confirmou algo que sempre aplico: o mais importante é ter clareza sobre o que se quer construir e como verificar se funciona.
  3. 2012 a 2022

    Banco Hipotecario del Uruguay (banco hipotecário estatal)

    Líder do grupo de Análise e Testes, Área de Processos (2014 a 2022) · Ingressei por concurso como profissional da Área Contábil (2012)

    Na Área Contábil, vi muitas oportunidades de melhoria. Comecei pela conciliação manual de contas transitórias, em um grupo de cerca de 15 pessoas que depois coordenei: em vez de só conciliar, tratamos a causa de cada problema com todas as áreas do banco, e a tarefa passou a exigir 2 pessoas. Levar essa forma de trabalho a outros processos deu origem ao grupo de Análise e Testes, na Área de Processos, que liderei até 2022. Nesses anos, analisamos, especificamos e testamos cada mudança do sistema; depois automatizamos os testes dos processos-chave e, por fim, processos operacionais do banco.

    O que eu fazia no Banco Hipotecario del Uruguay
    • Análise. Para cada pedido ou problema, identificava onde se originava, de que processo fazia parte e quais áreas envolvia, e avaliava sua oportunidade, sua conveniência e seus riscos.
    • Comitê de priorização. Participei do comitê em que o gerente de contabilidade e os gerentes das áreas do banco priorizavam melhorias no sistema conforme o risco mitigado, os problemas resolvidos e o trabalho economizado.
    • Solução de menor impacto. Definia se bastava ajustar parâmetros ou o processo, ou se era preciso mudar o sistema, buscando mitigar o risco com o menor impacto no negócio. Alinhava escopo, orçamento e razoabilidade com TI, e obtinha o aval das áreas envolvidas.
    • Especificação. Especifiquei requisitos com TI e com os donos de cada processo, sobre o sistema central (core bancário) e os sistemas que trabalham com ele, incluindo integrações, bancos de dados e processos batch.
    • Testes. Verificava se cada mudança funcionava conforme o proposto, no sistema central e nos sistemas relacionados, e se a contabilidade, a área de riscos e cada área faziam sua parte. Os testes de aceitação eram feitos junto com os usuários.
    • Gestão da mudança. Acompanhava as áreas para que fizessem parte de cada mudança, a entendessem e a aplicassem.
    • Automação. Automatizamos os testes dos processos-chave e depois processos operacionais do banco, para que as pessoas se dedicassem a tarefas de maior valor.
    • Desenho de processos. Desenhei novos processos operacionais do banco e redesenhei outros a pedido das áreas, modelados em BPMN com Bizagi, junto com contabilidade, finanças, jurídico e riscos.
    • Documentação e parâmetros. Contribuí para a documentação de processos e para a definição de parâmetros e perfis dos sistemas, a partir dos problemas identificados e das mudanças que implementávamos.
    • Riscos e auditoria. Trabalhei com matrizes de riscos e acompanhei os planos de ação de auditoria e os relatórios para a gerência.
    • Relação com terceiros. Trabalhei com fornecedores, consultorias e auditorias externas.
  4. 2008 a 2012

    Banco Central del Uruguay (banco central e regulador financeiro do Uruguai)

    Analista, Supervisão de Entidades Financeiras Não Bancárias

    Participei da supervisão de entidades financeiras não bancárias, com foco em análise de riscos e conformidade regulatória.

    O que eu fazia no Banco Central del Uruguay
    • Ingresso. Ingressei por concurso público na área de Supervisão de Entidades Financeiras Não Bancárias.
    • Supervisão. Participei da supervisão do mercado de valores mobiliários, das administradoras de fundos de previdência e de outras entidades financeiras não bancárias.
    • Análise. Analisei riscos, conformidade regulatória e operação das instituições supervisionadas.
    • Relatórios e fiscalização. Elaborei relatórios técnicos e participei de processos de fiscalização.
    • Formação. Nesta etapa, fiz a Pós-graduação em Finanças, com ênfase em Finanças Bancárias, e o Taller de Supervisión Basada en Riesgo do supervisor canadense (OSFI).
  5. Até 2008

    Início de carreira

    Contadora e analista financeira

    Na administração de uma empresa familiar, organizei os processos e a contabilidade para que os sócios conhecessem com clareza o destino dos seus recursos, e as pessoas que trabalharam comigo cresceram comigo. Depois abri um escritório de contabilidade com um sócio e, como analista financeira em uma corretora de valores, propus melhorias nas informações ao cliente.

    O que eu fazia no início de carreira
    • Primeiro emprego. Tarefas administrativas, enquanto terminava a faculdade.
    • Empresa familiar. Cuidei da administração e da contabilidade de uma empresa familiar de cerca de 100 pessoas, em uma equipe administrativa de três, responsável pela folha de pagamento e pelos pagamentos a fornecedores.
    • Construtora. Trabalhei na administração de uma empresa de construção de edifícios e conjuntos habitacionais.
    • Escritório de contabilidade. Abri um escritório de contabilidade com um sócio (2006 a 2007), dedicado a serviços contábeis e de apuração de impostos.
    • Corretora de valores. Como analista financeira (2007 a 2008), cuidei das carteiras de clientes e do acompanhamento das suas operações. Propus automatizar tarefas repetitivas e melhorar os relatórios para dar informações melhores ao cliente.
    • Diploma. Obtive o título de Contadora Pública em 2004.
Minha forma de trabalhar

Como eu trabalho

Em qualquer organização, com qualquer ferramenta e também ao avaliar agentes de IA, sigo o mesmo caminho.

  1. Entender o problema

    Antes de propor, investigo onde ele se origina, quais processos e áreas envolve e como se trabalha hoje.

  2. Desenhar a solução

    Avalio alternativas, de um ajuste de processo a uma mudança tecnológica, e escolho a que resolve com o menor impacto e o risco mais controlado.

  3. Alinhar com as áreas e com a equipe

    Integro as visões de cada área envolvida na mudança, que variam conforme o negócio e o processo: tecnologia, risco, jurídico e operação, entre outras. Além disso, envolvo desde o início a equipe que vai trabalhar com o processo, para que participe da construção da mudança e não a receba só no final. As decisões se sustentam porque uma equipe as apoia.

  4. Implementar e verificar

    Participo da implementação e verifico com testes se o resultado é o que foi combinado.

  5. Acompanhar quem vai usá-la

    Capacito e acompanho as pessoas que trabalham com o novo processo, até que elas se apropriem dele.

  6. Documentar e automatizar

    Documento o aprendizado e automatizo o repetitivo, começando pelo que não pode falhar, para que a equipe dedique seu tempo ao que agrega valor. Assim, quando termino um projeto ou deixo uma função, a equipe pode continuar sem mim.

Ao encerrar cada etapa, o que mais valorizo é deixar processos que funcionam melhor e de forma mais eficiente, e uma equipe e um cliente satisfeitos com o resultado.

Como resolvi

Alguns exemplos

Situações das quais participei, contadas sem detalhes internos de nenhuma empresa, porque essas histórias pertencem a elas.

ArtificialQA: avaliar o que não se pode prever

O que começou como uma planilha para avaliar respostas virou uma plataforma em produção.

Como abordei

Em meados de 2024, recebemos o desafio de testar um assistente de IA generativa e não tínhamos uma forma clara de decidir se uma resposta era aceitável. Comecei com uma planilha com critérios, limiares e pesos; quando esse esquema ficou difícil de administrar, incorporamos um avaliador baseado em LLM para cada critério, que atribui uma nota e justifica sua decisão. Em 2025, desenvolvemos com a equipe um produto mínimo viável (MVP); em 2026, propus reconstruí-lo com desenvolvimento assistido por IA e construí essa nova base, que depois continuamos desenvolvendo com a equipe. Em paralelo, eu continuava avaliando agentes em projetos reais, e cada novo desafio virava um requisito para a plataforma.

Resultado

A nova versão entrou em produção em abril de 2026, com API pública e servidor MCP. Com a equipe, apresentamos a plataforma em conferências e workshops da região.

De conciliar todos os dias a resolver a causa

Na contabilidade de um banco, passamos de conciliar a resolver a causa raiz.

Como abordei

Na contabilidade de um banco, havia um grande número de contas transitórias conciliadas manualmente. Primeiro elaboramos um catálogo comum para registrar tudo da mesma forma, depois definimos lançamentos-padrão validados e então tratamos a causa dos casos mais frequentes. Priorizamos as melhorias conforme o que resolviam e o risco que mitigavam, junto com todas as áreas.

Resultado

As contas transitórias diminuíram de forma significativa, e a equipe dedicada a conciliá-las passou de cerca de 15 pessoas para 2; as demais foram realocadas para tarefas de maior valor dentro do banco. Essa forma de trabalhar foi aplicada depois a outros processos.

Redesenhar a liquidação de uma operação complexa com todas as áreas

No sistema era uma única operação, mas na prática era um processo que envolvia muitas áreas.

Como abordei

Analisamos a fundo a operação, o processo, as pessoas e os setores envolvidos. Definimos a solução em conjunto, de acordo com a regulamentação e sem aumentar os riscos.

Resultado

Melhor coordenação entre setores, um processo melhor para quem o usava e um resultado melhor para o cliente.

Automatizar começando pelo que não pode falhar

Uma matriz de riscos para decidir o que automatizar primeiro.

Como abordei

Elaboramos uma matriz de riscos para identificar os processos-chave. Primeiro automatizamos os testes desses processos e depois aplicamos o que aprendemos a processos operacionais.

Resultado

Menos tarefas manuais e mais tempo da equipe para análise.

Impulsionar a IA generativa em toda uma empresa

Pesquisar primeiro e depois compartilhar, para que todos trabalhassem melhor.

Como abordei

Primeiro pesquisei o que era e como podia melhorar o trabalho diário. Depois compartilhei isso, com treinamento em uso seguro e conversas individuais com líderes. Propus assistentes e depois agentes para o trabalho diário, sempre com revisão humana.

Resultado

Os assistentes e depois os agentes foram incorporados ao trabalho diário das equipes.

O que estudei e por quê

Formação

Há 25 anos me capacito de forma contínua. Gosto de estudar e de me manter atualizada.

Contadora Pública (Uruguai) · Universidad de la República (universidade pública do Uruguai) · 2004

  • AiU-Certified GenAI-Assisted Test Engineer e instrutora certificada do programa

    Brightest · 2024 e 2025

    Estudei IA aplicada à qualidade e depois obtive a certificação para formar outras pessoas.

  • Certificação em Gestão de Riscos

    Némesis · 2018

    Os riscos estão em toda parte. Para identificá-los, é preciso entender a forma de pensar sobre eles.

  • Pós-graduação em Finanças, ênfase em Finanças Bancárias

    Universidad Católica del Uruguay · 2011

    Trabalhando no sistema financeiro, eu precisava compreender a fundo seus aspectos financeiros e seus processos.

  • Coach Profissional em PNL

    Instituto PNL del Uruguay · 2021

    Tenho interesse em entender as pessoas e poder ajudá-las, começando pela minha equipe.

Formação em IA e avaliação

  • Introduction to evals · Claude Academy da Anthropic · 2026
  • Introducción a las pruebas de sistemas de IA · Udemy · 2024
  • Generative AI Essentials · Universidade de Michigan · 2024
  • GeneXus Enterprise AI · GeneXus · 2024

Hoje continuo aprendendo com um sistema agêntico próprio, que seleciona para mim notícias, cursos e eventos.

Idiomas

  • Espanhol, nativo
  • Inglês, intermediário
  • Português, fluente na conversação, escrita básica

Formação em IA e avaliação. Introduction to evals (Claude Academy da Anthropic, 2026), Introducción a las pruebas de sistemas de IA (Udemy, 2024), Generative AI Essentials (Universidade de Michigan, 2024) e GeneXus Enterprise AI (2024).

Toda a formação, por tema

Inteligência artificial

  • Introduction to evals, Claude Academy da Anthropic (2026)
  • Generative AI Essentials, Universidade de Michigan no Coursera (2024)
  • GeneXus Enterprise AI, GeneXus (2024)
  • Introducción a las pruebas de sistemas de IA, Udemy (2024)
  • Taller de IA para Testers, Testing Para Todos (2023)
  • ChatGPT MasterClass para profesionales en la tecnología, Udemy (2023)

Liderança e comunicação

  • Programa Internacional Liderazgo y Gestión I y II, CESA Management Solutions (2021 e 2022)
  • Taller de presentaciones efectivas, Daniel Ríos Public Speaking (2024)
  • Taller Negociación, Arte y Ciencia, CMI Interser (2023)
  • Negociación Efectiva, Universidad de la Empresa (2021)
  • Gestión de Equipos de Alto Rendimiento, PNL Nakle (2019)
  • Taller de Redacción, Oficina Nacional del Servicio Civil (2010)

Riscos, controle e regulamentação

  • Gestión de Riesgo Operacional, ALIDE (2016)
  • Gestión de los Servicios de TI, fundamentos ISO/IEC 20000, UNIT (2016)
  • Ratio de Cobertura de Liquidez, CPA Ferrere (2016)
  • Auditoría de Gestión, Deloitte (2015)
  • Normas Internacionales de Información Financiera, PwC (2014 e 2017)
  • El Presupuesto y el Sistema Contable en la Administración Pública, UPAE (2013)
  • Advanced Financial Analysis Techniques Course (2011)
  • Taller de Supervisión Basada en Riesgo, OSFI do Canadá (2009)
  • IRAE e IRPF, Colegio de Contadores, Economistas y Administradores (2007)

Processos e gestão

  • Especialista en Gestión por Procesos para Instituciones Financieras, ALIDE (2019)
  • Gestión de Proyectos, Universidad Católica del Uruguay (2019)
  • Formulación y Gestión de Proyectos, Oficina Nacional del Servicio Civil (2014)

Testes

  • Automatización de pruebas con Katalon Studio, GeneXus Consulting (2022)
  • Técnicas de Testing para Equipos Ágiles, Peregrinus e Abstracta (2018)
  • Testing Funcional para Usuarios, CES (2014)

Dados

  • Excel Avanzado, SQL y Power BI (2021)
  • Cubos y reportes de Data Warehouse (2020)
  • Consultas SQL para la toma de decisiones, UPAE (2014)

Idiomas: espanhol (nativo) · inglês (intermediário) · português (fluente na conversação, escrita básica)

Competências técnicas

Competências técnicas

  • Estratégia de avaliação de agentes de IA: critérios, limiares, validações determinísticas e não determinísticas, LLM-as-a-Judge e calibração de avaliadores.
  • IA generativa, agentes, MCP, RAG, LLM-as-a-Judge, desenvolvimento com IA e GeneXus Enterprise AI.
  • BPMN no Bizagi, levantamento e redesenho de processos de ponta a ponta.
  • Matrizes de riscos.
  • Excel avançado, Power BI e SQL.
  • Prompts aplicados a testes e mitigação de vieses e riscos em sistemas de IA.
Um desafio pessoal

Compartilhando o que aprendi

Nos últimos anos, comecei a compartilhar o que aprendi, algo de que hoje gosto especialmente. Já são dezenas de palestras e workshops, com públicos de cinco países, e em cada um procuro fazer com que os participantes levem algo útil e o entendam, mesmo sem formação técnica.

Natalia Nario dando uma palestra no TestingUY 2025
TestingUY 2025 · Montevidéu
Natalia Nario falando para o público no Testear.la 2025
Testear.la 2025 · Buenos Aires

Docência

  • Ministrei mais de 20 Open Labs, workshops práticos para testar agentes de IA (2026), em que cada participante avalia um agente com casos próprios e decide, com evidências, se pode confiar nele.
  • Coministrei duas edições do curso de IA generativa aplicada a testes do programa AiU da Brightest (2025), sobre o uso de prompts para revisar requisitos, montar casos e dados de teste e reportar defeitos.
  • Ministrei cursos de testes com exercícios próprios, da revisão de requisitos ao desenho de casos, para equipes e clientes (2022 a 2024).
  • Ministrei uma aula como convidada em uma pós-graduação em engenharia de software da Facultad de Ingeniería (UdelaR, 2025).
  • Ministrei aulas em dois programas de formação em testes do CES (2026) e fui convidada para a banca dos projetos finais.

Palestras, entre outras: Quality Sense Conf 2025 (Abstracta), TestingUY 2025 e 2026, Testear.la 2025 (Buenos Aires), CUTI Talk IA, IT Builders Live 26, Testing Day Bolivia e Testing Perú 2026. Docência: duas edições do curso de IA generativa aplicada a testes (Brightest, 2025), aulas em dois programas de formação do CES e uma aula como convidada em uma pós-graduação da Facultad de Ingeniería (UdelaR).

Detalhes, exemplos e vídeos em natalianario.com

Palestras, workshops e entrevistas

Palestras ministradas em espanhol.

2026

2025 e 2024

Contato

Vamos conversar

Podemos trabalhar juntos em qualquer uma das três frentes:

  • Avaliação de agentes de IA
  • Transformação de processos em bancos, finanças, fintechs e auditoria
  • Treinamentos em avaliação de IA e em IA responsável

Envie uma mensagem

O que você gostaria de fazer?

Só eu recebo as mensagens. Um recado só é publicado se você marcar a caixa e depois que eu o ler. As visitas a esta página são medidas de forma anônima, sem cookies.