Construindo o sistema de auditoria de segurança com IA da MetaMask

Consensys Diligence faz parte da história de segurança da MetaMask há anos, com engajamentos que incluem MetaMask EIP-7715, MetaMask USD e MetaMask Snaps.

O projeto Snaps, em especial, é um dos exemplos mais sólidos dessa colaboração de longa data. Os auditores da Diligence produziram vários dos recursos de segurança fundamentais do ecossistema: o MetaMask Trust Module, o Snaps Security Essentials Guide, que classificou as categorias de vulnerabilidade mais comuns em Snaps, e o Snapguardian, uma ferramenta personalizada para análise automatizada de segurança.

Os engajamentos com Snaps também foram alguns dos primeiros ambientes onde a Diligence aplicou automação com IA para auditoria — primeiro como fluxos de trabalho com ChatGPT e, posteriormente, como agentes de codificação conectados via MCP. Essa integração inicial é a base do que viria a seguir: o Chonky.

De auditorias de segurança manuais ao Chonky

Em todo o setor de segurança, a IA está transformando a forma como as auditorias funcionam. Décadas de conhecimento acumulado por auditores estão sendo codificadas em fluxos de trabalho com IA, e a transição de auditorias totalmente manuais para auditorias baseadas em IA já está em curso. A expressão dessa mudança pela Diligence é o Chonky.

O Chonky é a mais recente metodologia de auditoria com IA da equipe: um harness agêntico personalizado com conjuntos de conhecimento específicos para segurança, fluxos de trabalho calibrados para auditoria e taxonomias de problemas, construído sobre oito anos de expertise em segurança Ethereum. O Chonky é agnóstico em relação à linguagem: não está vinculado ao Solidity nem a nenhuma superfície de auditoria específica. A mesma metodologia se adapta a grandes bases de código de aplicações, outras linguagens e zkVMs.

Concebido com extensibilidade como princípio central de design, ele é construído sobre mais de 100 mil descobertas de vulnerabilidades passadas do ecossistema mais amplo do Ethereum. O ponto-chave é mapear esse conhecimento de segurança para o modelo de ameaças do alvo e gerar hipóteses específicas ao contexto para a base de código em análise. O Chonky sabe o que procurar em uma carteira como a MetaMask porque anos de parceria próxima em segurança estão incorporados nas ferramentas. Os auditores conduzem o processo, e o Chonky apresenta candidatos que ampliam seu alcance e capacidade de pesquisa.

Nos engajamentos mais recentes, os auditores da Diligence utilizaram o Chonky para dois casos de uso distintos na stack da MetaMask: uma grande integração de smart contracts e uma auditoria de Snap.

Amplitude e profundidade em uma integração de smart contracts

Bases de código extensas exigem alocação deliberada de esforço e tempo de revisão. Os auditores aplicaram o Chonky como metodologia, cada um escolhendo sua abordagem preferida. Isso gerou duas técnicas complementares: mineração de vulnerabilidades em amplitude (breadth-first) e revisão manual em profundidade (depth-first).

A mineração de vulnerabilidades é o principal método de revisão com IA da Diligence, construído sobre o Chonky. O auditor personaliza o agente para cada engajamento: definindo o que buscar, onde procurar e quais premissas testar. Nesse engajamento, o auditor com abordagem em amplitude carregou primers da MetaMask para identificar candidatos a descobertas sob diferentes perspectivas. O agente produz candidatos; o auditor os triagem, confirmando quais são reais, descartando falsos positivos e refinando a próxima passagem. Como a IA ainda não consegue verificar suas próprias conclusões de forma confiável, a triagem tornou-se uma das principais habilidades do auditor e uma etapa crucial no pipeline.

A mineração também ampliou a cobertura além do escopo original da auditoria. Falsos positivos tornaram-se parte da revisão do modelo de ameaças. Mesmo quando um candidato a problema não se confirma como uma descoberta, ele ainda testa o limite entre a funcionalidade pretendida e o comportamento explorável. Isso leva o auditor às perguntas de segurança certas.

A abordagem em profundidade aplicou os fluxos de trabalho do Chonky de forma diferente. Eles foram utilizados desde o início para construir uma compreensão contextual aprofundada da base de código da integração. A partir dessa base, os auditores aprofundaram-se nos componentes identificados como de maior risco. Em cada caso, o auditor escolheu a abordagem que melhor ampliaria seu alcance.

Integrando descobertas de auditoria ao fluxo de trabalho do desenvolvedor

Em um segundo engajamento, o Chonky foi aplicado a um novo MetaMask Snap: um repositório institucional em TypeScript. O longo histórico de auditorias de Snaps agora está incorporado nas ferramentas. O que mudou foi a velocidade. O Chonky agora opera com primers ajustados especificamente para o framework Snaps, com escopo calibrado para seus comportamentos recorrentes.

Nesse caso, a triagem foi transferida para o lado da MetaMask. Os auditores da Diligence realizaram uma auditoria da base de código do Snap, formataram seu resultado em uma interface personalizada e interativa para desenvolvedores, e construíram um fluxo de triagem integrado ao ambiente GitHub da MetaMask. A equipe da MetaMask pôde revisar e responder às descobertas dentro do seu processo de desenvolvimento já existente.

A profunda familiaridade da Diligence com o ecossistema Snaps, combinada com a stack extensível do Chonky, permitiu que o resultado da auditoria se integrasse diretamente ao fluxo de revisão da MetaMask. Essa mesma abordagem vai além dos Snaps e se aplica a qualquer equipe com um fluxo de desenvolvimento estabelecido.

Uma metodologia que se aprimora a cada engajamento

As bases de código estão crescendo. As superfícies de ameaça estão se expandindo. O papel do auditor está mudando: uma nova camada foi adicionada — a fase de triagem — onde o julgamento do auditor sustenta o trabalho de segurança.

O resultado é um processo de revisão que vai além de simplesmente apontar uma IA para uma base de código. É um trabalho que alcança ângulos que uma revisão manual não conseguiria cobrir no tempo disponível. Cada engajamento aprimora ainda mais a metodologia: o feedback da triagem afina a base de conhecimento do Chonky ao longo do tempo, reduzindo falsos positivos e aumentando a precisão de detecção.

Para a MetaMask, isso significa que a mesma metodologia pode percorrer toda a stack de software: smart contracts, Snaps e outras superfícies revisadas por um parceiro de segurança já familiarizado com a arquitetura.

Compartilhar a responsabilidade de proteger o ecossistema é fundamental e está alinhado com os princípios de descentralização que o web3 tanto valoriza. A Consensys Diligence tem orgulho de trabalhar em direção a esse objetivo ao lado da equipe da MetaMask.