Para desenvolvedores de aplicativos Android que dependem de IA para codificar, escolher o modelo certo pode ser complicado. Nem todos os modelos são criados da mesma forma e muitos não são treinados especificamente para fluxos de trabalho de desenvolvimento Android. Para resolver isso, o Google introduziu um novo benchmark para ajudar os desenvolvedores a entender o desempenho de diferentes modelos de IA em tarefas de codificação Android do mundo real.
Dublado Banco Androido novo benchmark foi projetado para avaliar quão bem os modelos de linguagem grandes (LLMs) lidam com tarefas típicas de desenvolvimento do Android. Google explica que o benchmark avalia modelos usando tarefas do mundo real de projetos públicos no GitHub e pede aos modelos para recriar solicitações pull reais e resolver problemas semelhantes aos que os desenvolvedores encontram ao criar aplicativos Android. Os resultados são então verificados para ver se realmente resolvem o problema.
Em termos mais simples, o benchmark verifica se o código gerado pelos modelos de IA realmente corrige o problema, em vez de apenas parecer correto superficialmente. Isso ajuda o Google a medir a utilidade dos diferentes modelos quando se trata de resolver problemas reais de desenvolvimento do Android.
Com a primeira versão do Android Bench, o Google planejou “medir puramente o desempenho do modelo e não focar no uso de agentes ou ferramentas”. Os resultados destacam uma grande lacuna, com os modelos completando com sucesso entre 16% e 72% das tarefas de benchmark. A empresa diz que a publicação desses resultados deve facilitar aos desenvolvedores a comparação de modelos e a escolha daqueles que são realmente capazes de lidar com problemas reais de codificação do Android.
Além de orientar os desenvolvedores, o benchmark também pode levar as empresas de IA a melhorar a compreensão de seus modelos sobre o desenvolvimento do Android. Para apoiar esse esforço, o Google publicou a metodologia, o conjunto de dados e a estrutura de testes do Android Bench no GitHub. Com o tempo, isso pode levar a ferramentas de IA mais bem equipadas para navegar em bases de código Android complexas e ajudar os desenvolvedores a criar e corrigir aplicativos de maneira mais eficaz.
