Mixtral da Mistral AI: Revolucionando LLMs com Arquitetura SMoE e Desempenho Inigualável

Introdução à Nova Era dos Modelos de Linguagem com a Mistral AI

A Mistral AI, uma empresa que rapidamente se destacou no cenário da inteligência artificial, continua a surpreender a comunidade com inovações significativas. Após o sucesso de seu modelo de 7 bilhões de parâmetros, que já superava concorrentes de peso como o Llama 2 em diversas métricas, a empresa francesa agora apresenta o Mixtral 8x7B, uma atualização que redefine os padrões de eficiência e desempenho para Modelos de Linguagem Grandes (LLMs).

O que é o Mixtral 8x7B da Mistral AI?

O Mixtral 8x7B é essencialmente a segunda versão, e uma evolução considerável, do modelo original da Mistral AI. Ele não apenas supera o Llama 2 70B (um modelo com consideravelmente mais parâmetros) e o GPT-3.5 da OpenAI na maioria dos benchmarks, mas o faz com um tamanho de parâmetro ativo surpreendentemente menor, demonstrando um salto em eficiência.

Arquitetura Inovadora: Sparse Mixture-of-Experts (SMoE) no Mixtral

O grande diferencial do Mixtral reside em sua arquitetura Sparse Mixture-of-Experts (SMoE), ou Mistura Esparsa de Especialistas. De acordo com os anúncios da Mistral AI, esta é uma rede apenas de decodificação onde, em vez de todos os parâmetros serem utilizados para cada token processado, o modelo inteligentemente seleciona partes específicas de sua rede. Funciona da seguinte maneira:

• O modelo possui 8 "grupos" distintos de parâmetros, chamados "especialistas".
• Para cada token e em cada camada, uma rede "roteadora" escolhe dinamicamente dois desses especialistas para processar a informação.
• As saídas desses dois especialistas são então combinadas aditivamente.

Esta abordagem permite que o modelo tenha uma capacidade total muito maior (46.7 bilhões de parâmetros no Mixtral 8x7B), mas utilize apenas uma fração desses parâmetros (cerca de 12.9 bilhões por token) durante a inferência. Isso resulta em uma velocidade de processamento e custo equivalentes a um modelo de 12.9B, mas com a qualidade e conhecimento de um modelo muito maior.

Parâmetros e Janela de Contexto do Mixtral

Como mencionado, o Mixtral 8x7B possui um total de 46.7 bilhões de parâmetros, mas sua arquitetura SMoE permite que ele opere utilizando apenas 12.9 bilhões de parâmetros por token. Além disso, o Mixtral lida com uma impressionante janela de contexto de 32.000 tokens, permitindo o processamento de documentos e conversas muito mais longas e complexas.

Desempenho do Mixtral: Superando Gigantes

Os benchmarks divulgados pela Mistral AI demonstram a proeza do Mixtral. Em comparações diretas, ele iguala ou supera o Llama 2 70B e o GPT-3.5 na maioria dos testes padrão da indústria, incluindo:

• MMLU: O Mixtral alcançou 70.6%, superando tanto o Llama 2 70B (69.9%) quanto o GPT-3.5 (70.0%).
• ARC Challenge (25-shot): Com 85.8%, o Mixtral se destacou frente ao Llama 2 70B (85.1%) e GPT-3.5 (85.2%).
• MBPP (pass@1): O Mixtral demonstrou forte capacidade de programação com 60.7%, significativamente acima do Llama 2 70B (49.8%) e GPT-3.5 (52.2%).
• GSM-8K (5-shot): Em raciocínio matemático, o Mixtral obteve 58.4%, superando o Llama 2 70B (53.6%) e GPT-3.5 (57.1%).

É notável que o Llama 2 70B conseguiu superar o Mixtral apenas no benchmark WinoGrande, e o GPT-3.5 teve uma ligeira vantagem no MT Bench, mas por uma margem mínima. Esses resultados são especialmente impressionantes considerando a eficiência de parâmetros do Mixtral.

Capacidades Multilíngues e de Programação do Mixtral

Além do inglês, o Mixtral demonstra forte desempenho em várias outras línguas, incluindo francês, italiano, alemão e espanhol. Sua arquitetura e treinamento também o tornam particularmente hábil na geração e compreensão de código, como evidenciado pelo resultado no benchmark MBPP.

Acesso e Utilização dos Modelos Mixtral

A Mistral AI está facilitando o acesso aos seus modelos de ponta, com diferentes opções para desenvolvedores e pesquisadores.

La Plateforme da Mistral AI

A empresa lançou "La Plateforme", sua plataforma de desenvolvimento que oferece acesso antecipado (beta) aos seus primeiros endpoints de IA. Atualmente, estão disponíveis três modelos otimizados:

• Mistral-tiny: O endpoint mais custo-efetivo, servindo o Mistral 7B Instruct v0.2. Funciona apenas em inglês e obtém 7.6 no MT-Bench.
• Mistral-small: Este endpoint serve o novo modelo Mixtral 8x7B, oferecendo excelente desempenho em múltiplas línguas e programação, com 8.3 no MT-Bench.
• Mistral-medium: O endpoint de mais alta qualidade, servindo um modelo protótipo com desempenho superior, atualmente entre os melhores modelos disponíveis baseados em benchmarks padrão.

Cada endpoint possui um diferente equilíbrio entre desempenho e custo, permitindo que os usuários escolham a melhor opção para suas necessidades.

Mixtral em Outras Plataformas

A natureza aberta da Mistral AI também permite que seus modelos sejam acessados e utilizados através de outras plataformas. Por exemplo, o modelo Mistral-7B-Instruct-v0.2 já está disponível no Hugging Face. Além disso, plataformas como a together.ai já demonstraram a capacidade do Mixtral de operar com altíssima velocidade de inferência, atingindo mais de 100 tokens por segundo.

O Impacto do Mixtral no Ecossistema de IA

O lançamento do Mixtral 8x7B pela Mistral AI é um marco importante para a comunidade de inteligência artificial, especialmente para o movimento de código aberto. A arquitetura SMoE demonstra uma nova direção para construir LLMs mais eficientes sem sacrificar o desempenho, o que pode democratizar ainda mais o acesso a modelos de ponta.

A capacidade de alcançar ou superar modelos muito maiores com um custo computacional significativamente menor tem implicações profundas para a pesquisa, desenvolvimento de aplicações e a sustentabilidade da IA. A Mistral AI está, sem dúvida, capacitando a comunidade com ferramentas robustas e inovadoras.

Conclusão: O Futuro Promissor com Mixtral

O Mixtral 8x7B não é apenas mais um LLM; é uma demonstração do poder da inovação em arquiteturas de IA. Ao combinar desempenho de ponta com eficiência notável e um compromisso com o código aberto, a Mistral AI está pavimentando o caminho para um futuro onde modelos de linguagem avançados são mais acessíveis, versáteis e poderosos. A comunidade de IA aguarda ansiosamente para ver as aplicações e os avanços que surgirão a partir desta nova e empolgante tecnologia.