FreeWilly: Os Novos Modelos de Linguagem da Stability AI que Desafiam o GPT-3.5

Introdução aos Modelos de Linguagem FreeWilly da Stability AI

A Stability AI, em uma colaboração notável com seu laboratório de pesquisa Carper AI lab, revelou um avanço significativo no campo do Processamento de Linguagem Natural (PNL) com a introdução de dois novos e poderosos modelos de linguagem grandes (LLMs) de código aberto: o FreeWilly1 e seu sucessor, o FreeWilly2. Anunciados em 21 de julho, esses modelos já estão causando impacto na comunidade de inteligência artificial, demonstrando capacidades que rivalizam com alguns dos principais modelos proprietários do mercado.

Esses lançamentos representam um passo importante para a democratização da pesquisa em IA, disponibilizando ferramentas de ponta para o público e impulsionando a inovação no campo dos LLMs. Como destacado no canal World of AI, os modelos FreeWilly não são apenas mais uma adição ao crescente ecossistema de IA open source, mas sim sérios concorrentes que estão redefinindo os padrões de desempenho.

O Que São os Modelos FreeWilly da Stability AI?

Os modelos FreeWilly são o resultado de um extenso trabalho de fine-tuning sobre arquiteturas de linguagem já consagradas, visando alcançar um desempenho excepcional em uma variedade de tarefas de compreensão e geração de linguagem natural.

FreeWilly1: Fundamentado no LLaMA 65B

O FreeWilly1, o primeiro da dupla, foi desenvolvido utilizando como base o impressionante modelo LLaMA 65B. A Stability AI aplicou um meticuloso processo de fine-tuning, utilizando um novo dataset gerado sinteticamente. Este dataset foi criado seguindo o formato padrão Alpaca e empregando a técnica de Supervised Fine-Tune (SFT). O objetivo foi aprimorar as capacidades de raciocínio do modelo em diversos benchmarks, e os resultados, conforme divulgado pela empresa, demonstram habilidades de raciocínio excepcionais.

FreeWilly2: O Sucessor Poderoso Baseado no LLaMA 2 70B da Stability AI

Elevando ainda mais o patamar, o FreeWilly2 utiliza como fundação o modelo LLaMA 2 70B, uma das mais recentes e robustas arquiteturas de linguagem disponíveis. De maneira similar ao seu predecessor, o FreeWilly2 passou por um processo de fine-tuning com um dataset gerado sinteticamente, também inspirado na metodologia Alpaca. A Stability AI afirma que este modelo alcança um desempenho que se compara favoravelmente com o GPT-3.5 em diversas tarefas, um feito notável para um modelo de código aberto.

Desempenho e Benchmarks: FreeWilly da Stability AI no Topo

Um dos aspectos mais impressionantes dos modelos FreeWilly é seu desempenho em benchmarks públicos, onde têm consistentemente superado outros modelos de código aberto.

Liderança no Open LLM Leaderboard com FreeWilly

No Open LLM Leaderboard da Hugging Face, uma plataforma que ranqueia e avalia LLMs, os modelos FreeWilly, especialmente o FreeWilly2, têm demonstrado superioridade. Como apresentado no vídeo do World of AI, o FreeWilly2 alcançou uma média de 71.4 em diversas métricas, superando modelos como o LLaMA 2 70B em categorias como ARC (71.1%), HellaSwag (86.4%) e TruthfulQA (59.4%). Essa performance coloca os modelos da Stability AI na vanguarda dos LLMs open source.

Comparativo do FreeWilly com ChatGPT-3.5

A Stability AI destaca que o FreeWilly2, em particular, atinge um nível de performance comparável ao GPT-3.5 em certas tarefas. Embora o GPT-3, como modelo proprietário, tenha acesso a vastos recursos, o fato de um modelo open source como o FreeWilly2 se aproximar de seu desempenho é um indicativo do rápido avanço da comunidade de código aberto e da eficácia das técnicas de fine-tuning empregadas pela Stability AI.

Geração e Coleta de Dados dos Modelos FreeWilly: A Inspiração em Orca

A qualidade de um modelo de linguagem está intrinsecamente ligada aos dados utilizados em seu treinamento. A Stability AI adotou uma abordagem interessante para a geração e coleta de dados para os modelos FreeWilly.

Metodologia de Treinamento dos Modelos FreeWilly

O treinamento dos modelos FreeWilly foi diretamente inspirado pela metodologia apresentada pela Microsoft em seu artigo de pesquisa intitulado "Orca: Progressive Learning from Complex Explanation Traces of GPT-4". Embora o processo de geração de dados da Stability AI seja similar, existem diferenças nas fontes de dados utilizadas. A variante do dataset utilizada pela Stability AI contém 600.000 data points, o que representa aproximadamente 10% do tamanho do dataset original do Orca. Esse dataset foi criado através do prompting de modelos de linguagem com instruções de alta qualidade provenientes de diversos datasets, incluindo COT Submix Original, NIV2 Submix Original, FLAN 2021 Submix Original e T0 Submix Original, todos criados por Enrico Shippole, conforme mencionado pela Stability AI.

Foco na Eficiência e Qualidade com a Abordagem da Stability AI

Ao invés de simplesmente replicar o tamanho massivo do dataset Orca, a Stability AI focou na geração de um dataset menor, porém com instruções de altíssima qualidade. Essa abordagem, que envolveu a geração de 500.000 exemplos com um modelo LLM mais simples e um adicional de 100.000 com um modelo LLM mais sofisticado, visa reduzir significativamente os custos e a pegada de carbono do treinamento, sem comprometer a performance excepcional em diversos benchmarks. Essa estratégia valida a abordagem da Stability AI para datasets gerados sinteticamente.

Avaliação de Performance e Capacidades dos Modelos FreeWilly

Além dos benchmarks públicos, a Stability AI conduziu avaliações internas rigorosas para validar a performance dos modelos FreeWilly.

Avaliação Interna e Externa dos Modelos FreeWilly

Para avaliar internamente os modelos, a Stability AI utilizou o lm-eval-harness da EleutherAI, ao qual adicionaram o AGIeval para uma análise mais completa. Os resultados, publicados no Open LLM Leaderboard, foram avaliados por pesquisadores da Stability AI e reproduzidos independentemente pela Hugging Face. Essa transparência e validação externa reforçam a confiabilidade dos resultados apresentados.

Capacidades Demonstradas pelos Modelos FreeWilly da Stability AI

Ambos os modelos FreeWilly se destacam em diversas áreas, incluindo raciocínio intrincado, compreensão de sutilezas linguísticas e resposta a questões complexas relacionadas a domínios especializados, como Direito e resolução de problemas matemáticos. O vídeo do World of AI também destaca exemplos práticos demonstrados por chansung, criador do projeto LLM as a Chatbot, que testou o FreeWilly2. Os resultados foram promissores em tarefas como:

• Codificação: Geração de funções em Python e JavaScript.
• Escrita Criativa: Criação de introduções para posts de blog.
• Ideação e Resumo: Explicação de conceitos complexos (como computação quântica) em termos simples.
• Redação de E-mails: Elaboração de e-mails profissionais e detalhados.

Esses exemplos práticos ilustram o vasto potencial dos modelos FreeWilly para uma ampla gama de aplicações.

O Futuro Aberto com FreeWilly da Stability AI

O lançamento dos modelos FreeWilly1 e FreeWilly2 pela Stability AI estabelece um novo padrão no campo dos modelos de linguagem de código aberto.

Impacto na Comunidade Open Source e os Modelos FreeWilly

Esses modelos não apenas avançam a pesquisa em IA, mas também capacitam desenvolvedores, pesquisadores e entusiastas ao redor do mundo, fornecendo acesso a ferramentas que antes eram exclusivas de grandes corporações. A Stability AI reitera seu compromisso com a pesquisa aberta sob uma licença não comercial, incentivando a colaboração e o desenvolvimento de novas aplicações.

Potencial e Próximos Passos para os Modelos FreeWilly da Stability AI

A Stability AI se mostra entusiasmada com as possibilidades ilimitadas que esses modelos trarão para a comunidade de IA e as novas aplicações que inspirarão. A empresa incentiva a exploração do incrível potencial do FreeWilly, sinalizando um futuro promissor para a inovação em inteligência artificial impulsionada pela comunidade open source.

Conclusão sobre os Modelos FreeWilly da Stability AI

Os modelos FreeWilly1 e FreeWilly2 da Stability AI marcam um momento importante na evolução dos modelos de linguagem de código aberto. Com desempenho impressionante, metodologias de treinamento inovadoras e um compromisso com a pesquisa colaborativa, esses modelos estão prontos para desempenhar um papel crucial no avanço da inteligência artificial. A comunidade de IA certamente se beneficiará desses poderosos recursos, abrindo caminho para novas descobertas e aplicações que antes pareciam distantes.