Dolly 2.0 da Databricks: O Primeiro LLM de Instrução Aberto para Uso Comercial

Introdução ao Free Dolly 2.0: Uma Revolução Open Source em Modelos de Linguagem

A Databricks, empresa conhecida por suas soluções de dados e inteligência artificial, anunciou recentemente o lançamento do Dolly 2.0, um modelo de linguagem grande (LLM) de instrução-ajustada que se destaca por ser o primeiro verdadeiramente open source e licenciado para uso comercial. Esta iniciativa representa um marco significativo na democratização da IA, permitindo que organizações de todos os tamanhos possam criar, possuir e personalizar LLMs poderosos sem depender de APIs de terceiros ou compartilhar seus dados sensíveis.

Conforme detalhado em seu blog oficial, o Dolly 2.0 é um modelo com 12 bilhões de parâmetros, construído sobre a família de modelos EleutherAI Pythia e ajustado com um novo dataset de alta qualidade, totalmente gerado por humanos, chamado databricks-dolly-15k.

A Evolução do Dolly: Da Versão 1.0 para a 2.0 e o Salto para o Uso Comercial

A primeira versão do Dolly, lançada poucas semanas antes do Dolly 2.0, demonstrou que um LLM com interatividade semelhante ao ChatGPT poderia ser treinado por menos de $30. No entanto, o Dolly 1.0 foi treinado utilizando o dataset da equipe Stanford Alpaca, que, por sua vez, continha dados gerados a partir da API da OpenAI. Isso impunha restrições de uso comercial devido aos termos de serviço da OpenAI.

O Dolly 2.0 supera essa limitação crucial. A Databricks investiu na criação de um dataset proprietário, o databricks-dolly-15k, que não possui as mesmas restrições, abrindo caminho para aplicações comerciais. Essa mudança estratégica é fundamental para empresas que desejam integrar LLMs em seus produtos e serviços sem infringir licenças ou comprometer a propriedade intelectual.

Desvendando o Dolly 2.0: Arquitetura e Treinamento do LLM Aberto

O Dolly 2.0 não é apenas uma versão melhorada; é uma reconstrução pensada para a liberdade e flexibilidade. Sua arquitetura e o processo de treinamento são chaves para entender seu potencial.

O Modelo Base do Dolly 2.0: EleutherAI Pythia e a Importância do Open Source

A base do Dolly 2.0 é a família de modelos Pythia da EleutherAI, uma organização de pesquisa focada em IA open source. A escolha por um modelo base já aberto reforça o compromisso da Databricks com a transparência e a colaboração comunitária. Os modelos Pythia são conhecidos por sua robustez e por serem treinados em datasets públicos, o que facilita a replicação e a análise por pesquisadores independentes.

O Coração do Dolly 2.0: O Dataset databricks-dolly-15k

O diferencial mais significativo do Dolly 2.0 reside em seu dataset de ajuste fino, o databricks-dolly-15k. Este conjunto de dados contém 15.000 pares de prompt/resposta de alta qualidade, especificamente criados para o ajuste de instrução de modelos de linguagem grandes.

A Necessidade de um Novo Dataset para o Dolly 2.0

A Databricks identificou que muitos datasets de instrução existentes, como os usados para treinar modelos como Alpaca, Koala, GPT4All e Vicuna, sofriam de limitações para uso comercial devido à sua origem ou licenciamento. Para contornar esse obstáculo, a empresa decidiu criar um dataset completamente novo, "não contaminado" por essas restrições.

A Criação Colaborativa do Dataset do Dolly 2.0

O databricks-dolly-15k foi um esforço colaborativo notável, com mais de 5.000 funcionários da Databricks contribuindo durante março e abril de 2023. Esses registros de treinamento são descritos como naturais, expressivos e projetados para representar uma ampla gama de comportamentos, desde brainstorming e geração de conteúdo até extração e sumarização de informações. As tarefas específicas incluíram:

• Q&A Aberto: Perguntas que exigem conhecimento de mundo (ex: "Por que as pessoas gostam de filmes de comédia?").
• Q&A Fechado: Perguntas que podem ser respondidas usando apenas a informação contida em um texto de referência.
• Extração de Informação do Wikipedia: Extrair entidades ou fatos específicos de um parágrafo.
• Sumarização de Informação do Wikipedia: Destilar um trecho em um resumo curto.
• Brainstorming: Gerar ideias para um tópico aberto.
• Classificação: Julgar a pertinência de itens a uma classe (ex: animais, minerais, vegetais).
• Escrita Criativa: Escrever poemas ou cartas de amor.

Este dataset está licenciado sob Creative Commons Attribution-ShareAlike 3.0 Unported License, permitindo que qualquer pessoa o use, modifique ou estenda para qualquer propósito, incluindo aplicações comerciais.

Recursos Essenciais do Dolly 2.0

Além de seu dataset único, o Dolly 2.0 oferece recursos técnicos que o tornam uma ferramenta poderosa e eficiente.

Dolly 2.0: Licenciamento Aberto para Pesquisa e Uso Comercial

A característica mais celebrada do Dolly 2.0 é sua licença permissiva, que o torna adequado tanto para pesquisa acadêmica quanto para desenvolvimento de produtos comerciais. Isso permite que qualquer organização crie, possua e customize LLMs poderosos que podem interagir com pessoas, sem a necessidade de pagar por acesso via API ou compartilhar dados com terceiros, garantindo maior controle e privacidade.

Otimizações de Desempenho no Dolly 2.0: Treinamento com Precisão Mista e Fusão de Kernel

O Dolly 2.0 foi projetado para melhorar o desempenho e a eficiência de aplicações de machine learning. Duas técnicas importantes mencionadas são:

• Treinamento com Precisão Mista (Mixed-Precision Training): Permite que desenvolvedores usem aritmética de ponto flutuante de menor precisão para acelerar o processo de treinamento, resultando em melhorias significativas de desempenho sem sacrificar a acurácia.
• Fusão Automática de Kernel (Automatic Kernel Fusion): Permite que o compilador combine múltiplas operações de kernel em uma única operação otimizada. Isso pode melhorar o desempenho e reduzir o uso de memória ao eliminar operações redundantes.

Pythia e o Dolly 2.0: Ferramentas para Análise de LLMs

O vídeo e o blog da Databricks mencionam o Pythia, uma suíte de ferramentas para analisar modelos de linguagem grandes durante o treinamento e escalonamento. O Dolly 2.0 é construído sobre a família de modelos Pythia. Essa suíte permite que desenvolvedores analisem o desempenho de LLMs em diferentes cenários de treinamento e escalonamento, e otimizem seus modelos para diversas configurações de hardware. O artigo de pesquisa sobre Pythia oferece insights detalhados sobre como esses modelos se comportam.

Primeiros Passos com o Dolly 2.0

Para começar a usar o Dolly 2.0, a Databricks sugere visitar a página do modelo no Hugging Face e o repositório do Dolly no GitHub para baixar o dataset databricks-dolly-15k. O vídeo também demonstra o uso do Dolly 2.0 em um ambiente Google Colab, mostrando como instalar as dependências e gerar texto. A Databricks também oferece webinars para demonstrar como aproveitar o potencial dos LLMs em sua organização.

O Impacto do Dolly 2.0 e o Futuro dos LLMs Abertos

O lançamento do Dolly 2.0 pela Databricks é um passo importante para o ecossistema de inteligência artificial, com implicações significativas para o futuro dos modelos de linguagem grandes.

Democratização da IA com Dolly: Privacidade e Controle

Ao fornecer um LLM de instrução-ajustada verdadeiramente aberto e comercialmente viável, a Databricks está capacitando uma gama mais ampla de desenvolvedores e organizações. Isso fomenta a inovação e permite que mais entidades explorem o potencial dos LLMs sem as barreiras de custo ou as preocupações com a privacidade de dados associadas a modelos proprietários.

Dolly 2.0 e os Desafios Éticos: Rumo a uma IA Responsável

A Databricks reconhece que questões importantes como viés, accountability e segurança em IA devem ser abordadas por uma ampla comunidade de stakeholders, e não apenas por algumas grandes empresas. A disponibilização de modelos e datasets open source como o Dolly 2.0 e o databricks-dolly-15k incentiva o comentário, a pesquisa e a inovação que ajudarão a garantir que todos se beneficiem dos avanços em tecnologia de inteligência artificial de forma responsável.

Embora a Databricks não espere que o Dolly 2.0 seja o estado da arte em termos de eficácia, eles acreditam que o modelo e o dataset open source servirão como semente para uma multitude de trabalhos futuros, podendo impulsionar modelos ainda mais poderosos.

Conclusão sobre o Dolly 2.0 da Databricks

O Dolly 2.0 da Databricks representa um avanço notável no campo dos modelos de linguagem grandes. Ao ser o primeiro LLM de instrução-ajustada verdadeiramente aberto e licenciado para uso comercial, ele não apenas democratiza o acesso a essa tecnologia poderosa, mas também estabelece um novo padrão de transparência e colaboração na comunidade de IA. Com seu dataset databricks-dolly-15k gerado por humanos e sua base nos modelos Pythia, o Dolly 2.0 está preparado para impulsionar a inovação em pesquisa e em uma vasta gama de aplicações comerciais, ao mesmo tempo em que promove uma discussão mais ampla sobre a ética e a responsabilidade no desenvolvimento da inteligência artificial.