Flickr autor Fr3d.org

Três grandes companhias da indústria de tecnologia global, Nvidia, Intel e Arm estabeleceram um formato padrão para facilitar o desenvolvimento da Inteligência Artificial (IA). Um white paper foi divulgado pelas empresas mostrando as especificações do 8-bit floating point (FP8), que otimiza o uso de memória e processamento pelos algoritmos.  

“O FP8 minimiza os desvios dos formatos de ponto flutuante IEEE 754 com um bom equilíbrio entre hardware e software para acelerar a adoção e melhorar a produtividade do desenvolvedor”, escreveu Shar Narasimhan, diretor de marketing de produtos de treinamento de IA e GPU de data center na Nvidia na rede social. A especificação é implementada nativamente na arquitetura GH 100 Hopper da Nvidia no chipset de treinamento Gaudi 2 AI da Intel. De acordo com Narasimhan, o FP8 pode chegar ao desempenho, em alguns casos, comparável a 16 bits. 

O formato comum de oito bits beneficiaria outras companhias da indústria de tecnologia, como AMD, SambaNova, Groq, IBM, Graph Core e Cerebras. Essas empresas experimentaram ou adotaram soluções baseadas no FP8 para o desenvolvimento de sistemas. O número menor de bits reduz a demanda por memória para treinar e executar os algoritmos, inclusive com menor largura de banda e uso de energia enquanto os cálculos são acelerados. Porém, algumas bases de dados mais complexas para treinamento de IA requerem 32 bits e, ocasionalmente, 64 bits.