PS5 com jailbreak roda modelos de IA usando GPU

Um projeto para PlayStation 5 com jailbreak permite executar modelos de inteligência artificial usando a GPU e a memória RAM do console. A iniciativa foi apresentada pelo usuário u/AdIllustrious7246 no Reddit, que aprimorou uma versão anterior, antes limitada ao processador do aparelho.

Com a mudança, o sistema pode utilizar até 11,4 GB de RAM. Segundo os dados divulgados pelo criador, modelos mais pesados alcançam cerca de 20 tokens por segundo, enquanto opções mais leves, como o Llama 3.2 3B, ultrapassam 120 tokens por segundo.

PS5_Vulkan dá acesso à GPU do console

A versão anterior do projeto usava apenas o processador e tinha acesso limitado a cerca de 6 GB de memória, o que provocava bloqueios. A nova implementação utiliza o software PS5_Vulkan para acessar diretamente a GPU do PS5.

Esse acesso permite dividir o processamento entre a placa gráfica e a memória do console, ampliando a capacidade de execução dos modelos de IA. O criador também exibiu informações de temperatura, consumo de energia e uso do sistema em tempo real.

IA pode ser acessada pelo celular ou computador

O projeto também permite conversar remotamente com a IA em execução no PS5 por meio do navegador de um celular ou computador. Para isso, os dispositivos precisam estar conectados à mesma rede.

Os resultados de velocidade variam conforme o modelo utilizado: os mais complexos chegam a cerca de 20 tokens por segundo, enquanto modelos leves, como o Llama 3.2 3B, passam de 120 tokens por segundo.

Você imaginava que o PS5 poderia ser usado para executar modelos de inteligência artificial?