Usuário Monta Poderosa Máquina de IA em Casa com Três GPUs NVIDIA RTX 3090
Um entusiasta da tecnologia, conhecido no Reddit, deu um passo audacioso na criação de sua própria máquina de inteligência artificial (IA) dedicada. Após utilizar o ChatGPT para desenvolver seu primeiro site e um software de contabilidade, ele agora apresenta seu mais recente projeto: um robusto sistema local que promete revolucionar sua interação com a IA.
Um “Pequeno Monstro” em Casa
O usuário, que se descreve como um “pequeno monstro”, construiu uma máquina impressionante, equipada com três placas gráficas NVIDIA RTX 3090 MSI Suprim X, totalizando 72 GB de VRAM. O coração do sistema é um processador Ryzen Threadripper Pro 9955WX, complementado por duas fontes de 1.600 W, garantindo potência suficiente para futuras expansões.
Objetivo: Agentes de IA Locais
A principal intenção por trás dessa construção não é apenas ter um chatbot disponível a qualquer momento. O criador planeja desenvolver um sistema multiagente, capaz de receber comandos via celular e integrar-se à rede doméstica. Para garantir o acesso remoto, ele utiliza o WireGuard e criou uma extensão para Firefox que executa comandos Bash gerados pelo ChatGPT diretamente no terminal, conectando-se via SSH à máquina apropriada.
Desempenho Impressionante nas Primeiras Testes
Em seus primeiros testes, o usuário conseguiu rodar o modelo Qwen3.8 27B Q8, distribuindo a carga entre duas RTX 3090. Os resultados foram notáveis, com uma geração de cerca de 28,6 tokens por segundo e um processamento de prompt de aproximadamente 1.957 tokens por segundo, utilizando um contexto de 32K. Em outra experiência, o Qwen3-Coder-30B-A3B Q4_K_M, operando em uma única RTX 3090, alcançou cerca de 202 tokens por segundo na geração.
Um Novo Projeto com Cartas Pokémon
Além de explorar modelos de IA, o criador tem um projeto em mente: a identificação de cartas Pokémon. Ele já possui um sistema que utiliza OCR e SIFT para reconhecer itens digitalizados, que atualmente opera em um computador mais antigo. A meta é desenvolver uma versão mais eficiente que aproveite ao máximo a capacidade das três RTX 3090.
Um Caminho de Aprendizado e Inovação
Apesar de estar no início de sua jornada, o criador reconhece que ainda tem muito a aprender sobre inteligência artificial e ainda não decidiu qual modelo será a escolha final. No entanto, seu projeto demonstra o potencial que um servidor doméstico de IA pode alcançar, quando se passa de um simples chatbot para um sistema complexo de automação e processamento de dados local.
Essa construção impressionante não só reflete a criatividade do usuário, mas também abre um leque de possibilidades para entusiastas da tecnologia que buscam explorar o mundo da inteligência artificial em suas próprias casas.
Fonte: Link original
