Estou embarcando em uma jornada que hesitei em seguir até agora: usar inteligência artificial rotineiramente. Fornecer meus dados mais pessoais para serviços em nuvem sempre foi um grande obstáculo para mim, mas é cada vez mais possível executar modelos poderosos localmente para ver do que eles são capazes. Essa tecnologia é tão útil que vale a pena investir muito dinheiro em um computador ou laptop com muita memória RAM cara? Vou tentar ajudá-lo a descobrir. Não sou especialista em IA e esta será uma jornada para mim, mas talvez eu possa ajudá-lo a ver se a jornada vale a pena – postarei minha experiência.
Uma grande parte da proposta da Apple para seus novos desktops Mac é o quão bem eles suportam IA local, e um novo conjunto de máquinas RTX Spark Windows será lançado em breve com até 128 GB de memória projetada para usar IA de agente. A IA local e os agentes são como, então Está quente agora. Mas, honestamente, a ideia de ter um garotinho de recados morando em uma caixa na minha mesa, responsável apenas por mim, em vez de um senhor da OpenAI, Google, Microsoft ou Anthropic, é um pouco diferente de confiar em um serviço de nuvem ou um chatbot de assinatura. Não me interpretem mal, ainda não consigo escrever para mim, editar para mim ou gerar panfleto feio. Mas agora, com alguma privacidade, talvez eu possa finalmente pensar em tarefas úteis para “confiar”.
Então, como parte de meus testes e experimentações contínuos do M5 Ultra Mac Studio em outros sistemas Mac e Windows, instalei alguns LLM locais e comecei a mexer. Aqui está a questão.
1/4
Eu instalei primeiro o de código aberto Agente Hermès No Mac Studio. Hermes é um aplicativo de desktop de agente de IA auto-hospedado que roda em macOS, Windows e Linux. Se você insiste em frequentar um LL.M. local, é totalmente gratuito. Como este M5 Ultra Mac Studio possui 256 GB de memória unificada, posso rodar quase qualquer modelo que desejar. É assim que as coisas rapidamente se tornam opressoras. ter Existem mais modelos lá do que posso contar.alguns têm usos especializados. De modo geral, modelos com bilhões de parâmetros são capazes de fazer mais do que modelos menores com apenas bilhões de parâmetros. Como não precisamos nos preocupar em pagar por tokens ao executar o modelo localmente, pensei em começar.
Usando a interface simples de introdução e o seletor de modelo da Hermes, escolhi Próxima etapa do Qwen 3.8 Flash modelo – um modelo contendo 125 bilhões de parâmetros, com aproximadamente 105 GB de tamanho. Também pretendo passar algum tempo usando o modelo Qwen menor em dispositivos como o M6 Mac Mini, M5 MacBook Air, Asus TUF Gaming A14 com processadores AMD Strix Halo e, eventualmente, o RTX Spark. (Importa-se de compartilhar qual modelo local e hardware você usa? Você sabe onde deixar seu comentário. )
Não demorou muito para que Hermes e Qwen estivessem funcionando e até mesmo conseguissem controlá-los pelo meu telefone. bot de telegrama. Mas então, encontrei meu inimigo habitual ao trabalhar com IA: caixas de texto.
“O que eu faço com essa coisa?”
Primeiro, para fazer as coisas correrem bem, segui algumas dicas úteis Sugestões do YouTube Faça com que Hermes me dê um briefing todas as manhãs – começando com um cron job para garantir que tudo esteja funcionando perfeitamente. Ele verifica meu e-mail e calendário, me diz qualquer coisa que mereça minha atenção imediata e me dá uma breve previsão do tempo. Não é tão útil e obviamente você não precisa de um computador de US$ 12 mil para construí-lo, mas é algo que posso desenvolver com o tempo. No início, o briefing nunca foi produzido, mas acabei descobrindo que quando o trabalho começava às 7h30, o macOS não ia dormir. Bem! Funciona como um relógio agora, mas preciso encontrar mais informações para tornar os resultados mais úteis.
Uma tarefa mais útil é reorganizar minha biblioteca Steam. Tenho mais de 400 jogos no Steam e recentemente comecei a categorizá-los para quando quiser jogar novos jogos por capricho. O Steam não categoriza os jogos para você, então você deve categorizá-los manualmente, um por um. Mas é aqui que os lacaios da agência podem entrar em jogo. Eu perguntei: “Você pode reorganizar minha biblioteca Steam?” Hermes pode ver a maioria dos meus jogos apenas olhando para o cliente Steam instalado. Rapidamente sugeriu algumas opções organizacionais para mim. Decidi deixá-lo organizar meus jogos por gênero, mas manter algumas de minhas categorias especiais (favoritos, jogos cooperativos, jogos de festa, jogos para jogar com minha esposa, etc.).
Você precisa dar à IA local algumas permissões em sua máquina para que ela tome medidas para você e, no caso da minha biblioteca de jogos, tive que registrar uma Chave API da rede Steam e deu para Hermes. Depois de obter acesso, leva apenas alguns minutos para classificar todos os seus jogos. A chave API é facilmente revogada posteriormente, pois não preciso mais dela. A ideia é que ele faça o trabalho pesado para mim apenas uma vez e então eu o classificarei em categorias quando eventualmente comprar o novo jogo. No geral, foi feito um ótimo trabalho e agora minha biblioteca Steam pode ser facilmente navegada.
1/2
Outra coisa simples que faço é análise de dados. Pedi a Hermes que analisasse os registros financeiros, analisasse alguns números para mim e também criasse uma planilha de comparação de especificações para mim em novos laptops. Essas são coisas pequenas, mas são tarefas para as quais não posso ou não vou confiar em nenhum serviço de nuvem – não quero fazer upload de dados confidenciais para a nuvem e, com um novo laptop, essas informações são embargadas. Mantê-los no meu computador é a diferença entre usar esta ferramenta ou não.
A automação maior em que estou trabalhando atualmente é um script que executa uma série de benchmarks de laptop. Executei todos os benchmarks manualmente e fazer com que o laptop executasse cerca de uma dúzia de testes (três vezes, em média) consumia muito tempo. Eu adoraria automatizar pelo menos parte disso. Até mesmo fazer com que Hermes faça toda a programação necessária e cuspir scripts Python codificados em vivi é uma tarefa difícil e ainda é um trabalho em andamento. Mas espero que algum progresso positivo possa ser feito.
Ainda estou nos estágios iniciais de trabalho com Hermes e espero que esta seja apenas a ponta do iceberg de coisas úteis que ele fez por mim. Mas também está claro que mesmo esses modelos caseiros poderosos não podem ser assistentes mágicos onipotentes. As coisas nem sempre correm como esperado – o meu briefing diário foi interrompido diversas vezes.
Penso no Hermes e na IA nativa apenas como uma ferramenta, um programa de computador rodando no meu computador. Não quero um amigo digital. Não digo “obrigado” ou “por favor” nem digito “desculpe” quando mudo de ideia. Ao clicar com o mouse sobre o sistema operacional, permaneço indiferente e indiferente ao ordená-lo.
Espero permanecer vigilante e cauteloso à medida que continuamos a usar a IA local para testes e aprendizagem. Vamos ver onde está a necessidade EU.
