Pet Memory do Google esqueceu quem são meus gatos

Uma das melhores coisas que minha casa inteligente faz é me ajudar a cuidar de meus animais de estimação, e as câmeras de segurança são particularmente úteis para rastrear minhas muitas criaturas. Mas a enxurrada de notificações que eles enviam muitas vezes significa que sinto falta de notificações importantes. Então, quando o Google anunciou seu novo recurso Pet Memory para Gemini for Home, pensei que essa poderia ser a solução perfeita.

Pet Memory promete ensinar à sua casa inteligente Google Home quem são seus animais de estimação, permitindo que as câmeras Nest conectadas vão além de simplesmente dizer que viram um animal. qual animal que eles viram. Ele poderá então usar esse conhecimento para adaptar sua casa inteligente ao seu animal de estimação.

Meu plano era usá-lo para monitorar digitalmente meus três gatos enquanto trabalhava em meu escritório em casa, distingui-los uns dos outros e automatizar sua alimentação com base em quem estava no comedouro. Mas depois de duas semanas de testes, a IA do Google ainda não consegue distinguir meus três gatos.

Minha casa fica em um terreno suburbano de três quartos de acres em um bairro tranquilo, e aproveito todo esse espaço para ter o máximo de animais possível (meu marido já disse não para cabra e cavalo). Mas consegui lutar contra um bando de galinhas soltas, um grande Griffon Apontador de Pêlo Arame chamado Gus, dois gatos internos e externos e – o mais emocionante de tudo – um novo gatinho.

Como A beiraRevisor de casa inteligente, eu testo muitas tecnologias conectadas e descobri que meu melhor caso de uso para câmeras de segurança é monitorar meus animais de estimação em minha casa e quintal. Eles ajudam a manter as galinhas mais protegidas dos predadores e meu almoço mais protegido do Gus, e funcionam como uma espécie de porta digital para animais de estimação para os gatos. Quando recebo uma notificação de que há um animal na porta por meio de uma campainha de vídeo e/ou câmera externa, é provável que um gato queira entrar.

Embora eu tenha apenas um cachorro e não precise distinguir as galinhas pelo nome, pensei que a Pet Memory poderia fazer três coisas para me ajudar a cuidar dos meus três gatos. Primeiro, identifique qual gato queria entrar e ajude a evitar alertas falsos – como quando é o gato do meu vizinho sentado na minha varanda ou quando é uma galinha espiando pela porta dos fundos. Em segundo lugar, diga-me se todos os meus animais de estimação estavam em segurança dentro de casa antes de escurecer. E por fim, forneça alimentação automatizada personalizada para cada felino.

Reconhecer animais de estimação individuais é o último passo na rápida evolução das câmeras de segurança inteligentes. Embora algumas câmeras dedicadas para animais de estimação prometam reconhecimento facial, a maioria das câmeras de segurança padrão só conseguia alertá-lo sobre movimento até recentemente. Os avanços no aprendizado de máquina e agora na IA generativa estão trazendo alertas mais descritivos. Em vez de apenas anunciar “alerta de movimento”, as câmeras podem cada vez mais dizer exatamente o que viram, sem que você precise abrir o aplicativo e esperar o carregamento de um clipe.

A Nest está há muito tempo à frente do jogo aqui, especialmente quando se trata de criaturas. Sua Nest Cam IQ, lançada em 2017, conseguia distinguir pessoas de animais de estimação, e mais tarde o Google trouxe a detecção de animais para as câmeras Nest. Mais recentemente, o Google adicionou descrições de texto que usam IA para descrever o que a câmera vê.

Ring, Wyze e Apple Home da Amazon (por meio de seu HomeKit Secure Video) também adicionaram recentemente descrições baseadas em IA, e estas geralmente incluem o tipo de animal detectado (nem sempre corretamente). Mas o Google Home é o primeiro a personalizá-lo.

Pet Memory funciona comparando a descrição que você fornece ao Gemini for Home com a descrição de texto que o Gemini gera a partir da câmera. “Se forem iguais, substituiremos os animais de estimação pelo nome na legenda”, diz Rudra Bhatt, gerente de produto do Google Home.

No entanto, existem limitações e, claro, um custo. Pet Memory requer o plano avançado do Google Home de nível superior por US $ 20 por mês e, embora faça parte do Google Home, só funcionou em câmeras Nest em meus testes. (O Google afirma que é compatível com qualquer câmera habilitada para Gemini). Ele também funciona apenas em câmeras internas, então não adiantou nada para minha ideia de uma porta digital atualizada para animais de estimação.

Decidi instalar algumas Nest Cams internas em locais estratégicos, esperando poder usar o Pet Memory para verificar facilmente quais gatos estavam lá dentro. Achei que isso poderia ajudar a garantir que todos estivessem em segurança em casa antes de escurecer. “Ok Google, quando você viu Smokey pela última vez em casa?”

Mas, apesar de contar ao Google Home a aparência dos meus três gatos, ele insistiu que todos eram Smokey, o primeiro gato de quem contei. Perguntar ao Google Nest Hub quando Smokey foi visto pela última vez gerou um vídeo adorável do novo gatinho brincando no quarto da minha filha.

Ao contrário do Familiar Faces, recurso de reconhecimento facial do Google Home, o Pet Memory não cria um perfil visual individual para cada animal de estimação. Não há processo de treinamento, nem oportunidade de enviar fotos dos meus gatos, nem maneira óbvia de corrigir erros. Você insere um nome e uma raça, e ele tenta descobrir o resto.

Tentei fornecer mais informações – Boone é um gato de smoking com patas brancas, Osa, o gatinho, é um gato malhado e Smokey é um grande gato cinza e branco – mas ele disse que não conseguia processar os detalhes extras e continuou rotulando cada gato como Smokey.

Perguntei ao Google por que o sistema não parecia estar funcionando como planejado, e Bhatt disse que, embora o Gemini faça um trabalho muito bom com animais de estimação únicos e aceite espécies diferentes (gato versus cachorro), ele pode ter dificuldade para distinguir entre vários animais de estimação do mesmo tipo (e é também por isso que está limitado a câmeras internas). A sugestão era fornecer mais detalhes ao Gemini para ajudá-lo a diferenciar, mas ele rejeitou repetidamente minhas tentativas de fazer isso.

Mesmo assim, persisti em tentar aproveitar o recurso, tentando usar Pet Memory para tornar meu Aqara Pet Feeder mais inteligente. Eu já havia configurado para disparar quando a câmera G3 de Aqara avistasse um animal, pois não consegue identificar espécies, muito menos indivíduos.

Mas com uma Nest Cam, eu queria ver se conseguia configurá-la para distribuir a quantidade certa de comida quando visse um gato específico – ajudando a evitar que cada um comesse demais sem a necessidade de etiquetas RF ou outras soluções proprietárias que os alimentadores inteligentes para animais de estimação oferecem (meus gatos não usam coleiras).

Digitei o que queria fazer no chatbot Ask Home do aplicativo. “Execute minha cena Aqara ‘Feed Smokey’ sempre que a Nest Cam na lavanderia vir Smokey”, e isso foi configurado para mim. Em seguida, criei um separado para Boone. Encontrei vários problemas.

A primeira – e maior – era que ele ainda não conseguia distinguir Boone de Smokey, então quando um dos gatos ia para o comedouro, ele disparava. O segundo problema é que o app Google Home não permite limitar quantas vezes uma automação é executada (algo que eu poderia fazer com a automação Aqara). Enquanto a automação funcionava, ela acionou toda vez qualquer um dos gatos foi até a tigela. No final de um dia, a tigela de comida estava transbordando.

Eu também tinha grandes esperanças de usar o Home Brief do Google para obter uma visão geral do dia das criaturas. Isso fornece um resumo da atividade dos dispositivos conectados em sua casa no final do dia. Eu disse que queria mais detalhes sobre as atividades dos animais de estimação em meu Home Brief, e agora ele me diz principalmente “houve muitas interações com animais de estimação”, o que não ajuda.

A certa altura, ele me disse que Smokey estava comendo na garagem, o que imediatamente levantou uma bandeira. Gatos comendo na garagem nunca são bons; há muitas coisas nas quais eles não deveriam se envolver. Mas quando me mostrou o clipe relevante, era Boone comendo na lavanderia, como deveria estar.

Verifiquei a câmera da garagem, consegui rever as filmagens do dia, mas nenhum dos gatos estava lá. Francamente, a identificação incorreta é pior do que não fazer nada. Errar o nome do gato pode ser engraçado, mas se você confiar nele para saber onde seus gatos estão, os erros terão consequências.

Reconhecer animais de estimação individuais acaba sendo muito mais difícil do que reconhecer que existe um animal de estimação. É um vislumbre de onde as câmeras alimentadas por IA estão indo, mas não é um recurso em que eu confiaria hoje. A IA prometeu reduzir o trabalho árduo de pesquisar imagens de câmeras, mas até que seja possível identificar com segurança o que aconteceu, a gravação contínua é mais útil do que resumos de IA não confiáveis.

A gravação contínua é, na verdade, algo que as Nest Cams fazem muito bem como parte da mesma assinatura de US$ 20 por mês. Seja para ficar de olho no seu gatinho dentro de casa, em um aquário tropical ou em um bando de galinhas em seu quintal, percorrer as filmagens de um dia é inestimável quando você está tentando descobrir o que seu gato comeu que os deixou doentes ou como uma galinha desapareceu (os falcões nem sempre acionam alertas de movimento). Quando a IA puder responder a essas perguntas para mim, então poderá valer a pena; enquanto isso, Boone está aproveitando toda a ração extra.

Fotos e vídeo de Jennifer Pattison Tuohy / The Verge

Atualização, terça-feira, 18 de agosto: Adicionado comentário de um gerente de produto do Google Home sobre como funciona a tecnologia Pet Memory e suas limitações