Destaques
- A magia dos LLMs é que eles são muito flexíveis, conseguem se adaptar a muitas situações diferentes e têm inteligência básica.
- Acreditamos que, com o tempo, a IU e a UX se tornarão cada vez mais baseadas em linguagem natural, porque essa é a maneira como um sistema de agente pensa, ou essa é basicamente a base do treinamento para grandes modelos de linguagem (LLMs).
- Se você quer que alguém aceite um Agente de IA, na verdade ele está dando um certo "salto de fé", porque para muitas pessoas, esse é um campo muito desconhecido.
O AI Agent remodela a experiência do cliente
Jesse Zhang: Como um Agente é realmente construído? Nossa visão é que, com o tempo, ele se tornará cada vez mais como um Agente baseado em linguagem natural, porque é assim que os modelos de linguagem grande (LLMs) são treinados.
A longo prazo, se você tiver um agente superinteligente que seja realmente como um humano, você pode mostrar coisas a ele, explicar, dar feedback, e ele atualizará as informações em sua mente.
Você pode imaginar ter um membro humano muito capaz na equipe. Quando eles entram pela primeira vez, você os ensina algo, eles começam a trabalhar, e então você dá a eles feedback e mostra a eles novas informações.
Eventualmente, ele se desenvolverá nessa direção – se tornará mais conversacional e mais baseado em linguagem natural, e a maneira como as pessoas se comunicam umas com as outras se tornará mais natural. E as pessoas não usarão mais aquelas árvores de decisão complicadas para capturar requisitos, que podem funcionar, mas são propensas a entrar em colapso.
No passado, tínhamos que fazer isso porque não tínhamos um modelo de linguagem grande. Mas agora, com o progresso contínuo do Agent, a experiência do usuário (UX) e a interface do usuário (UI) se tornarão mais conversacionais.
Derrick Harris: Olá a todos, bem-vindos ao A16z AI Podcast. Eu sou Derrick Harris, e hoje estarei acompanhado por Jesse Zhang, cofundador e CEO da Decagon, e Kimberly Tan, uma sócia da a16z. Kimberly moderará a discussão, e Jesse compartilhará sua experiência na construção da Decagon e seus produtos.
Se você não sabe muito sobre isso, a Decagon é uma startup que fornece agentes de IA para empresas para auxiliar no suporte ao cliente. Esses agentes não são chatbots nem wrappers LLM para uma única chamada de API, mas agentes avançados altamente personalizados que podem lidar com fluxos de trabalho complexos com base nas necessidades específicas de uma empresa.
Além de explicar por que eles criaram o Decagon e como ele foi arquitetado para lidar com diferentes ambientes de LLM e clientes, Jesse também fala sobre os benefícios de um modelo de negócios que cobra por conversa e como os agentes de IA mudarão as habilidades necessárias dos líderes de suporte ao cliente.
Também vale mencionar que Kimberly escreveu recentemente uma postagem de blog intitulada “RIP to RPA, The Rise of Intelligent Automation”, que discutimos brevemente neste episódio.
É um ótimo ponto de partida para entender como a automação está decolando nos processos de negócios, e forneceremos um link nas notas do programa. E, finalmente, como um lembrete, o conteúdo deste artigo é apenas para fins informativos e não deve ser considerado aconselhamento jurídico, comercial, tributário ou de investimento, nem deve ser usado para avaliar qualquer investimento ou segurança, e não é direcionado a nenhum investidor de fundo a16z ou potencial investidor.
Jesse Zhang: Uma breve introdução a mim mesmo. Nasci e fui criado em Boulder, e participei de muitas competições de matemática e coisas do tipo quando criança. Estudei ciência da computação em Harvard e depois comecei uma empresa que também era apoiada pela a16z. Fomos eventualmente adquiridos pela Niantic.
Então começamos a construir a Decagon. Nosso negócio é construir agentes de IA para atendimento ao cliente. No começo, fizemos isso porque queríamos fazer algo que fosse muito próximo dos nossos corações.
Claro, ninguém precisa ser ensinado sobre o papel dos agentes de IA no atendimento ao cliente, certo? Todos nós já falamos ao telefone com companhias aéreas, hotéis, etc., e esperamos na espera. Então a ideia surgiu daí.
Conversamos com muitos clientes para descobrir exatamente que tipo de produto deveríamos construir. Uma coisa que se destacou para nós foi que, à medida que aprendíamos mais sobre Agentes de IA, começamos a pensar sobre como seria o futuro quando houvesse muitos deles. Acho que todos acreditam que haverá muitos Agentes de IA no futuro.
O que pensamos é o que os funcionários que trabalham em torno de agentes de IA farão? Que tipo de ferramentas eles terão? Como eles controlarão ou visualizarão os agentes com os quais trabalham ou gerenciam?
Então, esse é o cerne de como construímos a empresa em torno dessa questão. Acho que isso também é o que nos diferencia agora, porque fornecemos a esses agentes de IA várias ferramentas para ajudar as pessoas com quem trabalhamos a construir e configurar esses agentes para que eles não sejam mais uma "caixa preta". É assim que construímos nossa marca.
Derrick Harris: O que o inspirou, já que sua última empresa era uma empresa de vídeo voltada para o consumidor, a migrar para software empresarial?
Jesse Zhang: Ótima pergunta. Acho que os fundadores geralmente são “agnósticos em relação a tópicos” quando se trata de escolher um tópico, porque, na realidade, quando você aborda um novo campo, geralmente é bem ingênuo. Então, há uma vantagem em olhar as coisas de uma nova perspectiva. Então, quando estávamos pensando sobre isso, quase não havia restrições de tópicos.
Acho que esse é um padrão muito comum para pessoas com backgrounds mais quantitativos, inclusive eu. Depois de experimentar produtos de consumo, você tende a gravitar mais em direção ao software empresarial porque o software empresarial tem problemas mais concretos.
Você tem clientes reais com necessidades e orçamentos reais e coisas assim, e você pode otimizar e resolver problemas para eles. O mercado consumidor também é muito atraente, mas é mais baseado na intuição do que movido pela experimentação. Para mim, pessoalmente, software empresarial é mais adequado.
Kimberly Tan: Primeiro, podemos começar com esta pergunta: Quais são as categorias de suporte mais comuns com as quais a Decagon lida hoje? Você pode elaborar sobre como você usa modelos de linguagem grandes (LLMs) para resolver esses problemas e o que você pode fazer agora que não podia antes?
Jesse Zhang: Se você olhar para a automação anterior, você pode ter usado árvores de decisão para fazer algo simples, para determinar qual caminho tomar. Mas todos nós usamos chatbots, e é uma experiência bem frustrante.
Muitas vezes, sua pergunta não pode ser totalmente respondida por uma árvore de decisão. Então, você acaba sendo direcionado para um caminho de pergunta que está relacionado à pergunta, mas não corresponde exatamente a ela. Agora, temos modelos de linguagem grandes (LLMs). A mágica dos LLMs é que eles são muito flexíveis, podem se adaptar a muitas situações diferentes e têm inteligência básica.
Quando você aplica isso ao suporte ao cliente, ou quando um cliente faz uma pergunta, você pode fornecer um serviço mais personalizado. Este é o primeiro ponto, o nível de personalização melhorou muito. Isso desbloqueia métricas mais altas. Você pode resolver mais problemas, os clientes ficam mais satisfeitos e a satisfação do cliente aumenta.
O próximo passo natural é: se você tem essa inteligência, você deve ser capaz de fazer mais coisas que os humanos podem fazer. As coisas que os humanos podem fazer são que eles podem extrair dados em tempo real, eles podem agir e eles podem raciocinar através de múltiplas etapas. Se um cliente faz uma pergunta relativamente complexa, talvez "Eu quero fazer isso e aquilo", e a IA está preparada apenas para lidar com a primeira pergunta. O LLM é inteligente o suficiente para reconhecer que há duas perguntas aqui. Primeiro, ele resolverá o primeiro problema e então ajudará você a resolver o segundo problema.
Antes do LLM surgir, isso era basicamente impossível. Então, agora estamos vendo uma mudança radical no que a tecnologia é capaz de fazer, e isso é graças ao LLM.
Kimberly Tan: Neste contexto, como você definiria um Agente de IA? Como a palavra “Agente” é amplamente usada, estou curiosa sobre o que ela realmente significa no contexto do Decagon.
Jesse Zhang: Eu diria que Agent se refere mais a um sistema onde vários sistemas LLM (large language model) trabalham juntos. Você tem uma invocação LLM, que basicamente envolve enviar um prompt e obter uma resposta. Para um Agent, você quer ser capaz de conectar várias dessas invocações, talvez até mesmo recursivamente.
Por exemplo, você tem uma chamada LLM que determina como lidar com a mensagem, e então ela pode disparar outras chamadas que extraem mais dados, realizam ações e iteram sobre o que o usuário disse, talvez até mesmo fazendo perguntas de acompanhamento. Então, para nós, um Agente pode ser entendido como uma rede de quase chamadas LLM, chamadas de API ou outra lógica que trabalham juntas para fornecer uma melhor experiência.
Kimberly Tan: Sobre esse tópico, talvez possamos falar mais sobre a infraestrutura de Agente que você realmente construiu. Acho que um ponto muito interessante é que há muitas demonstrações de Agentes de IA no mercado, mas acho que há muito poucos exemplos deles que podem realmente rodar de forma estável em um ambiente de produção. E é difícil saber de fora o que é real e o que não é.
Então, na sua opinião, quais aspectos dos agentes de IA atuais estão indo bem e quais aspectos ainda precisam de avanços tecnológicos para torná-los mais robustos e confiáveis?
Jesse Zhang: Minha visão é, na verdade, um pouco diferente. A diferença entre determinar se um Agente de IA é apenas uma demonstração ou “realmente funcionando” não está inteiramente na pilha de tecnologia, porque acho que a maioria das pessoas pode estar usando aproximadamente a mesma tecnologia. Acho que, depois que você tiver ido mais longe no desenvolvimento de sua empresa, por exemplo, nossa empresa foi estabelecida há mais de um ano, você criará algo muito específico que se encaixa no seu caso de uso.
Mas, na análise final, todos podem acessar o mesmo modelo e usar tecnologia semelhante. Acredito que o maior diferencial para que um agente de IA possa funcionar de forma eficaz está na forma do caso de uso. É difícil saber disso no começo, mas, olhando para trás, você verá que há dois atributos muito importantes para que um agente de IA vá além da demonstração e entre na aplicação prática.
A primeira é que o caso de uso que você resolve deve ter um ROI (retorno sobre o investimento) quantificável. Isso é muito importante, porque se o ROI não puder ser quantificado, será difícil convencer as pessoas a realmente usar seu produto e pagar por ele. No nosso caso, o indicador quantitativo é: qual porcentagem de solicitações de suporte você resolve? Como esse número é claro, as pessoas podem entendê-lo – ah, ok, se você resolver mais, posso comparar esse resultado com minhas despesas atuais e tempo gasto. Então, se houver esse indicador, outro indicador que é muito importante para nós é a satisfação do cliente. Como o ROI pode ser facilmente quantificado, as pessoas realmente o adotarão.
O segundo fator é que os casos de uso devem ser cada vez mais difíceis. Também seria muito difícil se você precisasse de um Agente para ser super-humano desde o início, resolvendo quase 100% dos casos de uso. Porque, como sabemos, LLMs não são determinísticos, você tem que ter algum tipo de plano de contingência. Felizmente, há um ótimo recurso de casos de uso de suporte, que é que você sempre pode escalar para um humano. Mesmo que você consiga resolver apenas metade dos problemas, ainda é muito valioso para as pessoas.
Então, acho que o suporte tem essa característica que o torna muito adequado para o AI Agent. Acho que há muitas outras áreas onde as pessoas podem criar demonstrações impressionantes, onde você nem precisa olhar de perto para entender por que o AI Agent seria útil. Mas se ele tem que ser perfeito desde o início, então é muito difícil. Se for esse o caso, quase ninguém vai querer tentar ou usá-lo porque as consequências de sua imperfeição podem ser muito sérias – por exemplo, em termos de segurança.
Por exemplo, quando as pessoas fazem simulações, elas sempre têm esse pensamento clássico: "Oh, seria ótimo se o LLM pudesse ler isso." Mas é difícil imaginar alguém dizendo: "Ok, Agente de IA, vá em frente. Eu acredito que você consegue." Porque se ele cometer um erro, as consequências podem ser muito sérias.
Jesse Zhang: Isso geralmente é decidido por nossos clientes e, de fato, vemos uma gama muito ampla de diferenças. Em um extremo, algumas pessoas realmente fazem seu Agente parecer um humano, então há um avatar humano, um nome humano e as respostas são muito naturais. Por outro lado, o Agente simplesmente declara que é IA e deixa isso claro para o usuário. Acho que as diferentes empresas com as quais trabalhamos têm posições diferentes sobre isso.
Normalmente, se você está em um setor regulamentado, você tem que deixar isso claro. O que eu acho interessante agora é que o comportamento do cliente está mudando. Porque muitos dos nossos clientes estão recebendo muito feedback nas mídias sociais, como, "Meu Deus, esta é a primeira experiência de chat que eu já tentei que realmente parece tão real", ou "Isso é simplesmente mágica". E isso é ótimo para eles, porque agora seus clientes estão aprendendo, ei, se é uma experiência de IA, pode realmente ser melhor do que um humano. Esse não era o caso no passado, porque a maioria de nós teve esse tipo de experiência de atendimento ao cliente por telefone no passado: "Ok, IA, IA, IA..."
Kimberly Tan: Você mencionou o conceito de personalização algumas vezes. Todos estão usando a mesma arquitetura de tecnologia subjacente, mas eles têm diferentes necessidades de personalização em termos de serviços de suporte. Você pode falar sobre isso? Especificamente, como você alcança a personalização para que as pessoas possam dizer online, "Meu Deus, esta é a melhor experiência de suporte que já tive"?
Jesse Zhang: Para nós, personalização vem da customização para o usuário. Você precisa entender as informações de background do usuário, que são o contexto adicional necessário. Em segundo lugar, você também precisa entender a lógica de negócios dos nossos clientes.Se você combinar os dois, poderá proporcionar uma experiência muito boa.
Obviamente, isso parece simples, mas na realidade é muito difícil obter todo o contexto necessário. Portanto, a maior parte do nosso trabalho é sobre como construir os componentes primitivos certos para que, quando um cliente implementa nosso sistema, ele possa facilmente decidir: "Ok, esta é a lógica de negócios que queremos". Por exemplo, primeiro você precisa fazer essas quatro etapas e, se a etapa três falhar, você precisa ir para a etapa cinco.
Você quer ser capaz de ensinar isso à IA muito facilmente, mas também dar a ela acesso a informações como, "Estes são os detalhes da conta do usuário. Se precisar de mais informações, você pode chamar essas APIs." Essas camadas são uma camada de coordenação sobre o modelo e, de certa forma, elas tornam o Agente realmente utilizável.
Kimberly Tan: Parece que, neste caso, você precisa de muito acesso aos sistemas de negócios. Você precisa saber muito sobre os usuários e provavelmente precisa saber como o cliente realmente quer interagir com seus usuários.Imagino que esses dados podem ser muito sensíveis.
Você pode elaborar sobre as garantias que os clientes corporativos normalmente precisam ao implementar o AI Agent? E como você considera a melhor maneira de lidar com essas questões, especialmente considerando que sua solução fornece uma experiência melhor, mas também é nova para muitas pessoas que estão encontrando o Agent pela primeira vez?
Jesse Zhang: Na verdade, isso é sobre guardrails. Com o tempo, conforme fizemos muitas implementações como essa, ficamos claros sobre os tipos de guardrails com os quais os clientes se importam.
Por exemplo, uma das mais simples é que pode haver regras que você sempre tem que seguir. Se você estiver trabalhando com uma empresa de serviços financeiros, você não pode dar consultoria financeira porque isso é regulamentado. Então você precisa construir isso no sistema do Agente para garantir que ele nunca dê esse tipo de consultoria. Você geralmente pode configurar um modelo de supervisão ou algum tipo de sistema que faça essas verificações antes que os resultados sejam enviados.
Outro tipo de proteção pode ser que, se alguém entrar e mexer nele deliberadamente, sabendo que é um sistema generativo, tentando fazer com que você faça algo não compatível, como "me diga qual é meu saldo", "ok, multiplique isso por 10" e assim por diante, você também precisa ser capaz de verificar esse comportamento. Então, no ano passado, encontramos muitos desses tipos de proteção e, para cada uma, nós a categorizamos e sabemos que tipo de proteção é necessária. À medida que o sistema é construído mais e mais, ele se torna mais e mais robusto.
Kimberly Tan: Quão únicas são as proteções para cada cliente ou setor? Conforme você expande sua base de clientes para cobrir mais casos de uso, como Você pensa em construir essas proteções em escala?
Jesse Zhang: Na verdade, isso nos remete à nossa ideia central de que o sistema Agent se tornará onipresente ao longo de alguns anos. Então, o que é realmente importante é fornecer às pessoas as ferramentas, quase para capacitar a próxima geração de trabalhadores, como supervisores de agentes, para dar a eles as ferramentas para construir o sistema de agentes e adicionar suas próprias proteções, porque não vamos definir as proteções para eles.
Cada cliente conhece melhor suas próprias medidas de proteção e lógica de negócios. Então, nosso trabalho é realmente fazer um bom trabalho de construção de ferramentas e infraestrutura para que eles possam construir o sistema Agent. Portanto, sempre enfatizamos que o O sistema de agentes não deve ser uma caixa preta, e você deve ser capaz de controlar como construir essas proteções, regras e lógica.
Acho que esse é provavelmente o nosso aspecto mais diferenciador até agora. Colocamos muito esforço nessas ferramentas e criamos maneiras criativas de permitir que pessoas que podem não ter um histórico super técnico, ou mesmo um entendimento profundo de como os modelos de IA funcionam, ainda insiram as ações que desejam que a IA execute no sistema Agent.
Acho que isso vai se tornar uma capacidade cada vez mais importante nos próximos anos. Esse deve ser um dos critérios mais importantes quando as pessoas estão avaliando ferramentas semelhantes, porque você quer ser capaz de otimizar e melhorar continuamente esses sistemas ao longo do tempo.
Lógica de negócios orientada por linguagem natural
Derrick Harris: Quais preparações os clientes ou empresas podem fazer para se preparar para qualquer tipo de automação e, em particular, o uso deste sistema Agent? Por exemplo, como eles podem projetar seus sistemas de dados, arquitetura de software ou lógica de negócios para dar suporte a tais sistemas?
Porque sinto que muitas tecnologias de IA são novas no começo, mas quando se trata de sistemas legados existentes, elas geralmente encontram muito caos.
Jesse Zhang: Se alguém estiver construindo do zero agora, há muitas práticas recomendadas que podem facilitar seu trabalho. Por exemplo, como estruturar sua base de conhecimento. Escrevemos sobre algumas delas e apresentamos alguns métodos que podem facilitar a ingestão de informações pela IA e melhorar sua precisão. Uma sugestão específica é dividir a base de conhecimento em partes modulares, em vez de ter um grande artigo com várias respostas.
Ao configurar a API, você pode torná-la mais adequada para o sistema Agent e definir permissões e saídas de uma forma que facilite para o sistema Agent ingerir informações sem precisar fazer muitos cálculos para encontrar a resposta. Essas são algumas medidas táticas que podem ser tomadas, mas eu não diria que há algo que deva ser feito para usar o sistema Agent.
Derrick Harris: Uma boa documentação é sempre importante, basicamente trata-se de organizar informações de forma eficaz.
Kimberly Tan: Parece que se você tentar ensinar as pessoas a direcionar o sistema Agent para operar de uma forma que melhor se adapte aos seus clientes ou casos de uso específicos, então muita experimentação com o design da IU e da UX pode ser necessária, ou você terá que abrir novos caminhos neste campo completamente novo, porque ele é muito diferente do software tradicional.
Estou curioso, o que você acha disso? Como deve ser a UI e a UX em um mundo Agent-first? Como você acha que isso vai mudar nos próximos anos?
Jesse Zhang: Eu não diria que resolvemos esse problema. Acho que podemos ter encontrado um ótimo local que funciona para nossos clientes atuais, mas ainda é uma área de pesquisa em andamento, para nós e muitos outros.
A questão central volta ao que mencionamos anteriormente, que é que você tem um sistema Agent. Primeiro, como você pode ver claramente o que ele está fazendo e como ele está tomando decisões? Então, como você pode usar essas informações para decidir o que precisa ser atualizado e qual feedback deve ser dado à IA? É aqui que os elementos da IU se juntam, especialmente a segunda parte.
Acreditamos que, com o tempo, a IU e a UX se tornarão cada vez mais baseadas em linguagem natural, porque é assim que o sistema do agente pensa, ou essa é basicamente a base para o treinamento de grandes modelos de linguagem (LLMs).
No extremo, se você tem um agente superinteligente que basicamente pensa como um humano, você pode mostrar coisas a ele, explicar coisas a ele, dar feedback, e ele atualizará em sua própria "mente". Você pode imaginar ter uma pessoa muito capaz se juntando à sua equipe, você ensina algo a ele, ele começa a trabalhar, e então você continua dando feedback a ele, você pode mostrar coisas novas, novos documentos, diagramas, etc.
Acho que, no caso extremo, isso vai se desenvolver nessa direção: as coisas se tornam mais conversacionais, mais baseadas em linguagem natural, e as pessoas param de construir sistemas com árvores de decisão complexas como costumavam fazer, capturando o que você quer, mas essa abordagem pode facilmente quebrar. Costumávamos ter que fazer isso porque não havia LLMs naquela época, mas agora que os sistemas Agent estão ficando cada vez mais poderosos, a UI e a UX se tornarão mais conversacionais.
Kimberly Tan: Cerca de um ano e meio atrás, quando a Decagon começou, havia uma percepção geral de que o LLM era muito aplicável a muitos casos de uso, mas na verdade era apenas uma espécie de "wrapper GPT", onde as empresas podiam simplesmente chamar um modelo subjacente por meio de uma API e resolver instantaneamente seus problemas de suporte.
Mas, obviamente, como as empresas escolhem usar soluções como a Decagon em vez de seguir esse caminho diretamente, acontece que esse não é o caso. Eu queria saber se você poderia explicar por que esse é o caso. O que exatamente tornou os desafios de construir internamente mais complexos do que o esperado? Quais equívocos eles tinham sobre o conceito?
Jesse Zhang: Não há nada de errado em ser um “GPT wrapper”, você poderia dizer que Purcell é um AWS wrapper ou algo assim. Normalmente, quando as pessoas usam esse termo, significa algo depreciativo.
Minha visão pessoal é que se você está construindo um sistema de agente, por definição você definitivamente vai usar o LLM como uma ferramenta. Então você está realmente construindo em cima de algo que já existe, assim como você normalmente construiria no AWS ou GCP.
Mas o verdadeiro problema que você pode enfrentar é se o software que você cria sobre o LLM não for "pesado" ou complexo o suficiente para fazer a diferença.
Olhando para trás, para nós, o que vendemos é basicamente software. Na verdade, somos como uma empresa de software comum, exceto que usamos o LLM como parte do software e como uma das ferramentas. Mas quando as pessoas compram esse tipo de produto, elas querem principalmente o software em si. Elas querem ferramentas que possam monitorar a IA, que possam se aprofundar nos detalhes de cada conversa que a IA tem, que possam dar feedback, que possam construir e ajustar constantemente o sistema.
Então esse é o cerne do nosso software. Mesmo com o próprio sistema Agent, o problema que as pessoas têm é que é legal fazer uma demonstração, mas se você quiser torná-lo pronto para produção e realmente voltado para o cliente, você tem que resolver muitos problemas de longa data, como prevenir o fenômeno da "ilusão" e lidar com atores ruins que tentam causar estragos. Também temos que garantir que a latência seja baixa o suficiente, o tom seja apropriado e assim por diante.
Conversamos com muitas equipes, e elas fizeram alguns experimentos, construíram uma versão preliminar, e então perceberam: "Ah, sério, não queremos ser aqueles que continuam construindo esses detalhes em estágios posteriores". Elas também não queriam ser aquelas que continuam adicionando nova lógica à equipe de atendimento ao cliente. Então, neste ponto, parece mais apropriado escolher colaborar com outros.
Kimberly Tan: Você mencionou alguns problemas de longo prazo, como a necessidade de lidar com maus atores, etc.Acredito que muitos ouvintes que consideram usar o AI Agent estão preocupados com novos caminhos de ataque de segurança que podem surgir após a introdução de LLMs, ou os novos riscos de segurança que podem surgir após a introdução do sistema Agent. O que você acha dessas questões? E quais são as melhores práticas para garantir segurança empresarial de alto nível ao lidar com Agente?
Jesse Zhang: Em termos de segurança, há algumas medidas óbvias que podem ser tomadas, que mencionei anteriormente, como a necessidade de medidas de proteção. A questão central é que as preocupações das pessoas sobre LLMs é que eles não são determinísticos.
Mas a boa notícia é que você pode realmente colocar a maioria das operações sensíveis e complexas atrás de uma parede determinística, e a computação acontece lá quando ela chama a API. Então você não depende inteiramente do LLM para lidar com isso, e isso evita muitos dos problemas principais.
Mas ainda há situações em que, por exemplo, um ator ruim interfere ou alguém tenta fazer o sistema alucinar. Observamos que em muitos dos principais clientes com os quais trabalhamos, suas equipes de segurança entram e basicamente realizam um teste de “equipe vermelha” em nossos produtos, passando semanas continuamente lançando vários ataques possíveis no sistema para tentar encontrar vulnerabilidades. À medida que o AI Agent se torna cada vez mais popular, podemos ver isso acontecer cada vez mais, porque esta é uma das melhores maneiras de testar se um sistema é eficaz. É jogar algo nele por meio de um teste de equipe vermelha e ver se ele pode romper as defesas.
Também há startups que estão desenvolvendo ferramentas de equipe vermelha ou permitindo que as pessoas façam esses tipos de testes elas mesmas, o que é uma tendência que estamos vendo agora. Muitas das empresas com as quais trabalhamos, em um estágio posterior do ciclo de vendas, terão sua equipe de segurança, ou trabalharão com uma equipe externa, para testar o sistema sob estresse. Para nós, ser capaz de passar nesses tipos de testes é essencial. Então, no final das contas, é nisso que tudo se resume.
Derrick Harris: Isso é algo que você incentiva seus clientes a fazer? Porque quando falamos sobre políticas de IA, mencionamos um aspecto importante, que é a camada de aplicação, e enfatizamos a colocação o responsabilidade sobre os usuários do LLM e as pessoas que executam o aplicativo, em vez de simplesmente culpar o modelo em si. Ou seja, os clientes devem conduzir testes de equipe vermelha, identificar casos de uso específicos e caminhos de ataque, e determinar quais vulnerabilidades precisam ser protegidas, em vez de simplesmente confiar na proteção de segurança já configurada pela OpenAI ou outras empresas.
Jesse Zhang: Concordo completamente. Também acho que pode haver uma nova onda de requisitos de notificação emergindo, semelhante à certificação SOC 2 e à certificação HIPAA que todos estão fazendo agora, que são necessárias em diferentes setores. Normalmente, quando você vende um produto SaaS genérico, os clientes exigirão testes de penetração, e também devemos fornecer nosso relatório de teste de penetração. Para o AI Agent, pode haver requisitos semelhantes no futuro, e alguém pode nomeá-lo, mas esta é basicamente uma nova maneira de testar se o sistema Agent é poderoso o suficiente.
Kimberly Tan: Uma coisa interessante é que, obviamente, todos estão muito animados com os novos avanços de modelos e avanços tecnológicos que estão sendo introduzidos por todos os grandes laboratórios. Como uma empresa de IA, você obviamente não faz sua própria pesquisa, mas alavanca essa pesquisa e constrói muito software em torno dela para entregar ao cliente final.
Mas seu trabalho é baseado em tecnologia em rápida mudança. Estou curioso, como uma empresa de IA aplicada, como você se mantém atualizado com as novas mudanças tecnológicas e entende como elas afetam a empresa, ao mesmo tempo em que é capaz de prever seu próprio roteiro de produto e construir as necessidades do usuário? Mais amplamente, quais estratégias as empresas de IA aplicada devem adotar em situações semelhantes?
Jesse Zhang: Você pode realmente dividir a pilha inteira em partes diferentes. Por exemplo, o LLM está na parte inferior se você olhar para a camada de aplicação. Você pode ter algumas ferramentas no meio que ajudam a gerenciar o LLM ou fazer alguma avaliação e coisas assim. Então, a parte superior é basicamente o que construímos, que é na verdade como um SaaS padrão.
Então, a maior parte do nosso trabalho não é tão diferente do software regular, exceto que temos um componente de pesquisa extra – o LLM muda muito rápido. Precisamos pesquisar o que eles podem fazer, no que são bons e qual modelo deve ser usado para executar uma determinada tarefa. Este é um grande problema porque tanto o OpenAI quanto o Anthropic estão lançando novas tecnologias, e o Gemini também está melhorando gradualmente.
Portanto, você tem que ter seu próprio mecanismo de avaliação para entender qual modelo é adequado para uso em qual situação. Às vezes você também precisa fazer um ajuste fino, mas a questão é: quando fazer um ajuste fino? Quando o ajuste fino vale a pena? Essas são provavelmente as principais questões de pesquisa relacionadas aos LLMs nas quais estamos nos concentrando. Mas, pelo menos até agora, não sentimos que o SaaS está mudando rapidamente, porque não dependemos da camada intermediária. Então, basicamente, são os LLMs que estão mudando. Eles não mudam com muita frequência e, quando mudam, geralmente é uma atualização. Por exemplo, o Claude 3.5 sonnet foi atualizado há alguns meses e, naquela época, pensamos: "Ok, devemos mudar para o novo modelo em vez de continuar a usar o antigo?"
Precisamos apenas executar uma série de avaliações e, uma vez que mudamos para o novo modelo, não pensamos mais nisso porque você já está usando o novo modelo. Então, a versão o1 saiu e a situação era semelhante. Pense onde ela pode ser usada. No nosso caso, o o1 é um pouco lento para a maioria dos casos de uso voltados para o cliente, então podemos usá-lo para algum trabalho de segundo plano. No final das contas, precisamos apenas ter um bom sistema para pesquisa de modelos.
Kimberly Tan: Com que frequência você avalia um novo modelo e decide se deve substituí-lo?
Jesse Zhang: Avaliamos toda vez que um novo modelo é lançado. Você tem que ter certeza de que, embora o novo modelo seja mais inteligente, ele não quebre alguns dos casos de uso que você já construiu. Isso pode acontecer. Por exemplo, o novo modelo pode ser mais inteligente no geral, mas em alguns casos extremos, ele tem um desempenho ruim em uma escolha A/B em um dos seus fluxos de trabalho. É isso que avaliamos.
Acho que, no geral, o tipo de inteligência com que mais nos importamos é o que eu chamaria de “habilidade de seguir instruções”. Queremos que o modelo se torne cada vez melhor em seguir instruções. Se for esse o caso, então é definitivamente benéfico para nós, e isso é muito bom.
Parece que pesquisas recentes têm se concentrado mais no tipo de inteligência que envolve raciocínio, como melhor programação e melhores operações matemáticas. Isso também nos ajuda, mas não é tão importante quanto a melhoria da capacidade de seguir instruções.
Kimberly Tan: Um ponto muito interessante que você mencionou, e que acho que também é muito exclusivo da Decagon, é que você construiu muita infraestrutura de avaliação internamente para garantir que você saiba exatamente como cada modelo está se saindo no conjunto de testes que você fornece.
Você pode elaborar sobre isso? Quão importante é essa infraestrutura de avaliação interna e, especificamente, como ela dá a você e seus clientes confiança no desempenho do Agent? Porque algumas dessas avaliações também são voltadas para o cliente.
Jesse Zhang: Acho que é muito importante, porque sem essa infraestrutura de avaliação seria muito difícil iterarmos rapidamente.
Se você acha que cada mudança tem uma alta probabilidade de quebrar algo, então você não fará mudanças rapidamente. Mas se você tem um mecanismo de avaliação, então quando há uma grande mudança, uma atualização de modelo, ou algo novo aparece, você pode comparar diretamente com todos os testes de avaliação. Se os resultados da avaliação forem bons, você pode sentir: ok, fizemos uma melhoria, ou você pode liberá-lo com confiança sem se preocupar muito.
Então, em nosso campo, a avaliação requer a contribuição do cliente, porque o cliente é quem decide se algo está correto ou não. Claro, podemos verificar alguns problemas de alto nível, mas normalmente o cliente fornece casos de uso específicos e nos diz qual é a resposta correta, ou qual deve ser, qual tom ela deve manter, o que deve dizer.
A avaliação é baseada nisso. Então, temos que garantir que nosso sistema de avaliação seja robusto o suficiente. No começo, nós mesmos o construímos, e não é tão difícil de manter. Também sabemos que existem algumas empresas de avaliação, e exploramos algumas delas. Talvez em algum momento, consideremos adotá-las, mas, por enquanto, o sistema de avaliação não é mais um ponto problemático para nós.
Kimberly Tan: Um tópico muito popular hoje é a multimodalidade, o que significa que os agentes de IA devem ser capazes de interagir em todas as formas que os humanos usam hoje, seja texto, vídeo, voz, etc. Eu sei que o Decagon começou como baseado em texto. Da sua perspectiva, quão importante é multimodalidade para agentes de IA? Qual você acha que é o prazo para que isso se torne popular ou mesmo um padrão?
Jesse Zhang: É importante, e da perspectiva da empresa, não é particularmente difícil adicionar uma nova modalidade. Não é simples, mas o cerne é: se você resolver outros problemas, como os que mencionei – por exemplo, construir a IA, monitorá-la e ter a lógica correta – então adicionar uma nova modalidade não é a coisa mais difícil de fazer. Então, para nós, ter todas as modalidades faz muito sentido, e expande nosso mercado. Somos basicamente agnósticos de modalidade, e construímos nosso próprio Agente para cada modalidade.
Em termos gerais, existem dois fatores limitantes: primeiro, o cliente está pronto para adotar a nova modalidade? Acho que faz muito sentido começar com texto, porque é a maneira como as pessoas adotam mais ativamente, e é menos arriscado para elas, mais fácil de monitorar e mais fácil de entender. A outra grande modalidade é a voz. Obviamente, acho que ainda há espaço no mercado, e a aceitação do usuário pela voz ainda precisa melhorar. No momento, estamos vendo alguns adotantes iniciais que começaram a adotar agentes de voz, o que é muito animador. O outro aspecto são os desafios técnicos. A maioria das pessoas concordaria que o nível é mais alto para voz. Se você estiver falando com alguém no telefone, precisará de latência de voz muito curta. Se você interromper alguém, eles precisarão responder naturalmente.
Como a latência da fala é menor, você tem que ser mais inteligente na maneira como calcula. Se você está em um chat e o tempo de resposta é de cinco a oito segundos, você mal percebe e parece muito natural. Mas se leva de cinco a oito segundos para responder ao telefone, parece um pouco artificial. Então, há mais desafios técnicos com a fala. À medida que esses desafios técnicos são resolvidos e o interesse em adotar a fala aumenta no mercado, a fala como uma nova modalidade se tornará popular.
Um modelo de negócio que ultrapassa a confiança
Kimberly Tan: Antes de continuarmos, gostaria de falar um pouco mais sobre o modelo de negócios do AI Agent. Quando você primeiro construído Agente de IA ou discutiu com os clientes o sistema que eles usam, os dados que eles processam e suas preocupações, houve algo que o surpreendeu? Quais são algumas das coisas não intuitivas ou surpreendentes que a Decagon teve que fazer para atender melhor os clientes corporativos?
Jesse Zhang: Acho que o mais surpreendente foi a extensão em que as pessoas estavam dispostas a falar conosco quando começamos. Afinal, éramos apenas dois. Nós dois tínhamos começado empresas antes, então conhecíamos muitas pessoas, mas mesmo assim, para todo empreendedor, quando você quer começar uma conversa de indicação, se o que você está dizendo não é particularmente convincente, a conversa geralmente é bem morna.
Mas quando começamos a falar sobre esse caso de uso, eu realmente achei bastante surpreendente o quão animadas as pessoas estavam para falar sobre isso. Porque a ideia parece tão óbvia. Você pode pensar que, como é uma ideia tão óbvia, outra pessoa já deve ter feito isso, ou já deve haver uma solução, ou outra pessoa já deve ter surgido com algum tipo de solução. Mas acho que pegamos um bom momento, esse caso de uso é realmente grande e as pessoas realmente se importam com ele. Como mencionei antes, esse caso de uso é realmente muito adequado para pegar o AI Agent e colocá-lo em produção, porque você pode implementá-lo incrementalmente e ser capaz de rastrear o ROI.
Foi uma surpresa agradável para mim, mas obviamente há muito trabalho a ser feito depois disso, você tem que trabalhar com os clientes, você tem que construir o produto, você tem que descobrir qual caminho seguir. Na fase inicial, foi realmente uma descoberta surpreendente.
Derrick Harris: Kimberly, sinto que devo mencionar o post do blog que você escreveu, RIP to RPA, que aborda muitos assuntos o tarefas de automação e startups.Você acha que existe um fenômeno em que essas tarefas ou soluções automatizadas não são tão ideais, então as pessoas estão sempre procurando uma maneira melhor?
Kimberly Tan: Sim, eu acho que sim. Gostaria de dizer algumas coisas. Primeiro, se uma ideia é óbvia para todos, mas não há uma empresa clara para resolvê-la, ou ninguém está apontando para uma empresa e dizendo: "Você deveria usar isso", então significa que o problema não foi realmente resolvido.
Em certo sentido, é uma oportunidade completamente aberta para uma empresa desenvolver uma solução. Porque, como você disse, temos acompanhado a Decagon como investidor desde o início. Nós os observamos navegar no labirinto criativo e, quando eles decidiram seguir nessa direção e começaram a falar com os clientes, ficou claro que todos os clientes estavam desesperados por algum tipo de solução nativa habilitada para IA. Este é um dos problemas que mencionei anteriormente, onde muitas pessoas pensam que é apenas um wrapper GPT. Mas o interesse do cliente que a Decagon recebeu desde o início nos fez perceber desde o início que muitas dessas questões são muito mais complicadas do que as pessoas esperam.
Acho que esse fenômeno está acontecendo em todos os setores, seja no atendimento ao cliente ou na automação profissional em certos setores verticais. Acho que um dos pontos subestimados é, como Jesse mencionou anteriormente, ser capaz de medir claramente o retorno sobre o investimento (ROI) da automação de tarefas. Porque, se você vai fazer alguém aceitar um agente de IA, essa pessoa está, na verdade, dando um certo "salto de fé", porque é um território muito desconhecido para muitas pessoas.
Se você puder automatizar um processo muito específico que seja um processo óbvio de geração de receita, ou um processo que anteriormente constituía um gargalo no negócio, ou um grande centro de custo que aumenta linearmente com o crescimento do cliente ou da receita, então será mais fácil obter aceitação para o Agente de IA. A capacidade de transformar esses problemas em um processo mais produtivo, que pode ser dimensionado como um software tradicional, é muito atraente.
Kimberly Tan: Tenho uma última pergunta antes de prosseguirmos. Lembro-me de Jesse, em nossas discussões anteriores, sempre dizendo que o maior desafio para empresas que adotam software ou agentes de IA seriam as alucinações. Mas você uma vez me disse que esse não é realmente o problema principal. Você pode explicar por que a percepção de alucinações é um tanto enganosa e com o que as pessoas estão realmente mais preocupadas?
Jesse Zhang: Acho que as pessoas se importam com alucinações, mas estão mais preocupadas com o valor que elas podem fornecer. Quase todas as empresas com as quais trabalhamos focam nas mesmas poucas questões, quase exatamente as mesmas: qual porcentagem de conversas você consegue resolver? Quão satisfeitos estão meus clientes? Então, a questão da alucinação pode ser classificada como uma terceira categoria, ou seja, quão precisa ela é. Em geral, os dois primeiros fatores são mais importantes ao avaliar.
Digamos que você esteja falando com uma nova empresa e tenha feito um ótimo trabalho nos dois primeiros fatores, e tenha muito apoio da liderança e de todos na equipe. Eles estão tipo, "Meu Deus, nossa experiência com o cliente é diferente. Cada cliente agora tem seu próprio assistente pessoal que pode entrar em contato conosco a qualquer momento. Nós demos a eles ótimas respostas, eles estão muito satisfeitos, e é multilíngue e disponível 24 horas por dia, 7 dias por semana." Isso é só parte disso, e você também economizou muito dinheiro.
Então, quando você atinge essas metas, você obtém muito apoio e muitos ventos favoráveis para impulsionar o trabalho. Claro, o problema da ilusão precisa ser resolvido, mas não é a coisa com a qual eles estão mais preocupados. A maneira de resolver a ilusão é a mesma que mencionei antes – as pessoas vão testar você. Pode haver uma fase de prova de conceito, onde você realmente conduz conversas reais e eles têm membros da equipe monitorando e verificando a precisão. Se isso der certo, geralmente passa.
Além disso, como mencionei antes, você pode configurar algumas medidas de proteção rigorosas para informações sensíveis, como não necessariamente precisar tornar o conteúdo sensível genérico. Então, a questão da ilusão é um ponto de discussão na maioria das transações. Não é um tópico sem importância. Você passará por esse processo, mas ele nunca é o foco da conversa.
Kimberly Tan: Agora, vamos passar para o modelo de negócios do AI Agent. Hoje, há um grande tópico sobre como precificar esses AI Agents.
Historicamente, muitos softwares SaaS são precificados pelo número de assentos porque são softwares de fluxo de trabalho que têm como alvo funcionários individuais e são usados para melhorar a produtividade dos funcionários. No entanto, o AI Agent não está vinculado à produtividade de funcionários individuais como o software tradicional.
Muitas pessoas acham que o método de precificação com base no número de assentos pode não ser mais aplicável. Estou curioso sobre como você pensou sobre esse dilema nos primeiros dias e como finalmente decidiu precificar o Decagon. Além disso, qual você acha que será a tendência futura de precificação de software conforme o AI Agent se torna mais e mais comum?
Jesse Zhang: Nossa visão sobre essa questão é que, no passado, o software era precificado por assento porque sua escala era baseada aproximadamente no número de pessoas que poderiam usar o software. Mas para a maioria dos agentes de IA, o valor que você fornece não depende do número de pessoas que o mantêm, mas sim da quantidade de trabalho produzido. Isso é consistente com o ponto que mencionei anteriormente: se o retorno sobre o investimento (ROI) for muito mensurável, então o nível de produção de trabalho também é muito claro.
Nossa visão é que o preço pelo número de assentos definitivamente não se aplica. Você pode precificar com base na produção do trabalho. Então, o modelo de precificação que você oferece deve ser que quanto mais trabalho for feito, mais você paga.
Para nós, há duas maneiras óbvias de precificar. Você pode precificar conversas ou pode precificar as conversas que a IA realmente resolve. Acho que uma das lições interessantes que aprendemos é que a maioria das pessoas escolheu o modelo de precificação de conversação. O motivo é que a principal vantagem de precificar por solução é que você paga pelo que o A IA faz isso.
Mas a questão que se segue é: o que é considerado uma “solução”? Primeiro, ninguém quer entrar nisso em profundidade, porque se torna, “Se alguém entra bravo e você o manda embora, por que deveríamos pagar por isso?”
Isso cria uma situação embaraçosa e também torna os incentivos para provedores de IA um pouco estranhos, porque o faturamento por solução significa: "Só precisamos resolver o máximo de conversas possível e afastar algumas pessoas". Mas há muitos casos em que é melhor escalar o problema em vez de simplesmente afastá-lo, e os clientes não gostam desse tipo de tratamento. Portanto, o faturamento por conversa trará mais simplicidade e previsibilidade.
Kimberly Tan: Quanto tempo você acha que o futuro modelo de preços vai durar?Porque agora, quando você menciona ROI, geralmente é baseado em gastos passados que podem ter sido usados para cobrir custos de mão de obra. À medida que os agentes de IA se tornam mais comuns, você acha que, a longo prazo, a IA será comparada aos custos de mão de obra e que esse é um benchmark apropriado? Se não, como você vê os preços de longo prazo além dos custos de mão de obra?
Jesse Zhang: Acredito que, a longo prazo, o preço do Agente de IA ainda pode estar vinculado principalmente aos custos de mão de obra, porque essa é a beleza do Agente: seus gastos anteriores com serviços agora podem ser transferidos para software.
Essa parte da despesa pode ser de 10 a 100 vezes maior que a despesa com software, então muito do custo mudará para software. Portanto, os custos de mão de obra naturalmente se tornarão uma referência. Para nossos clientes, o ROI é muito claro. Se você puder economizar X milhões em custos de mão de obra, então faz sentido adotar essa solução. Mas, a longo prazo, isso pode estar no meio termo.
Porque mesmo alguns produtos que não são tão bons quanto os do nosso Agente aceitarão preços mais baixos. Isso é como a situação clássica de SaaS, onde todos estão competindo por participação de mercado.
Kimberly Tan: O que você acha que o futuro reserva para as empresas de SaaS atuais, especialmente aquelas cujos produtos podem não ter sido desenvolvidos para IA nativamente ou que têm preços por assento e, portanto, não podem se adaptar a um modelo de preços orientado a resultados?
Jesse Zhang: Para algumas empresas tradicionais, é realmente um pouco complicado se elas tentarem lançar um produto de Agente de IA porque não conseguem precificá-lo usando um modelo de assento. Se você não precisa mais de tantos Agentes, é difícil manter a receita com o produto existente. Este é um problema para empresas tradicionais, mas é difícil dizer. As empresas tradicionais sempre têm a vantagem dos canais de distribuição. Mesmo que o produto não seja tão bom quanto o da nova empresa, as pessoas relutam em gastar o esforço de aceitar um novo fornecedor com apenas 80% da qualidade.
Então, primeiro, se você é uma startup como nós, você deve garantir que seu produto seja três vezes melhor do que o produto tradicional. Segundo, esta é uma competição típica entre empresas tradicionais e startups. Empresas tradicionais naturalmente têm uma tolerância menor ao risco porque têm um grande número de clientes. Se elas cometerem um erro na iteração rápida, isso causará enormes perdas. No entanto, startups podem iterar mais rápido, então o próprio processo de iteração pode levar a um produto melhor. Este é o ciclo usual. Para nós, sempre tivemos orgulho de nossa velocidade de entrega, qualidade do produto e execução de nossa equipe. É por isso que ganhamos o acordo atual.
Kimberly Tan: Você pode fazer algumas previsões sobre o futuro da IA no local de trabalho? Por exemplo, como isso mudará as necessidades ou capacidades dos funcionários, ou como os funcionários humanos e os agentes de IA interagem?Quais novas práticas recomendadas ou normas você acha que se tornarão a norma no local de trabalho à medida que os agentes de IA se tornarem mais difundidos?
Jesse Zhang: A primeira e mais importante mudança é que estamos convencidos de que, no futuro, os funcionários passarão muito mais tempo no local de trabalho criando e gerenciando agentes de IA, semelhante à função dos supervisores de IA. Mesmo que sua posição não seja oficialmente de "supervisor de IA", muito do tempo que você costumava gastar fazendo seu trabalho será transferido para gerenciar esses agentes, porque os agentes podem lhe dar muita vantagem.
Vimos isso em muitas implantações onde pessoas que antes eram líderes de equipe agora gastam muito tempo monitorando a IA, por exemplo, para garantir que ela não esteja tendo problemas ou para fazer ajustes. Elas monitoram o desempenho geral para ver se há áreas específicas que precisam de atenção, se há lacunas na base de conhecimento que podem ajudar a IA a se tornar melhor e se a IA pode preencher essas lacunas.
O trabalho que vem com o trabalho com um Agente dá a impressão de que, no futuro, os funcionários passarão uma quantidade significativa de tempo interagindo com Agentes de IA. Este é um conceito central da nossa empresa, como mencionei anteriormente. Portanto, todo o nosso produto é construído para fornecer às pessoas ferramentas, visualização, interpretabilidade e controle. Acredito que dentro de um ano isso se tornará uma grande tendência.
Kimberly Tan: Isso faz muito sentido. Quais capacidades você acha que os supervisores de IA precisarão no futuro? Qual é o conjunto de habilidades para essa função?
Jesse Zhang: Há dois aspectos. Uma é a observabilidade e a interpretabilidade, a capacidade de entender rapidamente o que a IA está fazendo e como ela toma decisões. A outra é a capacidade de tomada de decisão, ou a parte de construção, como dar feedback e como construir uma nova lógica. Acho que esses dois são dois lados da mesma moeda.
Kimberly Tan: Quais tarefas você acha que permanecerão além das capacidades do agente de IA no médio ou longo prazo e ainda precisarão ser gerenciadas e executadas corretamente por humanos?
Jesse Zhang: Acho que vai depender principalmente do requisito de “perfeição” que mencionei antes. Há muitas tarefas que têm uma tolerância muito baixa a erros. Nesses casos, qualquer ferramenta de IA é mais uma ajuda do que um agente completo.
Por exemplo, em algumas indústrias mais sensíveis, como saúde ou segurança, onde você tem que ser quase perfeito, então nessas áreas, os Agentes de IA podem se tornar menos autônomos, mas isso não significa que eles sejam inúteis. Eu acho que o estilo será diferente, em uma plataforma como a nossa, você está realmente implantando esses Agentes para deixá-los automatizar todo o trabalho.
Derrick Harris: E isso é tudo para este episódio. Se você achou este tópico interessante ou inspirador, avalie nosso podcast e compartilhe com mais pessoas.Esperamos lançar o episódio final antes do fim do ano e reestruturaremos o conteúdo para o ano novo. Obrigado por ouvir e tenha uma ótima temporada de férias (se você estiver ouvindo durante as férias).
Vídeo original: Os agentes Al podem finalmente consertar o suporte ao cliente??
