a16z-dialoog met 27-jarige CEO: AI Agent heeft een enorm hefboomeffect en de prijzen op lange termijn zullen gekoppeld zijn aan de arbeidskosten

Hoogtepunten

• Het mooie van LLM's is dat ze heel flexibel zijn, zich aan veel verschillende situaties kunnen aanpassen en over een basisintelligentie beschikken.
• Wij geloven dat de UI en UX in de loop van de tijd steeds meer op natuurlijke taal gebaseerd zullen worden. Dit is namelijk de manier waarop een Agent-systeem denkt, of dit is in feite de basis voor de training voor grote taalmodellen (LLM's).
• Als je wilt dat iemand een AI-agent accepteert, dan is dat eigenlijk een sprong in het diepe, want voor veel mensen is dit een onbekend vakgebied.

AI Agent verandert de klantervaring

Jesse Zhang: Hoe wordt een Agent eigenlijk geconstrueerd? Wij zijn van mening dat het in de loop van de tijd steeds meer op een op natuurlijke taal gebaseerde Agent zal gaan lijken, omdat dat de manier is waarop de grote taalmodellen (LLM's) worden getraind.

Op de lange termijn, als je een superintelligente agent hebt die eigenlijk op een mens lijkt, kun je hem dingen laten zien, uitleggen, feedback geven en hij zal de informatie in zijn hoofd bijwerken.

Je kunt je voorstellen dat je een heel capabel menselijk teamlid hebt. Als ze net lid zijn, leer je ze iets, gaan ze aan de slag en geef je ze feedback en laat je ze nieuwe informatie zien.

Uiteindelijk zal het zich in deze richting ontwikkelen – het zal meer conversationeel worden en meer gebaseerd op natuurlijke taal, en de manier waarop mensen met elkaar communiceren zal natuurlijker worden. En mensen zullen niet langer die ingewikkelde beslissingsbomen gebruiken om vereisten vast te leggen, die kunnen werken maar geneigd zijn in te storten.

Vroeger moesten we dit doen omdat we geen groot taalmodel hadden. Maar nu, met de voortdurende vooruitgang van Agent, worden de gebruikerservaring (UX) en gebruikersinterface (UI) meer conversationeel.

Derrick Harris: Hallo allemaal, welkom bij de A16z AI Podcast. Ik ben Derrick Harris en vandaag word ik vergezeld door Jesse Zhang, medeoprichter en CEO van Decagon, en Kimberly Tan, een partner bij a16z. Kimberly zal de discussie modereren en Jesse zal zijn ervaring delen met het bouwen van Decagon en zijn producten.

Als je er niet veel vanaf weet, Decagon is een startup die AI-agents levert aan bedrijven om te helpen met klantenondersteuning. Deze agents zijn geen chatbots of LLM-wrappers voor een enkele API-oproep, maar zeer aangepaste geavanceerde agents die complexe workflows kunnen verwerken op basis van de specifieke behoeften van een bedrijf.

Jesse legt uit waarom ze Decagon hebben opgericht en hoe het is ontworpen om met verschillende LLM- en klantomgevingen om te gaan. Ook vertelt hij over de voordelen van een bedrijfsmodel waarbij per gesprek wordt gefactureerd en hoe AI-agenten de vereiste vaardigheden van leiders in de klantenservice zullen veranderen.

Het is ook de moeite waard om te vermelden dat Kimberly onlangs een blogpost schreef met de titel "RIP to RPA, The Rise of Intelligent Automation", die we in deze aflevering kort bespreken.

Het is een geweldig startpunt om te begrijpen hoe automatisering in bedrijfsprocessen van de grond komt, en we zullen een link in de shownotes plaatsen. En tot slot, ter herinnering, de inhoud van dit artikel is alleen voor informatieve doeleinden en mag niet worden beschouwd als juridisch, zakelijk, belasting- of beleggingsadvies, noch mag het worden gebruikt om een investering of beveiliging te evalueren, en is niet gericht op een a16z-fondsinvesteerder of potentiële investeerder.

Jesse Zhang: Een korte introductie van mezelf. Ik ben geboren en getogen in Boulder en heb als kind aan veel wiskundewedstrijden en dergelijke meegedaan. Ik heb computerwetenschappen gestudeerd aan Harvard en ben toen een bedrijf begonnen dat ook werd gesteund door a16z. We zijn uiteindelijk overgenomen door Niantic.

Toen begonnen we met het bouwen van Decagon. Ons bedrijf bouwt AI Agents voor klantenservice. In het begin deden we dit omdat we iets wilden doen dat ons nauw aan het hart lag.

Natuurlijk hoeft niemand te worden onderwezen over de rol van AI Agents in klantenservice, toch? We hebben allemaal wel eens met luchtvaartmaatschappijen, hotels, etc. gebeld en in de wacht gestaan. Dus het idee ontstond daar.

We hebben met veel klanten gesproken om erachter te komen wat voor soort product we precies moesten bouwen. Eén ding dat ons opviel, was dat we, naarmate we meer leerden over AI Agents, begonnen na te denken over hoe de toekomst eruit zou zien als er veel van waren. Ik denk dat iedereen gelooft dat er in de toekomst veel AI Agents zullen zijn.

Waar we aan denken is wat de werknemers die met AI-agenten werken, zullen doen? Wat voor tools zullen ze hebben? Hoe zullen ze de agenten waarmee ze werken of die ze beheren, controleren of bekijken?

Dit is dus de kern van hoe we het bedrijf rondom deze vraag hebben opgebouwd. Ik denk dat dit ook is wat ons nu onderscheidt, omdat we deze AI-agents voorzien van verschillende tools om de mensen met wie we werken te helpen deze agents te bouwen en configureren, zodat ze niet langer een "black box" zijn. Dit is hoe we ons merk opbouwen.

Derrick Harris: Wat inspireerde u om over te stappen op bedrijfssoftware, aangezien uw vorige bedrijf een videobedrijf was dat zich op de consument richtte?

Jesse Zhang: Goede vraag. Ik denk dat oprichters vaak "onderwerp-agnostisch" zijn als het gaat om het kiezen van een onderwerp, omdat je in werkelijkheid, wanneer je een nieuw veld benadert, meestal vrij naïef bent. Dus er is een voordeel om dingen vanuit een fris perspectief te bekijken. Dus toen we erover nadachten, waren er bijna geen onderwerpbeperkingen.

Ik denk dat dat een heel gebruikelijk patroon is voor mensen met een meer kwantitatieve achtergrond, mezelf incluis. Nadat je consumentenproducten hebt geprobeerd, neig je meer naar bedrijfssoftware omdat bedrijfssoftware concretere problemen heeft.

Je hebt echte klanten met echte behoeften en budgetten en dat soort dingen, en je kunt problemen voor hen optimaliseren en oplossen. De consumentenmarkt is ook erg aantrekkelijk, maar die is meer gebaseerd op intuïtie dan gedreven door experimenten. Voor mij persoonlijk is bedrijfssoftware een betere match.

Kimberly Tan: Ten eerste kunnen we beginnen met deze vraag: Wat zijn de meest voorkomende ondersteuningscategorieën waar Decagon vandaag de dag mee te maken heeft? Kunt u toelichten hoe u grote taalmodellen (LLM's) gebruikt om deze problemen op te lossen en wat u nu kunt doen wat u eerder niet kon?

Jesse Zhang: Als je terugkijkt naar eerdere automatisering, heb je misschien beslissingsbomen gebruikt om iets simpels te doen, om te bepalen welk pad je moest nemen. Maar we hebben allemaal chatbots gebruikt, en dat is een behoorlijk frustrerende ervaring.

Vaak kan uw vraag niet volledig worden beantwoord door een beslissingsboom. Dus wordt u uiteindelijk doorgestuurd naar een vraagpad dat gerelateerd is aan de vraag, maar er niet exact mee overeenkomt. Nu hebben we grote taalmodellen (LLM's). De magie van LLM's is dat ze erg flexibel zijn, zich kunnen aanpassen aan veel verschillende situaties en een basisintelligentie hebben.

Wanneer u dit toepast op klantenondersteuning, of wanneer een klant een vraag stelt, kunt u een meer gepersonaliseerde service bieden. Dit is het eerste punt, het niveau van personalisatie is enorm verbeterd. Dit ontsluit hogere statistieken. U kunt meer problemen oplossen, klanten zijn tevredener en de klanttevredenheid neemt toe.

De volgende natuurlijke stap is: als je deze intelligentie hebt, zou je meer van de dingen moeten kunnen doen die mensen kunnen doen. De dingen die mensen kunnen doen, zijn dat ze gegevens in realtime kunnen ophalen, dat ze actie kunnen ondernemen en dat ze door meerdere stappen heen kunnen redeneren. Als een klant een relatief complexe vraag stelt, misschien "Ik wil dit en dat doen", en de AI is alleen voorbereid om de eerste vraag te behandelen. LLM is slim genoeg om te herkennen dat er hier twee vragen zijn. Eerst lost het het eerste probleem op en vervolgens helpt het je het tweede probleem op te lossen.

Voordat LLM opkwam, was dit vrijwel onmogelijk. Dus nu zien we een stapsgewijze verandering in wat technologie kan doen, en dat is dankzij LLM.

Kimberly Tan: Hoe zou je in deze context een AI Agent definiëren? Omdat het woord "Agent" veel wordt gebruikt, ben ik benieuwd wat het eigenlijk betekent in de context van Decagon.

Jesse Zhang: Ik zou zeggen dat Agent meer verwijst naar een systeem waarin meerdere LLM (large language model) systemen samenwerken. Je hebt een LLM-aanroep, wat in principe inhoudt dat je een prompt verstuurt en een reactie krijgt. Voor een Agent wil je meerdere van dergelijke aanroepen kunnen verbinden, misschien zelfs recursief.

Bijvoorbeeld, u hebt een LLM-oproep die bepaalt hoe het bericht moet worden afgehandeld, en vervolgens kan het andere oproepen activeren die meer gegevens ophalen, acties uitvoeren en itereren op wat de gebruiker zei, en misschien zelfs vervolgvragen stellen. Dus voor ons kan een Agent worden begrepen als een netwerk van bijna LLM-oproepen, API-oproepen of andere logica die samenwerken om een betere ervaring te bieden.

Kimberly Tan: Over dit onderwerp kunnen we misschien meer praten over de Agent-infrastructuur die je daadwerkelijk hebt gebouwd. Ik denk dat een heel interessant punt is dat er veel demonstraties van AI Agents op de markt zijn, maar ik denk dat er maar heel weinig voorbeelden zijn die daadwerkelijk stabiel kunnen draaien in een productieomgeving. En het is moeilijk om van buitenaf te weten wat echt is en wat niet.

Welke aspecten van de huidige AI-agenten doen het volgens u goed en welke aspecten vereisen nog technologische doorbraken om ze robuuster en betrouwbaarder te maken?

Jesse Zhang: Mijn visie is eigenlijk een beetje anders. Het verschil tussen het bepalen of een AI Agent slechts een demo is of "echt werkt", ligt niet volledig in de technologiestack, omdat ik denk dat de meeste mensen ongeveer dezelfde technologie gebruiken. Ik denk dat als je eenmaal verder bent in de ontwikkeling van je bedrijf, bijvoorbeeld, ons bedrijf is al meer dan een jaar gevestigd, je iets heel specifieks creëert dat past bij jouw use case.

Maar uiteindelijk heeft iedereen toegang tot hetzelfde model en kan iedereen dezelfde technologie gebruiken. Ik denk dat de grootste onderscheidende factor voor de vraag of een AI-agent effectief kan werken, eigenlijk in de vorm van het gebruiksscenario zit. Het is lastig om dit in het begin te weten, maar als je terugkijkt, zul je zien dat er twee eigenschappen zijn die erg belangrijk zijn voor een AI-agent om verder te gaan dan demonstratie en om in de praktijk te kunnen worden toegepast.

Ten eerste moet het use case dat u oplost een kwantificeerbare ROI (return on investment) hebben. Dit is erg belangrijk, want als de ROI niet kan worden gekwantificeerd, zal het moeilijk zijn om mensen ervan te overtuigen om uw product daadwerkelijk te gebruiken en ervoor te betalen. In ons geval is de kwantitatieve indicator: welk percentage van de supportaanvragen lost u op? Omdat dit getal duidelijk is, kunnen mensen het begrijpen - oh, oké, als u er meer oplost, kan ik dit resultaat vergelijken met mijn huidige uitgaven en bestede tijd. Dus als er deze indicator is, is een andere indicator die erg belangrijk voor ons is, klanttevredenheid. Omdat de ROI gemakkelijk kan worden gekwantificeerd, zullen mensen het echt omarmen.

De tweede factor is dat de use cases steeds moeilijker moeten worden. Het zou ook heel moeilijk zijn als je een Agent nodig had die vanaf het begin supermenselijk was en bijna 100% van de use cases oploste. Omdat LLM's, zoals we weten, niet-deterministisch zijn, moet je een soort noodplan hebben. Gelukkig is er een geweldige functie van support use cases, en dat is dat je altijd kunt escaleren naar een mens. Zelfs als je maar de helft van de problemen kunt oplossen, is het nog steeds heel waardevol voor mensen.

Dus ik denk dat de ondersteuning deze eigenschap heeft die het zeer geschikt maakt voor AI Agent. Ik denk dat er veel andere gebieden zijn waar mensen indrukwekkende demo's kunnen maken waar je niet eens goed naar hoeft te kijken om te begrijpen waarom AI Agent nuttig zou zijn. Maar als het vanaf het begin perfect moet zijn, dan is het erg moeilijk. Als dat het geval is, zal bijna niemand het willen proberen of gebruiken omdat de gevolgen van de imperfectie ervan zeer ernstig kunnen zijn - bijvoorbeeld op het gebied van beveiliging.

Bijvoorbeeld, wanneer mensen simulaties doen, hebben ze altijd deze klassieke gedachte: "Oh, het zou geweldig zijn als LLM dit kon lezen." Maar het is moeilijk voor te stellen dat iemand zegt: "Oké, AI Agent, ga ervoor. Ik geloof dat je het kunt." Want als er een fout wordt gemaakt, kunnen de gevolgen heel ernstig zijn.

Jesse Zhang: Dit wordt meestal bepaald door onze klanten, en in feite zien we een zeer breed scala aan verschillen. Aan de ene kant laten sommige mensen hun Agent er echt uitzien als een mens, dus er is een menselijke avatar, een menselijke naam, en de reacties zijn heel natuurlijk. Aan de andere kant stelt de Agent gewoon dat het AI is en maakt dit duidelijk aan de gebruiker. Ik denk dat de verschillende bedrijven waarmee we werken verschillende standpunten hierover hebben.

Normaal gesproken moet je dit duidelijk maken als je in een gereguleerde sector zit. Wat ik nu interessant vind, is dat het gedrag van klanten verandert. Omdat veel van onze klanten veel feedback krijgen op sociale media, zoals: "Oh mijn God, dit is de eerste chatervaring die ik ooit heb geprobeerd die echt zo echt aanvoelt," of "Dit is gewoon magie." En dat is geweldig voor hen, want nu leren hun klanten: hé, als het een AI-ervaring is, kan het eigenlijk beter zijn dan een menselijke. Dat was in het verleden niet het geval, omdat de meesten van ons in het verleden dat soort telefonische klantenservice-ervaring hebben gehad: "Oké, AI, AI, AI..."

Kimberly Tan: Je hebt het concept van personalisatie een paar keer genoemd. Iedereen gebruikt dezelfde onderliggende technologische architectuur, maar ze hebben verschillende personalisatiebehoeften in termen van ondersteunende diensten. Kun je hier iets over vertellen? Hoe bereik je personalisatie zodat mensen online kunnen zeggen: "Mijn God, dit is de beste ondersteuningservaring die ik ooit heb gehad"?

Jesse Zhang: Voor ons, personalisatie komt voort uit maatwerk voor de gebruiker. U moet de achtergrondinformatie van de gebruiker begrijpen, wat de extra context is die nodig is. Ten tweede moet u ook de bedrijfslogica van onze klanten begrijpen.Als je beide combineert, kun je een behoorlijk goede ervaring bieden.

Dit klinkt natuurlijk eenvoudig, maar in werkelijkheid is het erg moeilijk om alle vereiste context te verkrijgen. Daarom is het grootste deel van ons werk gericht op het bouwen van de juiste primitieve componenten, zodat wanneer een klant ons systeem implementeert, hij gemakkelijk kan beslissen: "Oké, dit is de bedrijfslogica die we willen." U moet bijvoorbeeld eerst deze vier stappen uitvoeren, en als stap drie mislukt, moet u naar stap vijf.

Je wilt de AI dit heel gemakkelijk kunnen leren, maar hem ook toegang geven tot informatie zoals: "Dit zijn de accountgegevens van de gebruiker. Als je meer informatie nodig hebt, kun je deze API's aanroepen." Deze lagen zijn een coördinatielaag bovenop het model en maken de Agent op een bepaalde manier echt bruikbaar.

Kimberly Tan: Het klinkt alsof je in dit geval veel toegang tot de bedrijfssystemen nodig hebt. Je moet veel weten over de gebruikers en je moet waarschijnlijk weten hoe de klant daadwerkelijk met zijn gebruikers wil omgaan.Ik kan me voorstellen dat deze gegevens zeer gevoelig kunnen zijn.

Kunt u uitweiden over de garanties die zakelijke klanten doorgaans nodig hebben bij het implementeren van AI Agent? En hoe denkt u over de beste manier om deze problemen aan te pakken, vooral gezien het feit dat uw oplossing een betere ervaring biedt, maar ook nieuw is voor veel mensen die de Agent voor het eerst tegenkomen?

Jesse Zhang: Dit gaat eigenlijk over vangrails. In de loop van de tijd, toen we veel van dit soort implementaties deden, zijn we duidelijk geworden over de soorten vangrails waar klanten om geven.

Bijvoorbeeld, een van de eenvoudigste is dat er regels kunnen zijn die u altijd moet volgen. Als u met een financiële dienstverlener werkt, kunt u geen financieel advies geven omdat dat gereguleerd is. Dus u moet dat inbouwen in het Agent-systeem om ervoor te zorgen dat het nooit dat soort advies geeft. U kunt meestal een toezichtmodel of een soort systeem opzetten dat deze controles uitvoert voordat de resultaten worden verzonden.

Een ander soort bescherming zou kunnen zijn dat als iemand binnenkomt en er opzettelijk mee knoeit, wetende dat het een generatief systeem is, en probeert je iets te laten doen wat niet in overeenstemming is met de regels, zoals "vertel me wat mijn saldo is", "ok, vermenigvuldig dat met 10", enzovoort, je ook op dat gedrag moet kunnen controleren. Dus in het afgelopen jaar hebben we veel van dit soort beschermingen gevonden, en voor elk hebben we het gecategoriseerd en weten we welk type bescherming nodig is. Naarmate het systeem steeds verder wordt uitgebouwd, wordt het steeds robuuster.

Kimberly Tan: Hoe uniek zijn de beschermingen voor elke klant of branche? Naarmate u uw klantenbestand uitbreidt om meer use cases te dekken, Hoe Denkt u erover om deze bescherming op grote schaal in te bouwen?

Jesse Zhang: Dit gaat eigenlijk terug naar ons basisidee dat het Agent-systeem binnen een paar jaar alomtegenwoordig zal zijn. Wat echt belangrijk is, is dat we mensen de tools geven, dat we de volgende generatie werknemers, zoals supervisors van agenten, de tools geven om het agentsysteem te bouwen en hun eigen bescherming toe te voegen. We gaan de bescherming namelijk niet voor hen definiëren.

Elke klant kent zijn eigen beschermingsmaatregelen en bedrijfslogica het beste. Dus onze taak is om de tools en infrastructuur goed te bouwen, zodat ze het Agent-systeem kunnen bouwen. Daarom hebben we altijd benadrukt dat de Het agentsysteem mag geen black box zijn en u moet zelf kunnen bepalen hoe u deze beveiligingen, regels en logica inbouwt.

Ik denk dat dat tot nu toe waarschijnlijk ons meest onderscheidende aspect is. We hebben veel moeite gestoken in deze tools en zijn met creatieve manieren gekomen om mensen die misschien geen supertechnische achtergrond hebben, of zelfs geen diepgaand begrip van hoe AI-modellen werken, toch de acties die ze willen dat AI uitvoert, in het Agent-systeem te laten invoeren.

Ik denk dat dat een steeds belangrijkere mogelijkheid gaat worden in de komende jaren. Dat zou een van de belangrijkste criteria moeten zijn wanneer mensen vergelijkbare tools evalueren, omdat je deze systemen in de loop van de tijd continu wilt kunnen optimaliseren en verbeteren.

Bedrijfslogica aangestuurd door natuurlijke taal

Derrick Harris: Welke voorbereidingen kunnen klanten of bedrijven treffen om zich voor te bereiden op elk type automatisering, en met name het gebruik van dit Agent-systeem? Hoe kunnen ze bijvoorbeeld hun datasystemen, softwarearchitectuur of bedrijfslogica ontwerpen om dergelijke systemen te ondersteunen?

Omdat ik vind dat veel AI-technologie in eerste instantie nieuw is, maar als het om bestaande, verouderde systemen gaat, leidt het vaak tot veel chaos.

Jesse Zhang: Als iemand nu vanaf nul bouwt, zijn er veel best practices die je werk makkelijker kunnen maken. Bijvoorbeeld hoe je je kennisbank structureert. We hebben over een aantal van deze dingen geschreven en een aantal methoden geïntroduceerd die het voor AI makkelijker kunnen maken om informatie op te nemen en de nauwkeurigheid ervan te verbeteren. Een specifieke suggestie is om de kennisbank op te delen in modulaire delen, in plaats van één groot artikel met meerdere antwoorden.

Bij het instellen van de API kunt u ze geschikter maken voor het Agent-systeem en machtigingen en uitvoer instellen op een manier die het voor het Agent-systeem gemakkelijk maakt om informatie op te nemen zonder veel berekeningen te hoeven doen om het antwoord te vinden. Dit zijn enkele tactische maatregelen die kunnen worden genomen, maar ik zou niet zeggen dat er iets is dat moet worden gedaan om het Agent-systeem te gebruiken.

Derrick Harris: Goede documentatie is altijd belangrijk. Het gaat er vooral om informatie effectief te organiseren.

Kimberly Tan: Het lijkt erop dat als je mensen wilt leren hoe ze het Agent-systeem zo kunnen aansturen dat het het beste aansluit bij hun klanten of specifieke use cases, er veel geëxperimenteerd moet worden met het UI- en UX-ontwerp. Je moet misschien ook nieuwe wegen inslaan op dit compleet nieuwe gebied, omdat het heel anders is dan traditionele software.

Ik ben benieuwd, wat vind jij hiervan? Hoe zouden de UI en UX eruit moeten zien in een Agent-first wereld? Hoe denk je dat het de komende jaren zal veranderen?

Jesse Zhang: Ik zou niet zeggen dat we dit probleem hebben opgelost. Ik denk dat we een lokaal optimum hebben gevonden dat werkt voor onze huidige klanten, maar het is nog steeds een doorlopend onderzoeksgebied, voor ons en vele anderen.

De kern van het probleem komt terug op wat we eerder noemden, namelijk dat je een Agent-systeem hebt. Ten eerste, hoe kun je duidelijk zien wat het doet en hoe het beslissingen neemt? En hoe kun je deze informatie gebruiken om te beslissen wat er moet worden bijgewerkt en welke feedback er aan de AI moet worden gegeven? Dit is waar de UI-elementen samenkomen, met name het tweede deel.

Wij denken dat de UI en UX in de loop van de tijd steeds meer op natuurlijke taal gebaseerd zullen worden. Dat is namelijk de manier waarop het Agent-systeem denkt, of dat is in feite de basis voor het trainen van grote taalmodellen (LLM's).

In het extreme geval, als je een superintelligente agent hebt die in principe denkt als een mens, kun je hem dingen laten zien, dingen uitleggen, feedback geven en hij zal in zijn eigen "mind" updaten. Je kunt je voorstellen dat er een zeer capabel persoon bij je team komt, je leert hem iets, hij gaat aan de slag en dan blijf je hem feedback geven, je kunt hem nieuwe dingen laten zien, nieuwe documenten, diagrammen, etc.

Ik denk dat het zich in het extreme geval in deze richting zal ontwikkelen: dingen worden meer conversationeel, meer gebaseerd op natuurlijke taal, en mensen stoppen met het bouwen van systemen met complexe beslissingsbomen zoals ze dat vroeger deden, en het vastleggen van wat je wilt, maar deze aanpak kan gemakkelijk mislukken. Vroeger moesten we dit doen omdat er toen nog geen LLM's waren, maar nu Agent-systemen steeds krachtiger worden, zullen UI en UX conversationeler worden.

Kimberly Tan: Ongeveer anderhalf jaar geleden, toen Decagon net begon, was er een algemene perceptie dat LLM zeer toepasbaar was op veel use cases, maar in feite was het gewoon een soort "GPT-wrapper", waarmee bedrijven gewoon een onderliggend model konden aanroepen via een API en hun ondersteuningsproblemen onmiddellijk konden oplossen.

Maar het is duidelijk dat bedrijven ervoor kiezen om oplossingen als Decagon te gebruiken in plaats van direct die kant op te gaan, maar dat dit niet het geval is. Ik vroeg me af of u kunt uitleggen waarom dit het geval is. Wat maakte de uitdagingen van intern bouwen precies complexer dan verwacht? Welke misvattingen hadden ze over het concept?

Jesse Zhang: Er is niets mis met een "GPT wrapper" te zijn, je zou kunnen zeggen dat Purcell een AWS wrapper is of zoiets. Meestal betekent deze term iets denigrerends als mensen het gebruiken.

Mijn persoonlijke mening is dat als je een agentsysteem bouwt, je per definitie LLM als tool gaat gebruiken. Je bouwt dus eigenlijk op iets dat al bestaat, net zoals je normaal gesproken op AWS of GCP zou bouwen.

Maar het echte probleem waar je tegenaan kunt lopen, is als de software die je op basis van LLM bouwt niet ‘zwaar’ of complex genoeg is om een verschil te maken.

Terugkijkend verkopen wij eigenlijk alleen maar software. We zijn eigenlijk een gewoon softwarebedrijf, behalve dat we LLM gebruiken als onderdeel van de software en als een van de tools. Maar als mensen dit soort producten kopen, willen ze vooral de software zelf. Ze willen tools die de AI kunnen monitoren, die diep in de details van elk gesprek dat de AI voert kunnen duiken, die feedback kunnen geven, die het systeem constant kunnen bouwen en aanpassen.

Dat is dus de kern van onze software. Zelfs met het Agent-systeem zelf is het probleem dat mensen hebben dat het cool is om een demo te doen, maar als je het productieklaar en echt klantgericht wilt maken, moet je een hoop langdurige problemen oplossen, zoals het voorkomen van het "illusie"-fenomeen en omgaan met kwaadwillenden die chaos proberen te veroorzaken. We moeten er ook voor zorgen dat de latentie laag genoeg is, de toon gepast is, enzovoort.

We hebben met veel teams gesproken, en ze hebben wat experimenten gedaan, een voorlopige versie gebouwd, en dan realiseerden ze zich: "Oh, echt, we willen niet degenen zijn die deze details in latere stadia blijven bouwen." Ze wilden ook niet degenen zijn die steeds nieuwe logica aan het klantenserviceteam toevoegen. Dus op dit punt lijkt het passender om te kiezen voor samenwerking met anderen.

Kimberly Tan: Je noemde een aantal kwesties op de lange termijn, zoals de noodzaak om met kwaadwillenden om te gaan, enzovoort.Ik denk dat veel luisteraars die overwegen om AI Agent te gebruiken zich zorgen maken over nieuwe beveiligingsaanvalspaden die kunnen ontstaan na de introductie van LLM's, of de nieuwe beveiligingsrisico's die kunnen ontstaan na de introductie van het Agent-systeem. Wat vindt u van deze kwesties? En wat zijn de beste werkwijzen om te zorgen voor eersteklas bedrijfsbeveiliging bij het omgaan met Tussenpersoon?

Jesse Zhang: Wat betreft veiligheid zijn er een aantal voor de hand liggende maatregelen die genomen kunnen worden, die ik eerder noemde, zoals de noodzaak van beschermende maatregelen. De kern van de zaak is dat mensen zich zorgen maken over LLM's omdat ze niet deterministisch zijn.

Maar het goede nieuws is dat je de meeste gevoelige en complexe bewerkingen achter een deterministische muur kunt plaatsen, en de berekening vindt daar plaats wanneer het de API aanroept. Je bent dus niet volledig afhankelijk van LLM om het te verwerken, en dat voorkomt veel van de kernproblemen.

Maar er zijn nog steeds situaties waarin bijvoorbeeld een kwaadwillende zich ermee bemoeit of iemand probeert het systeem te laten hallucineren. We hebben gezien dat bij veel van de grote klanten waarmee we werken, hun beveiligingsteams binnenkomen en in principe een "red team"-test uitvoeren op onze producten, waarbij ze wekenlang continu verschillende mogelijke aanvallen op het systeem uitvoeren om te proberen kwetsbaarheden te vinden. Naarmate AI Agent steeds populairder wordt, zullen we dit misschien steeds vaker zien gebeuren, omdat dit een van de beste manieren is om te testen of een systeem effectief is. Het is om er iets op los te gooien via een red team-test en te kijken of het de verdediging kan doorbreken.

Er zijn ook startups die red team tools ontwikkelen of mensen in staat stellen om dit soort tests zelf uit te voeren, wat een trend is die we nu zien. Veel bedrijven waarmee we werken, zullen in een later stadium van de verkoopcyclus hun beveiligingsteam, of met een extern team, het systeem laten stresstesten. Voor ons is het een must om dit soort tests te kunnen doorstaan. Dus uiteindelijk komt het daar op neer.

Derrick Harris: Is dit iets waartoe u uw klanten aanmoedigt? Want als we het hebben over AI-beleid, noemen we een belangrijk aspect, namelijk de applicatielaag, en we benadrukken het plaatsen de verantwoordelijkheid bij de gebruikers van LLM en de mensen die de applicatie runnen, in plaats van simpelweg het model zelf de schuld te geven. Dat wil zeggen dat klanten red team-testen moeten uitvoeren, specifieke use cases en aanvalspaden moeten identificeren en moeten bepalen welke kwetsbaarheden beschermd moeten worden, in plaats van simpelweg te vertrouwen op de beveiliging die al is ingesteld door OpenAI of andere bedrijven.

Jesse Zhang: Ik ben het er helemaal mee eens. Ik denk ook dat er een nieuwe golf van meldingsvereisten kan ontstaan, vergelijkbaar met de SOC 2-certificering en HIPAA-certificering die iedereen nu doet, die vereist zijn in verschillende branches. Normaal gesproken, wanneer u een generiek SaaS-product verkoopt, zullen klanten penetratietesten vereisen, en moeten wij ook ons penetratietestrapport verstrekken. Voor AI Agent kunnen er in de toekomst vergelijkbare vereisten zijn, en iemand kan het benoemen, maar dit is in feite een nieuwe manier om te testen of het Agent-systeem krachtig genoeg is.

Kimberly Tan: Iets dat interessant is, is dat iedereen uiteraard erg enthousiast is over de nieuwe modeldoorbraken en technologische doorbraken die door alle grote labs worden geïntroduceerd. Als AI-bedrijf doe je uiteraard geen eigen onderzoek, maar je maakt gebruik van dat onderzoek en bouwt er veel software omheen om aan de eindklant te leveren.

Maar uw werk is gebaseerd op snel veranderende technologie. Ik ben benieuwd, als toegepast AI-bedrijf, hoe houdt u gelijke tred met nieuwe technologische veranderingen en begrijpt u hoe deze het bedrijf beïnvloeden, terwijl u tegelijkertijd uw eigen productroadmap kunt voorspellen en gebruikersbehoeften kunt opbouwen? En breder, welke strategieën moeten toegepaste AI-bedrijven in vergelijkbare situaties hanteren?

Jesse Zhang: Je kunt de hele stack in verschillende delen verdelen. Bijvoorbeeld, LLM staat onderaan als je naar de applicatielaag kijkt. Je hebt misschien wat tools in het midden die je helpen bij het beheren van LLM of het uitvoeren van evaluaties en dat soort dingen. Dan is het bovenste deel in feite wat we hebben gebouwd, wat eigenlijk een standaard SaaS is.

Dus het meeste van ons werk verschilt eigenlijk niet zo veel van reguliere software, behalve dat we een extra onderzoekscomponent hebben – LLM verandert te snel. We moeten onderzoeken wat ze kunnen doen, waar ze goed in zijn en welk model gebruikt moet worden om een bepaalde taak uit te voeren. Dit is een groot probleem omdat zowel OpenAI als Anthropic nieuwe technologieën lanceren en Gemini ook geleidelijk verbetert.

Daarom, je moet je eigen evaluatiemechanisme hebben om te begrijpen welk model geschikt is voor gebruik in welke situatie. Soms moet je ook fine-tunen, maar de vraag is: wanneer moet je fine-tunen? Wanneer is fine-tunen de moeite waard? Dit zijn waarschijnlijk de belangrijkste onderzoekskwesties met betrekking tot LLM's waar we ons op richten. Maar tot nu toe hebben we niet het gevoel dat SaaS snel verandert, omdat we niet afhankelijk zijn van de middelste laag. Dus in principe zijn het de LLM's die veranderen. Ze veranderen niet zo vaak, en als ze dat wel doen, is het meestal een upgrade. Bijvoorbeeld, Claude 3.5 sonnet is een paar maanden geleden geüpdatet, en toen dachten we: "Oké, moeten we overstappen op het nieuwe model in plaats van het oude te blijven gebruiken?"

We hoeven alleen maar een reeks beoordelingen uit te voeren en zodra we zijn overgestapt op het nieuwe model, denken we er niet meer over na, omdat u het nieuwe model al gebruikt. Toen kwam de o1-versie uit en was de situatie vergelijkbaar. Denk na over waar het kan worden gebruikt. In ons geval is o1 een beetje traag voor de meeste klantgerichte use cases, dus we kunnen het gebruiken voor wat achtergrondwerk. Uiteindelijk hoeven we alleen maar een goed systeem te hebben voor modelonderzoek.

Kimberly Tan: Hoe vaak evalueert u een nieuw model en beslist u of u het wilt vervangen?

Jesse Zhang: We evalueren elke keer dat er een nieuw model uitkomt. Je moet ervoor zorgen dat, ook al is het nieuwe model slimmer, het niet een aantal use cases die je al hebt gebouwd, verbreekt. Dit kan gebeuren. Het nieuwe model kan bijvoorbeeld over het geheel genomen slimmer zijn, maar in sommige extreme gevallen presteert het slecht op een A/B-keuze in een van je workflows. Dat is waar we voor evalueren.

Ik denk dat het type intelligentie waar we het meest om geven, is wat ik "instructies opvolgend vermogen" zou noemen. We willen dat het model steeds beter wordt in het opvolgen van instructies. Als dat het geval is, dan is het zeker voordelig voor ons, en dat is heel goed.

Het lijkt erop dat recent onderzoek zich meer richt op het type intelligentie dat te maken heeft met redeneren, zoals betere programmering en betere wiskundige bewerkingen. Dit helpt ons ook, maar het is niet zo belangrijk als de verbetering van het vermogen om instructies te volgen.

Kimberly Tan: Een heel interessant punt dat je noemde, en ik denk dat het ook heel uniek is voor Decagon, is dat jullie intern een hoop evaluatie-infrastructuur hebben opgebouwd om ervoor te zorgen dat je precies weet hoe elk model presteert onder de set tests die je aanbiedt.

Kunt u dit toelichten? Hoe belangrijk is deze interne evaluatie-infrastructuur en hoe geeft het u en uw klanten specifiek vertrouwen in de prestaties van Agent? Omdat sommige van deze evaluaties ook op de klant gericht zijn.

Jesse Zhang: Ik denk dat het heel belangrijk is, want zonder deze evaluatie-infrastructuur zou het voor ons heel moeilijk zijn om snel te itereren.

Als je het gevoel hebt dat elke verandering een grote kans heeft om iets kapot te maken, dan zul je niet snel veranderingen doorvoeren. Maar als je een evaluatiemechanisme hebt, dan kun je, wanneer er een grote verandering is, een modelupdate of er iets nieuws komt, het direct vergelijken met alle evaluatietests. Als de evaluatieresultaten goed zijn, kun je voelen: oké, we hebben een verbetering doorgevoerd, of je kunt het met vertrouwen vrijgeven zonder je al te veel zorgen te maken.

Dus, in ons vakgebied, Bij een evaluatie is input van de klant nodig, omdat de klant degene is die beslist of iets klopt of niet. Uiteraard kunnen we een aantal belangrijke problemen controleren, maar doorgaans geeft de klant specifieke use cases aan en vertelt ons wat het juiste antwoord is, of wat het moet zijn, welke toon het moet aanhouden, wat er moet worden gezegd.

De beoordeling is hierop gebaseerd. We moeten er dus voor zorgen dat ons beoordelingssysteem robuust genoeg is. In het begin hebben we het zelf gebouwd en het is niet zo moeilijk om te onderhouden. We weten ook dat er een aantal beoordelingsbedrijven zijn en we hebben er een aantal onderzocht. Misschien overwegen we op een gegeven moment of we ze willen overnemen, maar voor nu is het beoordelingssysteem geen pijnpunt meer voor ons.

Kimberly Tan: Een erg populair onderwerp vandaag de dag is multimodaliteit, wat betekent dat AI-agenten in staat moeten zijn om te interacteren met alle vormen die mensen vandaag de dag gebruiken, of het nu tekst, video, spraak, etc. is. Ik weet dat Decagon begon als tekstgebaseerd. Vanuit jouw perspectief, hoe belangrijk is multimodaliteit naar AI-agenten? Wat denk je dat het tijdsbestek is voordat het mainstream of zelfs een standaard wordt?

Jesse Zhang: Het is belangrijk en vanuit een bedrijfsperspectief is het niet bijzonder moeilijk om een nieuwe modaliteit toe te voegen. Het is niet eenvoudig, maar de kern is: als je andere problemen oplost, zoals die ik noemde – bijvoorbeeld het bouwen van de AI, het monitoren ervan en het hebben van de juiste logica – dan is het toevoegen van een nieuwe modaliteit niet het moeilijkste om te doen. Dus voor ons is het hebben van alle modaliteiten heel logisch en het vergroot onze markt. We zijn in principe modaliteit-agnostisch en we bouwen onze eigen Agent voor elke modaliteit.

Over het algemeen zijn er twee beperkende factoren: ten eerste, is de klant klaar om de nieuwe modaliteit te adopteren? Ik denk dat het heel logisch is om te beginnen met tekst, omdat dat de manier is waarop mensen het meest actief adopteren, en het is minder riskant voor hen, gemakkelijker te monitoren en gemakkelijker te begrijpen. De andere grote modaliteit is spraak. Uiteraard denk ik dat er nog ruimte is in de markt, en de acceptatie van spraak door gebruikers moet nog verbeteren. Op dit moment zien we een aantal early adopters die voice Agents zijn gaan gebruiken, wat erg spannend is. Het andere aspect zijn de technische uitdagingen. De meeste mensen zullen het erover eens zijn dat de lat hoger ligt voor voice. Als je met iemand aan de telefoon praat, heb je een zeer korte voice latency nodig. Als je iemand onderbreekt, moet diegene op een natuurlijke manier reageren.

Omdat de latentie van spraak lager is, moet je slimmer zijn in de manier waarop je rekent. Als je in een chat zit en de reactietijd is vijf tot acht seconden, merk je het nauwelijks en voelt het heel natuurlijk. Maar als het vijf tot acht seconden duurt om te reageren aan de telefoon, voelt het een beetje onnatuurlijk. Er zijn dus meer technische uitdagingen met spraak. Naarmate deze technische uitdagingen worden opgelost en de interesse in het adopteren van spraak in de markt toeneemt, zal spraak als nieuwe modaliteit mainstream worden.

Een bedrijfsmodel dat vertrouwen overstijgt

Kimberly Tan: Voordat we verdergaan, wil ik nog even wat meer vertellen over het AI Agent-bedrijfsmodel. Wanneer je voor het eerst gebouwd AI Agent of met klanten gesproken over het systeem dat ze gebruiken, de gegevens die ze verwerken en hun zorgen, was er iets dat u verraste? Wat zijn enkele van de niet-intuïtieve of verrassende dingen die Decagon moest doen om zakelijke klanten beter van dienst te zijn?

Jesse Zhang: Ik denk dat het meest verrassende was in hoeverre mensen bereid waren om met ons te praten toen we net begonnen. We waren tenslotte maar met z'n tweeën. We waren allebei al eerder bedrijven begonnen, dus we kenden veel mensen, maar toch, voor elke ondernemer geldt dat als je een referral-gesprek wilt beginnen, als wat je zegt niet bepaald overtuigend is, het gesprek meestal vrij lauw is.

Maar toen we begonnen te praten over deze use case, vond ik het eigenlijk best verrassend hoe enthousiast mensen waren om erover te praten. Omdat het idee zo voor de hand liggend lijkt. Je zou denken dat omdat het zo'n voor de hand liggend idee is, iemand anders het al gedaan moet hebben, of dat er al een oplossing moet zijn, of dat iemand anders al een oplossing moet hebben bedacht. Maar ik denk dat we een goed moment te pakken hebben, die use case is echt groot en mensen geven er echt om. Zoals ik al eerder zei, is die use case heel geschikt om AI Agent te nemen en in productie te nemen, omdat je het stapsgewijs kunt implementeren en de ROI kunt volgen.

Dat was een aangename verrassing voor mij, maar er is natuurlijk nog veel werk te doen daarna, je moet met klanten samenwerken, je moet het product bouwen, je moet uitzoeken welke kant je op moet. In de beginfase was het echt een verrassende ontdekking.

Derrick Harris: Kimberly, ik denk dat ik de blogpost die je schreef, RIP to RPA, moet noemen, waarin veel onderwerpen aan bod komen. de automatiseringstaken en startups.Denkt u dat er een fenomeen is waarbij deze geautomatiseerde taken of oplossingen niet zo ideaal zijn, waardoor mensen altijd op zoek zijn naar een betere manier?

Kimberly Tan: Ja, dat denk ik wel. Ik wil er graag een paar dingen over zeggen. Ten eerste, als een idee voor iedereen duidelijk is, maar er is geen duidelijk bedrijf dat het kan oplossen, of niemand wijst naar een bedrijf en zegt: "Je moet dit gebruiken", dan betekent dit dat het probleem niet echt is opgelost.

In zekere zin is het een volledig open kans voor een bedrijf om een oplossing te ontwikkelen. Want, zoals u zei, wij hebben Decagon vanaf het begin gevolgd als investeerder. We hebben ze door het creatieve doolhof zien navigeren, en toen ze besloten om deze kant op te gaan en met klanten begonnen te praten, werd het duidelijk dat alle klanten wanhopig waren op zoek naar een soort native AI-enabled oplossing. Dit is een van de problemen die ik eerder noemde, waarbij veel mensen denken dat het gewoon een GPT-wrapper is. Maar de interesse van klanten die Decagon vanaf het begin heeft gekregen, heeft ons al vroeg doen beseffen dat veel van deze problemen veel ingewikkelder zijn dan mensen verwachten.

Ik denk dat dit fenomeen zich in alle sectoren voordoet, of het nu gaat om klantenservice of professionele automatisering in bepaalde verticals. Ik denk dat een van de onderschatte punten is, zoals Jesse eerder al zei, het duidelijk kunnen meten van het rendement op investering (ROI) van het automatiseren van taken. Want als je iemand zover wilt krijgen dat hij een AI-agent accepteert, dan is dat eigenlijk een sprong in het diepe, omdat het voor veel mensen een onbekend terrein is.

Als u een heel specifiek proces kunt automatiseren dat duidelijk inkomsten genereert, of een proces dat voorheen een knelpunt vormde in de onderneming, of een belangrijk kostencentrum dat lineair toeneemt met de groei van het aantal klanten of de omzet, dan wordt het gemakkelijker om de AI-agent geaccepteerd te krijgen. Het is erg aantrekkelijk om dergelijke problemen om te zetten in een productiever proces dat net als traditionele software kan worden opgeschaald.

Kimberly Tan: Ik heb nog een laatste vraag voordat we verder gaan. Ik herinner me dat Jesse in onze vorige discussies altijd zei dat de grootste uitdaging voor bedrijven die software of AI Agents adopteren, hallucinaties zouden zijn. Maar je hebt me ooit verteld dat dit eigenlijk niet het grootste probleem is. Kun je uitleggen waarom de perceptie van hallucinaties enigszins misleidend is en waar mensen zich eigenlijk meer zorgen over maken?

Jesse Zhang: Ik denk dat mensen wel om hallucinaties geven, maar ze zijn meer bezorgd over de waarde die ze kunnen bieden. Bijna alle bedrijven waarmee we werken, richten zich op dezelfde paar kwesties, bijna precies hetzelfde: welk percentage van de gesprekken kun je oplossen? Hoe tevreden zijn mijn klanten? Dan kan het hallucinatieprobleem worden geclassificeerd als een derde categorie, namelijk hoe accuraat het is. Over het algemeen zijn de eerste twee factoren belangrijker bij het evalueren.

Stel je voor dat je met een nieuw bedrijf praat en je hebt het echt goed gedaan op de eerste twee factoren, en je hebt veel steun van de leiding en iedereen in het team. Ze zeggen dan: "Oh mijn God, onze klantervaring is anders. Elke klant heeft nu zijn eigen persoonlijke assistent die op elk moment contact met ons kan opnemen. We hebben ze geweldige antwoorden gegeven, ze zijn erg tevreden, en het is meertalig en 24/7 beschikbaar." Dat is slechts een deel ervan, en je hebt ook veel geld bespaard.

Dus zodra je die doelen bereikt, krijg je veel steun en veel rugwind om het werk aan te drijven. Natuurlijk moet het illusieprobleem uiteindelijk worden opgelost, maar dat is niet waar ze zich het meest zorgen over maken. De manier om de illusie op te lossen is dezelfde manier als ik eerder al zei: mensen zullen je testen. Er kan een proof-of-concept-fase zijn waarin je daadwerkelijk echte gesprekken voert en teamleden toezicht houden en controleren op nauwkeurigheid. Als dat goed gaat, gaat het meestal door.

Ook, zoals ik al eerder zei, kun je een aantal strikte beschermingsmaatregelen instellen voor gevoelige informatie, zoals dat je gevoelige content niet per se generiek hoeft te maken. Dus de illusiekwestie is een punt van discussie in de meeste transacties. Het is geen onbelangrijk onderwerp. Je zult dit proces doorlopen, maar het is nooit de focus van het gesprek.

Kimberly Tan: Laten we nu verder gaan met het businessmodel van AI Agent. Vandaag is er een groot onderwerp over hoe je deze AI Agents moet prijzen.

Historisch gezien worden veel SaaS-software geprijsd op basis van het aantal seats, omdat het workflowsoftware is die zich richt op individuele werknemers en wordt gebruikt om de productiviteit van werknemers te verbeteren. AI Agent is echter niet gekoppeld aan de productiviteit van individuele werknemers, zoals traditionele software.

Zoveel mensen denken dat de prijsmethode gebaseerd op het aantal stoelen misschien niet meer toepasbaar is. Ik ben benieuwd naar Hoe Je dacht in het begin over dit dilemma na en hoe je uiteindelijk besloot om Decagon te prijzen. En wat denk je dat de toekomstige trend van softwareprijzen zal zijn nu AI Agent steeds gebruikelijker wordt?

Jesse Zhang: Wij zijn van mening dat software in het verleden per gebruiker werd geprijsd, omdat de omvang ervan grofweg gebaseerd was op het aantal mensen dat de software kon gebruiken. Maar voor de meeste AI Agents hangt de waarde die je levert niet af van het aantal mensen dat het onderhoudt, maar van de hoeveelheid werk die wordt geproduceerd. Dit is consistent met het punt dat ik eerder noemde: als het rendement op investering (ROI) zeer meetbaar is, dan is het niveau van de werkoutput ook zeer duidelijk.

Wij zijn van mening dat prijzen op basis van het aantal stoelen absoluut niet van toepassing is. U kunt prijzen baseren op de output van het werk. Dus het prijsmodel dat u aanbiedt, zou moeten zijn dat hoe meer werk er wordt gedaan, hoe meer u betaalt.

Voor ons zijn er twee voor de hand liggende manieren om prijzen te bepalen. Je kunt ofwel gesprekken prijzen, of je kunt de gesprekken prijzen die de AI daadwerkelijk oplost. Ik denk dat een van de interessante lessen die we hebben geleerd, is dat de meeste mensen het conversatie-prijsmodel hebben gekozen. De reden hiervoor is dat het belangrijkste voordeel van prijzen per oplossing is dat je betaalt voor wat de Dat doet AI.

Maar de vraag die volgt is, wat wordt beschouwd als een “oplossing”? Ten eerste wil niemand hier diep op ingaan, want het wordt dan: “Als iemand boos binnenkomt en je stuurt hem weg, waarom zouden wij daarvoor moeten betalen?”

Dit creëert een ongemakkelijke situatie en maakt de prikkels voor AI-providers ook een beetje vreemd, omdat facturering per oplossing betekent: "We moeten gewoon zoveel mogelijk gesprekken oplossen en sommige mensen wegduwen." Maar er zijn veel gevallen waarin het beter is om het probleem te escaleren in plaats van het gewoon weg te duwen, en klanten houden niet van dit soort afhandeling. Daarom zal facturering per gesprek meer eenvoud en voorspelbaarheid brengen.

Kimberly Tan: Hoe lang denkt u dat het toekomstige prijsmodel zal blijven bestaan?Want als je het nu over ROI hebt, is dat meestal gebaseerd op eerdere uitgaven die mogelijk zijn gebruikt om arbeidskosten te dekken. Denk je dat AI Agents op de lange termijn vergeleken zal worden met arbeidskosten, nu ze steeds gebruikelijker worden, en dat dit een geschikte benchmark is? Zo niet, hoe zie je dan de prijsstelling op de lange termijn, los van arbeidskosten?

Jesse Zhang: Ik denk dat de prijsstelling van AI Agents op de lange termijn nog steeds voornamelijk gekoppeld zal zijn aan arbeidskosten. Dat is namelijk het mooie van de Agent: je kunt je eerdere uitgaven aan services nu verschuiven naar software.

Dit deel van de uitgaven kan 10 tot 100 keer zo hoog zijn als de software-uitgaven, dus een groot deel van de kosten zal verschuiven naar software. Daarom zullen arbeidskosten vanzelfsprekend een benchmark worden. Voor onze klanten is de ROI heel duidelijk. Als u X miljoen kunt besparen op arbeidskosten, dan is het logisch om deze oplossing te adopteren. Maar op de lange termijn kan dit in het midden liggen.

Omdat zelfs sommige producten die niet zo goed zijn als onze Agent lagere prijzen accepteren. Dit is net als de klassieke SaaS-situatie, waarbij iedereen concurreert om marktaandeel.

Kimberly Tan: Wat denk je dat de toekomst in petto heeft voor huidige SaaS-bedrijven, met name voor die bedrijven waarvan de producten niet standaard zijn ontwikkeld voor AI of die een prijs per gebruiker hebben en zich daarom niet kunnen aanpassen aan een resultaatgericht prijsmodel?

Jesse Zhang: Voor sommige traditionele bedrijven is het inderdaad een beetje lastig als ze een AI Agent-product proberen te lanceren, omdat ze het niet kunnen prijzen met behulp van een seat-model. Als je niet meer zoveel Agents nodig hebt, is het moeilijk om inkomsten te behouden met het bestaande product. Dit is een probleem voor traditionele bedrijven, maar het is moeilijk te zeggen. Traditionele bedrijven hebben altijd het voordeel van distributiekanalen. Zelfs als het product niet zo goed is als het nieuwe bedrijf, aarzelen mensen om de moeite te doen om een nieuwe leverancier te accepteren met alleen 80% van de kwaliteit.

Dus, ten eerste, als u een startup bent zoals wij, moet u ervoor zorgen dat uw product drie keer beter is dan het traditionele product. Ten tweede is dit een typische concurrentiestrijd tussen traditionele bedrijven en startups. Traditionele bedrijven hebben van nature een lagere risicobereidheid omdat ze een groot aantal klanten hebben. Als ze een fout maken in snelle iteratie, zal dat enorme verliezen veroorzaken. Startups kunnen echter sneller itereren, dus het iteratieproces zelf kan leiden tot een beter product. Dit is de gebruikelijke cyclus. Wij zijn altijd trots geweest op onze snelheid van levering, productkwaliteit en de uitvoering van ons team. Daarom hebben we de huidige deal gewonnen.

Kimberly Tan: Kunt u een aantal voorspellingen doen over de toekomst van AI op de werkplek? Bijvoorbeeld, hoe zal het de behoeften of mogelijkheden van werknemers veranderen, of hoe menselijke werknemers en AI Agents met elkaar omgaan?Welke nieuwe best practices of normen denkt u dat de norm zullen worden op de werkvloer naarmate AI-agents breder worden toegepast?

Jesse Zhang: De eerste en belangrijkste verandering is dat we ervan overtuigd zijn dat werknemers in de toekomst veel meer tijd op de werkplek zullen besteden aan het bouwen en beheren van AI-agenten, vergelijkbaar met de rol van AI-supervisors. Zelfs als uw functie officieel geen 'AI-supervisor' is, zal een groot deel van de tijd die u vroeger aan uw werk besteedde, worden besteed aan het managen van deze Agents, omdat Agents u veel invloed kunnen geven.

We hebben dit gezien in veel implementaties waarbij mensen die ooit teamleiders waren, nu veel tijd besteden aan het monitoren van AI, bijvoorbeeld om te controleren of er geen problemen zijn of om aanpassingen te doen. Ze monitoren de algehele prestaties om te zien of er specifieke gebieden zijn die aandacht nodig hebben, of er hiaten in de kennisbank zitten die de AI kunnen helpen verbeteren, en of de AI die hiaten kan opvullen.

Het werk dat gepaard gaat met het werken met een Agent wekt de indruk dat werknemers in de toekomst een aanzienlijke hoeveelheid tijd zullen besteden aan interactie met AI Agents. Dit is een kernconcept van ons bedrijf, zoals ik eerder al zei. Daarom is ons hele product erop gericht om mensen hulpmiddelen, visualisatie, interpreteerbaarheid en controle te bieden. Ik denk dat dit binnen een jaar een enorme trend zal worden.

Kimberly Tan: Dat is heel logisch. Welke vaardigheden denk je dat AI-supervisors in de toekomst nodig zullen hebben? Wat is de skillset voor deze rol?

Jesse Zhang: Er zijn twee aspecten. De ene is observeerbaarheid en interpreteerbaarheid, het vermogen om snel te begrijpen wat de AI doet en hoe deze beslissingen neemt. De andere is het vermogen om beslissingen te nemen, of het bouwgedeelte, hoe feedback te geven en hoe nieuwe logica te bouwen. Ik denk dat deze twee kanten van dezelfde medaille zijn.

Kimberly Tan: Welke taken zullen volgens jou op de middellange of lange termijn buiten de mogelijkheden van de AI-agent vallen en moeten nog steeds door mensen worden beheerd en correct worden uitgevoerd?

Jesse Zhang: Ik denk dat het vooral afhangt van de vereiste van "perfectie" die ik eerder noemde. Er zijn veel taken die een zeer lage tolerantie voor fouten hebben. In deze gevallen is elke AI-tool meer een hulpmiddel dan een volwaardige agent.

Bijvoorbeeld, in sommige gevoeligere sectoren, zoals gezondheidszorg of beveiliging, waar je bijna perfect moet zijn, dan worden AI Agents in deze gebieden misschien minder autonoom, maar dat betekent niet dat ze nutteloos zijn. Ik denk dat de stijl anders zal zijn, in een platform als het onze, zet je deze Agents daadwerkelijk in om ze de hele taak te laten automatiseren.

Derrick Harris: En dat is alles voor deze aflevering. Als u dit onderwerp interessant of inspirerend vond, beoordeel dan onze podcast en deel hem met meer mensen.We verwachten de laatste aflevering voor het einde van het jaar uit te brengen en zullen de content voor het nieuwe jaar opnieuw vormgeven. Bedankt voor het luisteren en fijne feestdagen (als je tijdens de feestdagen luistert).

Originele video: Kunnen Al Agents eindelijk de klantenservice repareren??