a16z-Dialog mit 27-jährigem CEO: AI Agent hat eine enorme Hebelwirkung und die langfristige Preisgestaltung wird an die Arbeitskosten gekoppelt sein

Highlights

• Das Magische an LLMs ist, dass sie sehr flexibel sind, sich an viele unterschiedliche Situationen anpassen können und über eine grundlegende Intelligenz verfügen.
• Wir glauben, dass UI und UX mit der Zeit immer stärker auf natürlicher Sprache basieren werden, da dies die Denkweise eines Agentensystems ist bzw. dies grundsätzlich die Trainingsgrundlage für große Sprachmodelle (LLMs) darstellt.
• Wenn Sie möchten, dass jemand einen KI-Agenten akzeptiert, muss er tatsächlich ein gewisses Maß an „Vertrauensvorschuss“ leisten, da dies für viele Menschen ein völlig unbekanntes Gebiet ist.

AI Agent verändert das Kundenerlebnis

Jesse Zhang: Wie ist ein Agent eigentlich aufgebaut? Wir gehen davon aus, dass er mit der Zeit immer mehr einem auf natürlicher Sprache basierenden Agenten ähneln wird, da die großen Sprachmodelle (LLMs) auf diese Weise trainiert werden.

Wenn Sie auf lange Sicht über einen hochintelligenten Agenten verfügen, der tatsächlich wie ein Mensch ist, können Sie ihm Dinge zeigen, ihm erklären, ihm Feedback geben, und er wird die Informationen in seinem Gedächtnis aktualisieren.

Stellen Sie sich vor, Sie haben ein sehr fähiges menschliches Teammitglied. Wenn es zum ersten Mal dazukommt, bringen Sie ihm etwas bei, es beginnt mit der Arbeit, und dann geben Sie ihm Feedback und zeigen ihm neue Informationen.

Irgendwann wird sich die Entwicklung in diese Richtung entwickeln – sie wird sich mehr an Gesprächen orientieren und mehr auf natürlicher Sprache basieren, und die Art und Weise, wie Menschen miteinander kommunizieren, wird natürlicher. Und die Menschen werden nicht mehr diese komplizierten Entscheidungsbäume verwenden, um Anforderungen zu erfassen, die zwar funktionieren können, aber anfällig für Fehler sind.

Früher mussten wir das tun, weil wir kein großes Sprachmodell hatten. Aber jetzt, mit der kontinuierlichen Weiterentwicklung von Agent, werden die Benutzererfahrung (UX) und die Benutzeroberfläche (UI) immer gesprächsorientierter.

Derrick Harris: Hallo zusammen, willkommen beim A16z AI Podcast. Ich bin Derrick Harris und heute sind Jesse Zhang, Mitbegründer und CEO von Decagon, und Kimberly Tan, Partnerin bei a16z, bei mir zu Gast. Kimberly wird die Diskussion moderieren und Jesse wird seine Erfahrungen beim Aufbau von Decagon und seinen Produkten mit Ihnen teilen.

Falls Sie nicht viel darüber wissen: Decagon ist ein Startup, das Unternehmen KI-Agenten zur Verfügung stellt, um sie beim Kundensupport zu unterstützen. Diese Agenten sind weder Chatbots noch LLM-Wrapper für einen einzelnen API-Aufruf, sondern hochgradig angepasste, fortschrittliche Agenten, die komplexe Arbeitsabläufe basierend auf den spezifischen Anforderungen eines Unternehmens verarbeiten können.

Jesse erklärt nicht nur, warum sie Decagon entwickelt haben und wie die Architektur des Programms für den Umgang mit unterschiedlichen LLM- und Kundenumgebungen konzipiert ist, sondern spricht auch über die Vorteile eines Geschäftsmodells, bei dem pro Gespräch abgerechnet wird, und darüber, wie KI-Agenten die erforderlichen Fähigkeiten von Leitern im Kundensupport verändern werden.

Erwähnenswert ist auch, dass Kimberly vor Kurzem einen Blogbeitrag mit dem Titel „RIP RPA, der Aufstieg der intelligenten Automatisierung“ geschrieben hat, den wir in dieser Folge kurz besprechen.

Dies ist ein großartiger Ausgangspunkt, um zu verstehen, wie die Automatisierung von Geschäftsprozessen voranschreitet. Wir werden in den Shownotes einen Link dazu bereitstellen. Und schließlich noch eine Erinnerung: Der Inhalt dieses Artikels dient nur zu Informationszwecken und sollte nicht als Rechts-, Geschäfts-, Steuer- oder Anlageberatung betrachtet werden. Er sollte auch nicht zur Bewertung von Investitionen oder Wertpapieren verwendet werden und richtet sich nicht an a16z-Fondsinvestoren oder potenzielle Investoren.

Jesse Zhang: Eine kurze Vorstellung meiner Person. Ich bin in Boulder geboren und aufgewachsen und habe als Kind an vielen Mathewettbewerben und dergleichen teilgenommen. Ich habe Informatik in Harvard studiert und dann ein Unternehmen gegründet, das auch von a16z unterstützt wurde. Wir wurden schließlich von Niantic übernommen.

Dann begannen wir mit dem Aufbau von Decagon. Unser Geschäft besteht darin, KI-Agenten für den Kundenservice zu entwickeln. Am Anfang taten wir das, weil wir etwas tun wollten, das uns sehr am Herzen lag.

Natürlich muss niemand über die Rolle von KI-Agenten im Kundenservice unterrichtet werden, oder? Wir alle haben schon mit Fluggesellschaften, Hotels usw. telefoniert und in der Warteschleife gewartet. Daher kam die Idee.

Wir haben mit vielen Kunden gesprochen, um herauszufinden, welche Art von Produkt wir genau entwickeln sollten. Was uns besonders auffiel, war, dass wir, als wir mehr über KI-Agenten erfuhren, anfingen, darüber nachzudenken, wie die Zukunft aussehen würde, wenn es viele davon gäbe. Ich glaube, jeder glaubt, dass es in Zukunft viele KI-Agenten geben wird.

Wir denken darüber nach, was die Mitarbeiter tun werden, die mit KI-Agenten arbeiten. Welche Art von Werkzeugen werden sie haben? Wie werden sie die Agenten, mit denen sie arbeiten oder die sie verwalten, steuern oder anzeigen?

Das ist also der Kern dessen, wie wir das Unternehmen um diese Frage herum aufgebaut haben. Ich denke, das ist auch das, was uns derzeit auszeichnet, denn wir stellen diesen KI-Agenten verschiedene Tools zur Verfügung, die den Leuten, mit denen wir zusammenarbeiten, helfen, diese Agenten zu erstellen und zu konfigurieren, sodass sie keine „Blackbox“ mehr sind. So bauen wir unsere Marke auf.

Derrick Harris: Ihr letztes Unternehmen war ein verbraucherorientiertes Videounternehmen, was hat Sie dazu inspiriert, in den Bereich Unternehmenssoftware einzusteigen?

Jesse Zhang: Gute Frage. Ich glaube, Gründer sind bei der Themenwahl oft „themenunabhängig“, denn in Wirklichkeit ist man, wenn man sich einem neuen Bereich nähert, meist ziemlich naiv. Es ist also von Vorteil, die Dinge aus einer neuen Perspektive zu betrachten. Als wir darüber nachdachten, gab es also fast keine Themenbeschränkungen.

Ich denke, das ist ein sehr häufiges Muster bei Leuten mit eher quantitativem Hintergrund, mich eingeschlossen. Nachdem man Verbraucherprodukte ausprobiert hat, tendiert man eher zu Unternehmenssoftware, weil Unternehmenssoftware konkretere Probleme hat.

Sie haben echte Kunden mit echten Bedürfnissen und Budgets und dergleichen, und Sie können für diese Kunden optimieren und Probleme lösen. Der Verbrauchermarkt ist auch sehr attraktiv, aber er basiert eher auf Intuition als auf Experimentierfreude. Für mich persönlich ist Unternehmenssoftware besser geeignet.

Kimberly Tan: Zunächst können wir mit dieser Frage beginnen: Mit welchen Supportkategorien befasst sich Decagon heute am häufigsten? Können Sie näher erläutern, wie Sie große Sprachmodelle (LLMs) zur Lösung dieser Probleme einsetzen und was Sie jetzt tun können, was vorher nicht möglich war?

Jesse Zhang: Wenn Sie auf frühere Automatisierungsprozesse zurückblicken, haben Sie möglicherweise Entscheidungsbäume für einfache Aufgaben verwendet, beispielsweise um zu bestimmen, welchen Weg Sie einschlagen sollten. Aber wir alle haben schon Chatbots verwendet, und das ist eine ziemlich frustrierende Erfahrung.

Oft kann Ihre Frage nicht vollständig durch einen Entscheidungsbaum beantwortet werden. Sie werden also auf einen Fragenpfad geleitet, der zwar mit der Frage zusammenhängt, aber nicht genau zu ihr passt. Jetzt haben wir große Sprachmodelle (LLMs). Die Magie von LLMs besteht darin, dass sie sehr flexibel sind, sich an viele verschiedene Situationen anpassen können und über grundlegende Intelligenz verfügen.

Wenn Sie dies auf den Kundensupport anwenden oder wenn ein Kunde eine Frage stellt, können Sie einen persönlicheren Service bieten. Dies ist der erste Punkt, der Grad der Personalisierung hat sich erheblich verbessert. Dies setzt höhere Kennzahlen frei. Sie können mehr Probleme lösen, die Kunden sind zufriedener und die Kundenzufriedenheit steigt.

Der nächste natürliche Schritt ist: Wenn Sie über diese Intelligenz verfügen, sollten Sie in der Lage sein, mehr von den Dingen zu tun, die Menschen tun können. Menschen können Daten in Echtzeit abrufen, Maßnahmen ergreifen und mehrere Schritte durchdenken. Wenn ein Kunde eine relativ komplexe Frage stellt, vielleicht „Ich möchte dies und das tun“, ist die KI nur darauf vorbereitet, die erste Frage zu beantworten. LLM ist intelligent genug, um zu erkennen, dass es sich hier um zwei Fragen handelt. Zuerst wird es das erste Problem lösen und Ihnen dann helfen, das zweite Problem zu lösen.

Vor der Einführung von LLM war dies praktisch unmöglich. Dank LLM erleben wir jetzt einen grundlegenden Wandel in der Leistungsfähigkeit der Technologie.

Kimberly Tan: Wie würden Sie in diesem Zusammenhang einen KI-Agenten definieren? Da das Wort „Agent“ weit verbreitet ist, bin ich neugierig, was es im Kontext von Decagon eigentlich bedeutet.

Jesse Zhang: Ich würde sagen, dass sich Agent eher auf ein System bezieht, in dem mehrere LLM-Systeme (Large Language Model) zusammenarbeiten. Sie haben einen LLM-Aufruf, bei dem im Wesentlichen eine Eingabeaufforderung gesendet und eine Antwort erhalten wird. Für einen Agenten möchten Sie mehrere solcher Aufrufe verbinden können, möglicherweise sogar rekursiv.

Sie haben beispielsweise einen LLM-Aufruf, der bestimmt, wie mit der Nachricht umgegangen werden soll. Anschließend können weitere Aufrufe ausgelöst werden, die weitere Daten abrufen, Aktionen ausführen und die Aussagen des Benutzers wiederholen und möglicherweise sogar Folgefragen stellen. Für uns kann ein Agent also als Netzwerk aus fast identischen LLM-Aufrufen, API-Aufrufen oder anderer Logik verstanden werden, die zusammenarbeiten, um ein besseres Erlebnis zu bieten.

Kimberly Tan: Zu diesem Thema können wir vielleicht mehr über die Agenten-Infrastruktur sprechen, die Sie tatsächlich aufgebaut haben. Ich denke, ein sehr interessanter Punkt ist, dass es auf dem Markt viele Demonstrationen von KI-Agenten gibt, aber meiner Meinung nach gibt es nur sehr wenige Beispiele, die tatsächlich stabil in einer Produktionsumgebung laufen können. Und von außen ist es schwierig zu wissen, was real ist und was nicht.

Welche Aspekte der heutigen KI-Agenten funktionieren Ihrer Meinung nach gut und in welchen Bereichen sind noch technologische Durchbrüche erforderlich, um sie robuster und zuverlässiger zu machen?

Jesse Zhang: Meine Ansicht ist tatsächlich etwas anders. Der Unterschied zwischen der Bestimmung, ob ein KI-Agent nur eine Demo ist oder „wirklich funktioniert“, liegt nicht ausschließlich im Technologie-Stack, da ich denke, dass die meisten Leute ungefähr dieselbe Technologie verwenden. Ich denke, wenn Sie in der Entwicklung Ihres Unternehmens weiter fortgeschritten sind, beispielsweise wenn unser Unternehmen seit mehr als einem Jahr besteht, werden Sie etwas sehr Spezifisches schaffen, das zu Ihrem Anwendungsfall passt.

Aber letzten Endes kann jeder auf dasselbe Modell zugreifen und ähnliche Technologien verwenden. Ich denke, der größte Unterschied zwischen der Effektivität eines KI-Agenten und seiner Funktion liegt in der Form des Anwendungsfalls. Dies ist am Anfang schwer zu erkennen, doch rückblickend werden Sie feststellen, dass es zwei Eigenschaften gibt, die für einen KI-Agenten sehr wichtig sind, um über die Demonstration hinauszugehen und in die praktische Anwendung zu gelangen.

Erstens muss der von Ihnen gelöste Anwendungsfall einen quantifizierbaren ROI (Return on Investment) haben. Das ist sehr wichtig, denn wenn der ROI nicht quantifizierbar ist, wird es schwierig, die Leute davon zu überzeugen, Ihr Produkt tatsächlich zu verwenden und dafür zu bezahlen. In unserem Fall lautet der quantitative Indikator: Wie viel Prozent der Supportanfragen lösen Sie? Da diese Zahl klar ist, können die Leute sie verstehen – oh, okay, wenn Sie mehr lösen, kann ich dieses Ergebnis mit meinen aktuellen Ausgaben und dem Zeitaufwand vergleichen. Wenn es also diesen Indikator gibt, ist ein weiterer Indikator, der für uns sehr wichtig ist, die Kundenzufriedenheit. Da der ROI leicht quantifizierbar ist, werden die Leute ihn wirklich annehmen.

Der zweite Faktor besteht darin, dass die Anwendungsfälle schrittweise schwieriger werden müssen. Es wäre auch sehr schwierig, wenn Sie von Anfang an einen übermenschlichen Agenten bräuchten, der fast 100 % der Anwendungsfälle löst. Da LLMs, wie wir wissen, nicht deterministisch sind, müssen Sie eine Art Notfallplan haben. Glücklicherweise gibt es bei Support-Anwendungsfällen eine großartige Funktion, und zwar, dass Sie immer an einen Menschen eskalieren können. Selbst wenn Sie nur die Hälfte der Probleme lösen können, ist das für die Leute immer noch sehr wertvoll.

Ich denke also, dass dieser Support diese Eigenschaft hat, die ihn für AI Agent sehr geeignet macht. Ich denke, es gibt viele andere Bereiche, in denen Leute beeindruckende Demos erstellen können, bei denen man nicht einmal genau hinschauen muss, um zu verstehen, warum AI Agent nützlich wäre. Aber wenn es von Anfang an perfekt sein muss, dann ist es sehr schwierig. Wenn das der Fall ist, wird es fast niemand ausprobieren oder verwenden wollen, weil die Folgen seiner Unvollkommenheit sehr schwerwiegend sein können – zum Beispiel in Bezug auf die Sicherheit.

Wenn Leute zum Beispiel Simulationen durchführen, haben sie immer diesen klassischen Gedanken: „Oh, es wäre toll, wenn LLM das lesen könnte.“ Aber es ist schwer vorstellbar, dass jemand sagt: „Okay, KI-Agent, los geht‘s. Ich glaube, du schaffst das.“ Denn wenn er einen Fehler macht, könnten die Folgen sehr schwerwiegend sein.

Jesse Zhang: Dies wird normalerweise von unseren Kunden entschieden, und tatsächlich sehen wir eine sehr große Bandbreite an Unterschieden. Im Extremfall lassen manche Leute ihren Agenten wirklich wie einen Menschen aussehen, sodass es einen menschlichen Avatar und einen menschlichen Namen gibt und die Antworten sehr natürlich sind. Auf der anderen Seite gibt der Agent einfach an, dass es sich um eine KI handelt, und macht dies dem Benutzer klar. Ich denke, die verschiedenen Unternehmen, mit denen wir zusammenarbeiten, haben diesbezüglich unterschiedliche Positionen.

Normalerweise muss man das klarstellen, wenn man in einer regulierten Branche tätig ist. Was ich jetzt interessant finde, ist, dass sich das Kundenverhalten ändert. Denn viele unserer Kunden bekommen in den sozialen Medien jede Menge Feedback wie „Oh mein Gott, das ist das erste Chat-Erlebnis, das ich je ausprobiert habe, das sich wirklich so echt anfühlt“ oder „Das ist einfach magisch“. Und das ist großartig für sie, denn jetzt lernen ihre Kunden, hey, wenn es ein KI-Erlebnis ist, kann es tatsächlich besser sein als ein menschliches. Das war früher nicht der Fall, denn die meisten von uns haben in der Vergangenheit diese Art von telefonischem Kundenservice-Erlebnis gehabt: „Okay, KI, KI, KI…“

Kimberly Tan: Sie haben das Konzept der Personalisierung mehrmals erwähnt. Jeder verwendet die gleiche zugrunde liegende Technologiearchitektur, hat aber unterschiedliche Personalisierungsanforderungen in Bezug auf Supportdienste. Können Sie darüber sprechen? Genauer gesagt: Wie erreichen Sie eine Personalisierung, sodass die Leute online sagen können: „Mein Gott, das ist das beste Supporterlebnis, das ich je hatte“?

Jesse Zhang: Für uns, Personalisierung erfolgt durch Anpassung an den Benutzer. Sie müssen die Hintergrundinformationen des Benutzers verstehen, das ist der zusätzlich erforderliche Kontext. Zweitens müssen Sie auch die Geschäftslogik unserer Kunden verstehen.Wenn Sie beides kombinieren, können Sie für ein ziemlich gutes Erlebnis sorgen.

Das klingt natürlich einfach, aber in Wirklichkeit ist es sehr schwierig, den gesamten erforderlichen Kontext zu erhalten. Daher besteht der Großteil unserer Arbeit darin, die richtigen Grundkomponenten zu erstellen, damit ein Kunde, wenn er unser System einsetzt, leicht entscheiden kann: „Okay, das ist die gewünschte Geschäftslogik.“ Sie müssen beispielsweise zuerst diese vier Schritte ausführen, und wenn Schritt drei fehlschlägt, müssen Sie mit Schritt fünf fortfahren.

Sie möchten dies der KI ganz einfach beibringen können, ihr aber auch Zugriff auf Informationen geben wie: „Dies sind die Kontodetails des Benutzers. Wenn Sie weitere Informationen benötigen, können Sie diese APIs aufrufen.“ Diese Schichten sind eine Koordinationsschicht über dem Modell und machen den Agenten in gewisser Weise wirklich nutzbar.

Kimberly Tan: Es klingt, als bräuchten Sie in diesem Fall viel Zugriff auf die Geschäftssysteme. Sie müssen viel über die Benutzer wissen und wahrscheinlich auch, wie der Kunde tatsächlich mit seinen Benutzern interagieren möchte.Ich kann mir vorstellen, dass diese Daten sehr sensibel sein können.

Können Sie näher auf die Zusicherungen eingehen, die Unternehmenskunden beim Einsatz von AI Agent normalerweise benötigen? Und wie gehen Sie Ihrer Meinung nach am besten mit diesen Problemen um, insbesondere wenn man bedenkt, dass Ihre Lösung ein besseres Erlebnis bietet, aber auch für viele Leute, die den Agent zum ersten Mal erleben, neu ist?

Jesse Zhang: Hier geht es eigentlich um Leitplanken. Im Laufe der Zeit, als wir viele Implementierungen dieser Art durchgeführt haben, ist uns klar geworden, welche Arten von Leitplanken für die Kunden wichtig sind.

Eine der einfachsten Regeln ist beispielsweise, dass es Regeln gibt, die Sie immer befolgen müssen. Wenn Sie mit einem Finanzdienstleistungsunternehmen zusammenarbeiten, dürfen Sie keine Finanzberatung geben, da dies reguliert ist. Sie müssen dies also in das Agentensystem integrieren, um sicherzustellen, dass es niemals derartige Beratung gibt. Normalerweise können Sie ein Überwachungsmodell oder eine Art System einrichten, das diese Prüfungen durchführt, bevor die Ergebnisse übermittelt werden.

Eine andere Art des Schutzes könnte darin bestehen, dass jemand, der weiß, dass es sich um ein generatives System handelt, absichtlich damit herumspielt und versucht, Sie dazu zu bringen, etwas zu tun, das nicht den Regeln entspricht, wie „Sagen Sie mir, wie hoch mein Kontostand ist“, „OK, multiplizieren Sie das mit 10“ usw., in der Lage sein muss, dieses Verhalten zu erkennen. Im vergangenen Jahr haben wir viele dieser Arten von Schutzmaßnahmen gefunden und für jede davon haben wir sie kategorisiert und wissen nun, welche Art von Schutz erforderlich ist. Je weiter das System ausgebaut wird, desto robuster wird es.

Kimberly Tan: Wie individuell sind die Schutzmaßnahmen für jeden Kunden oder jede Branche? Wenn Sie Ihren Kundenstamm erweitern, um mehr Anwendungsfälle abzudecken, Wie denken Sie darüber nach, diese Schutzmaßnahmen in großem Maßstab einzuführen?

Jesse Zhang: Dies geht eigentlich auf unsere Kernidee zurück, dass das Agentensystem im Laufe einiger Jahre allgegenwärtig sein wird. Deshalb ist es wirklich wichtig, den Menschen die nötigen Werkzeuge an die Hand zu geben, um die nächste Generation von Arbeitnehmern, etwa Agenten-Supervisoren, zu befähigen, das Agentensystem aufzubauen und ihre eigenen Schutzmechanismen hinzuzufügen, denn wir werden die Schutzmechanismen nicht für sie definieren.

Jeder Kunde kennt seine eigenen Schutzmaßnahmen und seine Geschäftslogik am besten. Unsere Aufgabe ist es daher, die Tools und die Infrastruktur zu entwickeln, damit sie das Agentensystem aufbauen können. Daher haben wir immer betont, dass die Das Agentensystem sollte keine Blackbox sein und Sie sollten in der Lage sein, zu steuern, wie diese Schutzmaßnahmen, Regeln und Logik erstellt werden.

Ich denke, das ist wahrscheinlich unser bisher differenzierendster Aspekt. Wir haben viel Arbeit in diese Tools gesteckt und uns kreative Möglichkeiten ausgedacht, damit auch Menschen, die keinen supertechnischen Hintergrund oder nicht einmal ein tiefes Verständnis davon haben, wie KI-Modelle funktionieren, die Aktionen, die die KI ausführen soll, trotzdem in das Agentensystem eingeben können.

Ich denke, dass diese Fähigkeit in den nächsten Jahren immer wichtiger wird. Sie sollte eines der wichtigsten Kriterien sein, wenn Leute ähnliche Tools bewerten, denn man möchte diese Systeme im Laufe der Zeit kontinuierlich optimieren und verbessern können.

Auf natürlicher Sprache basierende Geschäftslogik

Derrick Harris: Welche Vorbereitungen können Kunden oder Unternehmen treffen, um sich auf jede Art von Automatisierung und insbesondere auf die Verwendung dieses Agentensystems vorzubereiten? Wie können sie beispielsweise ihre Datensysteme, Softwarearchitektur oder Geschäftslogik so gestalten, dass sie solche Systeme unterstützen?

Denn ich habe den Eindruck, dass viele KI-Technologien zunächst neuartig sind, aber in Verbindung mit bestehenden Legacy-Systemen häufig auf großes Chaos stoßen.

Jesse Zhang: Wenn jemand jetzt von Grund auf neu aufbaut, gibt es viele bewährte Methoden, die Ihre Arbeit erleichtern können. Zum Beispiel, wie Sie Ihre Wissensdatenbank strukturieren. Wir haben über einige davon geschrieben und einige Methoden vorgestellt, die es der KI erleichtern können, Informationen aufzunehmen und ihre Genauigkeit zu verbessern. Ein konkreter Vorschlag besteht darin, die Wissensdatenbank in modulare Teile aufzuteilen, anstatt einen großen Artikel mit mehreren Antworten zu verfassen.

Beim Einrichten der API können Sie sie besser an das Agentensystem anpassen und Berechtigungen und Ausgabe so festlegen, dass das Agentensystem Informationen problemlos aufnehmen kann, ohne viele Berechnungen durchführen zu müssen, um die Antwort zu finden. Dies sind einige taktische Maßnahmen, die ergriffen werden können, aber ich würde nicht sagen, dass irgendetwas getan werden muss, um das Agentensystem zu verwenden.

Derrick Harris: Eine gute Dokumentation ist immer wichtig. Im Wesentlichen geht es darum, Informationen effektiv zu organisieren.

Kimberly Tan: Es klingt so, als ob man, wenn man den Leuten beibringen möchte, wie sie das Agentensystem so steuern, dass es ihren Kunden oder bestimmten Anwendungsfällen am besten gerecht wird, viel mit dem UI- und UX-Design experimentieren muss, oder man in diesem völlig neuen Bereich neue Wege gehen muss, da es sich stark von herkömmlicher Software unterscheidet.

Ich bin neugierig, was denken Sie darüber? Wie sollten UI und UX in einer Agent-First-Welt aussehen? Wie wird sich das Ihrer Meinung nach in den nächsten Jahren ändern?

Jesse Zhang: Ich würde nicht sagen, dass wir dieses Problem gelöst haben. Ich denke, wir haben vielleicht ein lokales Optimum gefunden, das für unsere aktuellen Kunden funktioniert, aber es ist für uns und viele andere immer noch ein fortlaufender Forschungsbereich.

Das Kernproblem geht auf das zurück, was wir zuvor erwähnt haben, nämlich dass Sie ein Agentensystem haben. Erstens: Wie können Sie klar erkennen, was es tut und wie es Entscheidungen trifft? Und dann: Wie können Sie diese Informationen nutzen, um zu entscheiden, was aktualisiert werden muss und welches Feedback der KI gegeben werden soll? Hier kommen die UI-Elemente zusammen, insbesondere der zweite Teil.

Wir glauben, dass UI und UX mit der Zeit immer stärker auf natürlicher Sprache basieren werden, weil das Agentensystem so denkt oder dies grundsätzlich die Grundlage für das Trainieren großer Sprachmodelle (LLMs) ist.

Im Extremfall, wenn Sie einen superintelligenten Agenten haben, der im Grunde wie ein Mensch denkt, können Sie ihm Dinge zeigen, ihm Dinge erklären, ihm Feedback geben und er wird sein eigenes „Geistessystem“ aktualisieren. Stellen Sie sich vor, eine sehr fähige Person tritt Ihrem Team bei, Sie bringen ihr etwas bei, sie beginnt zu arbeiten und dann geben Sie ihr weiterhin Feedback, Sie können ihr neue Dinge, neue Dokumente, Diagramme usw. zeigen.

Ich denke, im Extremfall wird es sich in diese Richtung entwickeln: Die Dinge werden gesprächiger, basieren mehr auf natürlicher Sprache, und die Leute hören auf, Systeme mit komplexen Entscheidungsbäumen zu bauen, wie sie es früher getan haben, um das zu erfassen, was man will, aber dieser Ansatz kann leicht scheitern. Früher mussten wir das tun, weil es damals noch keine LLMs gab, aber jetzt, wo Agentensysteme immer leistungsfähiger werden, werden UI und UX gesprächiger.

Kimberly Tan: Als Decagon vor etwa anderthalb Jahren an den Start ging, herrschte allgemein die Auffassung, dass LLM für viele Anwendungsfälle sehr gut geeignet sei. Tatsächlich handelte es sich jedoch nur um eine Art „GPT-Wrapper“, mit dem Unternehmen einfach ein zugrunde liegendes Modell über eine API aufrufen und ihre Supportprobleme sofort lösen konnten.

Aber wenn Unternehmen sich für Lösungen wie Decagon entscheiden, anstatt diesen Weg direkt zu gehen, stellt sich natürlich heraus, dass dies nicht der Fall ist. Ich habe mich gefragt, ob Sie erklären könnten, warum das so ist. Was genau machte die Herausforderungen des internen Aufbaus komplexer als erwartet? Welche Missverständnisse hatten sie über das Konzept?

Jesse Zhang: Es ist nichts falsch daran, ein „GPT-Wrapper“ zu sein. Man könnte sagen, dass Purcell ein AWS-Wrapper oder so etwas ist. Normalerweise ist dieser Begriff abwertend gemeint.

Meine persönliche Ansicht ist, dass Sie beim Erstellen eines Agentensystems per Definition definitiv LLM als Tool verwenden werden. Sie bauen also tatsächlich auf etwas auf, das bereits vorhanden ist, so wie Sie normalerweise auf AWS oder GCP aufbauen würden.

Das wirkliche Problem kann jedoch auftreten, wenn die Software, die Sie auf LLM aufbauen, nicht „schwer“ oder komplex genug ist, um einen Unterschied zu machen.

Rückblickend ist das, was wir verkaufen, im Grunde Software. Wir sind eigentlich wie ein normales Softwareunternehmen, außer dass wir LLM als Teil der Software und als eines der Tools verwenden. Aber wenn Leute diese Art von Produkt kaufen, wollen sie hauptsächlich die Software selbst. Sie wollen Tools, die die KI überwachen können, die tief in die Details jedes Gesprächs eintauchen können, das die KI führt, die Feedback geben können, die das System ständig weiterentwickeln und anpassen können.

Das ist also der Kern unserer Software. Sogar mit dem Agentensystem selbst haben die Leute das Problem, dass es cool ist, eine Demo zu machen, aber wenn man es produktionsreif und wirklich kundenorientiert machen will, muss man viele seit langem bestehende Probleme lösen, wie das „Illusions“-Phänomen verhindern und mit böswilligen Akteuren umgehen, die versuchen, Chaos zu verursachen. Wir müssen auch sicherstellen, dass die Latenz niedrig genug ist, der Ton angemessen ist und so weiter.

Wir haben mit vielen Teams gesprochen, und sie haben einige Experimente durchgeführt, eine vorläufige Version erstellt und dann festgestellt: „Oh, wirklich, wir wollen nicht diejenigen sein, die diese Details in späteren Phasen ständig einbauen.“ Sie wollten auch nicht diejenigen sein, die dem Kundenserviceteam ständig neue Logik hinzufügen. An diesem Punkt scheint es also angemessener, sich für die Zusammenarbeit mit anderen zu entscheiden.

Kimberly Tan: Sie haben einige langfristige Probleme erwähnt, wie etwa die Notwendigkeit, mit schlechten Schauspielern umzugehen usw.Ich glaube, dass viele Zuhörer, die den Einsatz von AI Agent in Erwägung ziehen, besorgt sind über neue Angriffswege, die sich nach der Einführung von LLMs ergeben können, oder über die neuen Sicherheitsrisiken, die nach der Einführung des Agent-Systems entstehen können. Was denken Sie über diese Probleme? Und was sind die besten Praktiken, um erstklassige Unternehmenssicherheit zu gewährleisten, wenn es um Agent?

Jesse Zhang: In Bezug auf die Sicherheit gibt es einige offensichtliche Maßnahmen, die ergriffen werden können, wie ich bereits erwähnt habe, beispielsweise die Notwendigkeit von Schutzmaßnahmen. Das Kernproblem besteht darin, dass die Menschen Bedenken hinsichtlich LLMs haben, weil sie nicht deterministisch sind.

Die gute Nachricht ist jedoch, dass Sie die meisten sensiblen und komplexen Vorgänge tatsächlich hinter einer deterministischen Mauer ablegen können, und die Berechnung erfolgt dort, wenn die API aufgerufen wird. Sie sind also nicht vollständig auf LLM angewiesen, um dies zu handhaben, und vermeiden dadurch viele der Kernprobleme.

Aber es gibt immer noch Situationen, in denen sich beispielsweise ein böswilliger Akteur einmischt oder jemand versucht, das System zum Halluzinieren zu bringen. Wir haben beobachtet, dass bei vielen der großen Kunden, mit denen wir zusammenarbeiten, die Sicherheitsteams eingreifen und im Grunde einen „Red Team“-Test unserer Produkte durchführen, bei dem sie wochenlang ununterbrochen verschiedene mögliche Angriffe auf das System starten, um Schwachstellen zu finden. Da AI Agent immer beliebter wird, werden wir dies möglicherweise immer häufiger erleben, da dies eine der besten Möglichkeiten ist, um zu testen, ob ein System effektiv ist. Es geht darum, es im Rahmen eines Red Team-Tests mit etwas zu konfrontieren und zu sehen, ob es die Abwehrmaßnahmen durchbrechen kann.

Es gibt auch Startups, die Red-Team-Tools entwickeln oder es den Leuten ermöglichen, solche Tests selbst durchzuführen. Das ist ein Trend, den wir gerade beobachten. Viele der Unternehmen, mit denen wir zusammenarbeiten, lassen das System in einer späteren Phase des Verkaufszyklus von ihrem Sicherheitsteam oder einem externen Team einem Stresstest unterziehen. Für uns ist es ein Muss, solche Tests bestehen zu können. Darauf läuft es also letztendlich hinaus.

Derrick Harris: Ist das etwas, wozu Sie Ihre Kunden ermutigen? Denn wenn wir über KI-Richtlinien sprechen, erwähnen wir einen wichtigen Aspekt, nämlich die Anwendungsebene, und wir betonen, die Die Verantwortung liegt bei den Benutzern von LLM und den Personen, die die Anwendung ausführen, anstatt einfach dem Modell selbst die Schuld zu geben. Das heißt, Kunden sollten Red-Team-Tests durchführen, spezifische Anwendungsfälle und Angriffspfade identifizieren und bestimmen, welche Schwachstellen geschützt werden müssen, anstatt sich einfach auf den Sicherheitsschutz zu verlassen, der bereits von OpenAI oder anderen Unternehmen eingerichtet wurde.

Jesse Zhang: Ich stimme vollkommen zu. Ich denke auch, dass möglicherweise eine neue Welle von Meldepflichten aufkommt, ähnlich der SOC 2-Zertifizierung und der HIPAA-Zertifizierung, die derzeit jeder durchführt und die in verschiedenen Branchen erforderlich sind. Wenn Sie ein generisches SaaS-Produkt verkaufen, verlangen Kunden normalerweise Penetrationstests, und wir müssen auch unseren Penetrationstestbericht vorlegen. Für AI Agent könnte es in Zukunft ähnliche Anforderungen geben, und jemand könnte es benennen, aber dies ist im Grunde eine neue Möglichkeit, zu testen, ob das Agent-System leistungsstark genug ist.

Kimberly Tan: Interessant ist, dass offensichtlich alle sehr begeistert sind von den neuen Modelldurchbrüchen und technologischen Durchbrüchen, die von den großen Labors vorgestellt werden. Als KI-Unternehmen betreiben Sie natürlich keine eigene Forschung, aber Sie nutzen diese Forschung und entwickeln eine Menge Software darauf basierend, um sie dem Endkunden zu liefern.

Aber Ihre Arbeit basiert auf sich schnell verändernden Technologien. Mich würde interessieren, wie Sie als Unternehmen für angewandte KI mit neuen technologischen Veränderungen Schritt halten und verstehen, wie diese sich auf das Unternehmen auswirken, während Sie gleichzeitig in der Lage sind, Ihre eigene Produkt-Roadmap vorherzusagen und Benutzeranforderungen zu ermitteln. Allgemeiner gefragt: Welche Strategien sollten Unternehmen für angewandte KI in ähnlichen Situationen verfolgen?

Jesse Zhang: Sie können den gesamten Stack tatsächlich in verschiedene Teile aufteilen. Wenn Sie sich beispielsweise die Anwendungsebene ansehen, befindet sich LLM ganz unten. In der Mitte befinden sich möglicherweise einige Tools, die Ihnen bei der Verwaltung von LLM oder bei der Auswertung und ähnlichem helfen. Der obere Teil ist im Wesentlichen das, was wir erstellt haben, und eigentlich wie ein Standard-SaaS.

Der Großteil unserer Arbeit unterscheidet sich also eigentlich nicht so sehr von normaler Software, außer dass wir eine zusätzliche Forschungskomponente haben – LLM ändert sich zu schnell. Wir müssen erforschen, was sie können, worin sie gut sind und welches Modell zur Ausführung einer bestimmten Aufgabe verwendet werden sollte. Das ist ein großes Problem, da sowohl OpenAI als auch Anthropic neue Technologien auf den Markt bringen und Gemini sich ebenfalls schrittweise verbessert.

Daher, Sie müssen über einen eigenen Bewertungsmechanismus verfügen, um zu verstehen, welches Modell für welchen Einsatzzweck geeignet ist. Manchmal müssen Sie auch Feinabstimmungen vornehmen, aber die Frage ist: Wann sollte eine Feinabstimmung vorgenommen werden? Wann lohnt sich eine Feinabstimmung? Dies sind wahrscheinlich die wichtigsten Forschungsfragen im Zusammenhang mit LLMs, auf die wir uns konzentrieren. Aber zumindest bisher haben wir nicht das Gefühl, dass sich SaaS schnell ändert, da wir nicht von der mittleren Schicht abhängig sind. Im Grunde sind es also die LLMs, die sich ändern. Sie ändern sich nicht sehr oft, und wenn doch, handelt es sich normalerweise um ein Upgrade. Beispielsweise wurde Claude 3.5 Sonett vor einigen Monaten aktualisiert, und damals dachten wir: „Okay, sollten wir auf das neue Modell umsteigen, anstatt das alte weiter zu verwenden?“

Wir müssen nur eine Reihe von Bewertungen durchführen, und sobald wir auf das neue Modell umgestiegen sind, denken wir nicht mehr darüber nach, da wir das neue Modell bereits verwenden. Dann kam die o1-Version heraus, und die Situation war ähnlich. Überlegen Sie, wo sie verwendet werden kann. In unserem Fall ist o1 für die meisten kundenorientierten Anwendungsfälle etwas langsam, sodass wir es für einige Hintergrundarbeiten verwenden können. Letztendlich brauchen wir nur ein gutes System für die Modellforschung.

Kimberly Tan: Wie oft bewerten Sie ein neues Modell und entscheiden, ob Sie es ersetzen?

Jesse Zhang: Wir führen jedes Mal eine Evaluierung durch, wenn ein neues Modell herauskommt. Sie müssen sicherstellen, dass das neue Modell, obwohl es intelligenter ist, einige der bereits erstellten Anwendungsfälle nicht beeinträchtigt. Das kann passieren. Beispielsweise kann das neue Modell insgesamt intelligenter sein, aber in einigen Extremfällen weist es bei einer A/B-Auswahl in einem Ihrer Workflows eine schlechte Leistung auf. Darauf führen wir eine Evaluierung durch.

Ich denke, insgesamt ist die Art von Intelligenz, die uns am meisten interessiert, die, wie ich es nennen würde, „Fähigkeit, Anweisungen zu befolgen“. Wir möchten, dass das Modell immer besser darin wird, Anweisungen zu befolgen. Wenn das der Fall ist, dann ist es definitiv von Vorteil für uns, und das ist sehr gut.

Es scheint, dass sich die jüngste Forschung mehr auf die Art von Intelligenz konzentriert, die logisches Denken erfordert, wie etwa bessere Programmierung und bessere mathematische Operationen. Das hilft uns zwar auch, ist aber nicht so wichtig wie die Verbesserung der Fähigkeit, Anweisungen zu befolgen.

Kimberly Tan: Ein sehr interessanter Punkt, den Sie angesprochen haben und der meiner Meinung nach auch für Decagon einzigartig ist, ist, dass Sie intern eine umfangreiche Evaluierungsinfrastruktur aufgebaut haben, um sicherzustellen, dass Sie genau wissen, wie jedes Modell bei den von Ihnen bereitgestellten Tests abschneidet.

Können Sie das näher erläutern? Wie wichtig ist diese interne Bewertungsinfrastruktur und wie vermittelt sie Ihnen und Ihren Kunden insbesondere Vertrauen in die Leistung von Agent? Denn einige dieser Bewertungen sind auch kundenorientiert.

Jesse Zhang: Ich denke, das ist sehr wichtig, denn ohne diese Evaluierungsinfrastruktur wäre es für uns sehr schwierig, schnell zu iterieren.

Wenn Sie das Gefühl haben, dass bei jeder Änderung die Wahrscheinlichkeit hoch ist, dass etwas kaputt geht, werden Sie die Änderungen nicht schnell vornehmen. Wenn Sie jedoch über einen Bewertungsmechanismus verfügen, können Sie bei größeren Änderungen, Modellaktualisierungen oder Neuerungen direkt alle Bewertungstests mit diesen vergleichen. Wenn die Bewertungsergebnisse gut sind, können Sie das Gefühl haben: Okay, wir haben eine Verbesserung vorgenommen, oder Sie können es ohne große Sorgen mit Zuversicht veröffentlichen.

In unserem Bereich Zur Bewertung bedarf es der Mitwirkung des Kunden, denn dieser ist es, der entscheidet, ob etwas richtig ist oder nicht. Wir können natürlich einige allgemeine Probleme prüfen, aber normalerweise liefert der Kunde konkrete Anwendungsfälle und sagt uns, was die richtige Antwort ist oder sein muss, welchen Ton sie beibehalten muss, was sie sagen muss.

Darauf basiert die Bewertung. Wir müssen also sicherstellen, dass unser Bewertungssystem robust genug ist. Am Anfang haben wir es selbst entwickelt, und es ist nicht so schwer zu pflegen. Wir wissen auch, dass es einige Bewertungsunternehmen gibt, und wir haben einige davon untersucht. Vielleicht werden wir irgendwann darüber nachdenken, ob wir sie übernehmen, aber im Moment ist das Bewertungssystem für uns kein Problem mehr.

Kimberly Tan: Ein sehr beliebtes Thema ist heute Multimodalität. Das bedeutet, dass KI-Agenten in der Lage sein sollten, in allen Formen zu interagieren, die Menschen heute nutzen, sei es Text, Video, Sprache usw. Ich weiß, dass Decagon als textbasiertes Produkt begann. Wie wichtig ist es aus Ihrer Sicht, ist Multimodalität für KI-Agenten? Wie lange wird es Ihrer Meinung nach dauern, bis es zum Mainstream oder sogar zum Standard wird?

Jesse Zhang: Es ist wichtig, und aus Unternehmenssicht ist es nicht besonders schwierig, eine neue Modalität hinzuzufügen. Es ist nicht einfach, aber der Kern ist: Wenn Sie andere Probleme lösen, wie die, die ich erwähnt habe – zum Beispiel die KI zu erstellen, sie zu überwachen und die richtige Logik zu haben –, dann ist das Hinzufügen einer neuen Modalität nicht das Schwierigste. Für uns macht es also sehr viel Sinn, alle Modalitäten zu haben, und es erweitert unseren Markt. Wir sind im Grunde modalitätsagnostisch und erstellen für jede Modalität unseren eigenen Agenten.

Im Allgemeinen gibt es zwei limitierende Faktoren: Erstens: Ist der Kunde bereit, die neue Modalität anzunehmen? Ich denke, es ist sehr sinnvoll, mit Text zu beginnen, denn das ist die Art, wie die Menschen sie am aktivsten annehmen, und es ist weniger riskant für sie, leichter zu überwachen und leichter zu verstehen. Die andere große Modalität ist die Sprachkommunikation. Ich denke, es gibt offensichtlich noch Platz auf dem Markt und die Akzeptanz der Sprachkommunikation durch die Benutzer muss noch verbessert werden. Im Moment sehen wir einige Early Adopters, die begonnen haben, Sprachagenten einzusetzen, was sehr spannend ist. Der andere Aspekt sind die technischen Herausforderungen. Die meisten Leute würden zustimmen, dass die Messlatte für Sprache höher liegt. Wenn Sie mit jemandem am Telefon sprechen, benötigen Sie eine sehr kurze Sprachlatenz. Wenn Sie jemanden unterbrechen, muss er natürlich reagieren.

Da die Latenzzeit beim Sprechen geringer ist, muss man bei der Berechnung cleverer vorgehen. Wenn man in einem Chat ist und die Reaktionszeit fünf bis acht Sekunden beträgt, merkt man das kaum und es fühlt sich sehr natürlich an. Wenn man am Telefon aber fünf bis acht Sekunden braucht, um zu antworten, fühlt es sich etwas unnatürlich an. Es gibt also mehr technische Herausforderungen beim Sprechen. Wenn diese technischen Herausforderungen gelöst sind und das Interesse am Einsatz von Sprache auf dem Markt steigt, wird Sprache als neue Modalität zum Mainstream werden.

Ein Geschäftsmodell, das Vertrauen überwindet

Kimberly Tan: Bevor wir fortfahren, möchte ich noch etwas mehr über das Geschäftsmodell von AI Agent sprechen. Wenn Sie zum ersten Mal gebaut AI Agent oder mit Kunden das System besprochen, das sie verwenden, die Daten, die sie verarbeiten, und ihre Bedenken. Gab es etwas, das Sie überrascht hat? Was sind einige der nicht intuitiven oder überraschenden Dinge, die Decagon tun musste, um Unternehmenskunden besser zu bedienen?

Jesse Zhang: Ich glaube, das Überraschendste war, wie bereitwillig die Leute waren, mit uns zu reden, als wir anfingen. Schließlich waren wir nur zu zweit. Wir hatten beide schon vorher Unternehmen gegründet, also kannten wir viele Leute. Aber trotzdem ist es bei jedem Unternehmer so: Wenn man ein Gespräch über Empfehlungen in Gang bringen will, ist das Gespräch meist ziemlich lauwarm, wenn man nicht besonders überzeugend ist.

Aber als wir anfingen, über diesen Anwendungsfall zu sprechen, war ich eigentlich ziemlich überrascht, wie begeistert die Leute davon waren. Denn die Idee scheint so offensichtlich. Man könnte meinen, da es eine so offensichtliche Idee ist, muss es schon jemand anderes getan haben oder es muss bereits eine Lösung geben oder jemand anderes muss bereits eine Lösung gefunden haben. Aber ich denke, wir haben einen guten Moment erwischt, dieser Anwendungsfall ist wirklich groß und die Leute interessieren sich wirklich dafür. Wie ich bereits erwähnt habe, eignet sich dieser Anwendungsfall wirklich gut dafür, AI Agent in die Produktion zu bringen, weil man ihn schrittweise implementieren und den ROI verfolgen kann.

Das war eine angenehme Überraschung für mich, aber natürlich liegt danach noch viel Arbeit vor uns. Man muss mit Kunden zusammenarbeiten, das Produkt bauen und herausfinden, in welche Richtung man gehen muss. In der Anfangsphase war es wirklich eine überraschende Entdeckung.

Derrick Harris: Kimberly, ich denke, ich sollte deinen Blogbeitrag RIP to RPA erwähnen, der viele Themen anspricht: die Automatisierungsaufgaben und Startups.Glauben Sie, dass es ein Phänomen gibt, bei dem diese automatisierten Aufgaben oder Lösungen nicht so ideal sind, sodass die Leute immer nach einer besseren Lösung suchen?

Kimberly Tan: Ja, das glaube ich. Dazu möchte ich ein paar Dinge sagen. Erstens: Wenn eine Idee für jeden offensichtlich ist, es aber kein Unternehmen gibt, das sie umsetzen kann, oder niemand auf ein Unternehmen verweist und sagt: „Das sollten Sie verwenden“, dann bedeutet das, dass das Problem nicht wirklich gelöst wurde.

In gewisser Weise ist es eine völlig offene Möglichkeit für ein Unternehmen, eine Lösung zu entwickeln. Denn wie Sie sagten, haben wir Decagon als Investor von Anfang an verfolgt. Wir haben beobachtet, wie sie sich durch das kreative Labyrinth bewegten, und als sie beschlossen, in diese Richtung zu gehen und begannen, mit Kunden zu sprechen, wurde klar, dass alle Kunden verzweifelt nach einer Art nativer KI-fähiger Lösung suchten. Dies ist eines der Probleme, die ich zuvor erwähnt habe, bei dem viele Leute denken, es handele sich nur um einen GPT-Wrapper. Aber das Kundeninteresse, das Decagon von Anfang an entgegengebracht hat, hat uns schon früh erkennen lassen, dass viele dieser Probleme viel komplizierter sind, als die Leute erwarten.

Ich denke, dieses Phänomen ist branchenübergreifend, sei es im Kundendienst oder in bestimmten Bereichen der professionellen Automatisierung. Ich denke, einer der unterschätzten Punkte ist, wie Jesse bereits erwähnte, die Möglichkeit, den Return on Investment (ROI) der Automatisierung von Aufgaben klar zu messen. Denn wenn man jemanden dazu bringen will, einen KI-Agenten zu akzeptieren, muss er in Wirklichkeit ein gewisses Maß an Vertrauen beweisen, da dies für viele Menschen völliges Neuland ist.

Wenn Sie einen ganz bestimmten Prozess automatisieren können, der entweder offensichtlich umsatzgenerierend ist, der zuvor einen Engpass im Unternehmen darstellte, oder ein großer Kostenfaktor, der linear mit dem Kunden- oder Umsatzwachstum ansteigt, wird es einfacher sein, Akzeptanz für den KI-Agenten zu finden. Die Möglichkeit, solche Probleme in einen stärker produktorientierten Prozess umzuwandeln, der wie herkömmliche Software skaliert werden kann, ist sehr attraktiv.

Kimberly Tan: Ich habe noch eine letzte Frage, bevor wir fortfahren. Ich erinnere mich, dass Jesse in unseren früheren Diskussionen immer sagte, dass die größte Herausforderung für Unternehmen, die Software oder KI-Agenten einführen, Halluzinationen seien. Aber Sie haben mir einmal gesagt, dass dies eigentlich nicht das Hauptproblem sei. Können Sie näher erläutern, warum die Wahrnehmung von Halluzinationen etwas irreführend ist und worüber sich die Leute eigentlich mehr Sorgen machen?

Jesse Zhang: Ich denke, die Leute interessieren sich zwar für Halluzinationen, aber sie sind mehr daran interessiert, welchen Wert sie bieten können. Fast alle Unternehmen, mit denen wir zusammenarbeiten, konzentrieren sich auf dieselben wenigen Fragen, fast genau dieselben: Wie viel Prozent der Gespräche können Sie lösen? Wie zufrieden sind meine Kunden? Dann kann das Problem der Halluzinationen als dritte Kategorie eingestuft werden, nämlich wie genau sie sind. Im Allgemeinen sind die ersten beiden Faktoren bei der Bewertung wichtiger.

Nehmen wir an, Sie sprechen mit einem neuen Unternehmen und haben die ersten beiden Faktoren wirklich gut umgesetzt und Sie haben viel Unterstützung von der Geschäftsleitung und allen im Team. Sie sagen: „Oh mein Gott, unser Kundenerlebnis ist anders. Jeder Kunde hat jetzt seinen eigenen persönlichen Assistenten, der uns jederzeit kontaktieren kann. Wir haben ihnen tolle Antworten gegeben, sie sind sehr zufrieden und der Service ist mehrsprachig und rund um die Uhr verfügbar.“ Das ist nur ein Teil davon, und Sie haben auch viel Geld gespart.

Sobald Sie diese Ziele erreicht haben, erhalten Sie viel Unterstützung und Rückenwind, um die Arbeit voranzutreiben. Natürlich muss das Illusionsproblem letztendlich gelöst werden, aber das ist nicht das, worüber sie sich am meisten Sorgen machen. Die Lösung der Illusion erfolgt auf dieselbe Weise, wie ich sie zuvor erwähnt habe – die Leute werden Sie testen. Es kann eine Proof-of-Concept-Phase geben, in der Sie tatsächlich echte Gespräche führen und Teammitglieder die Genauigkeit überwachen und überprüfen. Wenn das gut läuft, wird es normalerweise durchgezogen.

Außerdem können Sie, wie ich bereits erwähnt habe, strenge Schutzmaßnahmen für vertrauliche Informationen treffen, z. B. müssen Sie vertrauliche Inhalte nicht unbedingt generisch gestalten. Das Thema Illusion ist also bei den meisten Transaktionen ein Diskussionspunkt. Es ist kein unwichtiges Thema. Sie werden diesen Prozess durchlaufen, aber er steht nie im Mittelpunkt des Gesprächs.

Kimberly Tan: Kommen wir nun zum Geschäftsmodell von AI Agent. Heute geht es vor allem um die Preisgestaltung dieser AI Agents.

Bisher wurde der Preis für viele SaaS-Software nach der Anzahl der Arbeitsplätze berechnet, da es sich um Workflow-Software handelt, die auf einzelne Mitarbeiter ausgerichtet ist und zur Verbesserung der Mitarbeiterproduktivität eingesetzt wird. AI Agent ist jedoch nicht wie herkömmliche Software an die Produktivität einzelner Mitarbeiter gekoppelt.

Viele Leute denken, dass die Preisgestaltung auf Grundlage der Anzahl der Sitzplätze nicht mehr anwendbar ist. Ich bin neugierig auf Wie Sie haben in der Anfangszeit über dieses Dilemma nachgedacht und wie Sie sich schließlich für den Preis von Decagon entschieden haben. Und was wird Ihrer Meinung nach der zukünftige Trend bei der Softwarepreisgestaltung sein, wenn KI-Agenten immer häufiger zum Einsatz kommen?

Jesse Zhang: Unser Standpunkt hierzu ist, dass der Preis für Software früher pro Arbeitsplatz berechnet wurde, da sich die Preisgestaltung in etwa an der Zahl der Personen orientierte, die die Software nutzen konnten. Aber für die meisten KI-Agenten hängt der Wert, den Sie schaffen, nicht von der Anzahl der Personen ab, die sie pflegen, sondern von der Menge der geleisteten Arbeit. Dies steht im Einklang mit dem Punkt, den ich zuvor erwähnt habe: Wenn der Return on Investment (ROI) sehr gut messbar ist, ist auch das Niveau der geleisteten Arbeit sehr klar.

Unserer Ansicht nach ist eine Preisgestaltung nach der Anzahl der Arbeitsplätze definitiv nicht anwendbar. Sie können Ihren Preis auf der Grundlage des Arbeitsergebnisses festlegen. Das Preismodell, das Sie anbieten, sollte also so aussehen: Je mehr Arbeit erledigt wird, desto mehr zahlen Sie.

Für uns gibt es zwei offensichtliche Möglichkeiten, Preise festzulegen. Sie können entweder Konversationen bepreisen oder Sie können die Konversationen bepreisen, die die KI tatsächlich löst. Ich denke, eine der interessanten Lektionen, die wir gelernt haben, ist, dass die meisten Leute das Konversationspreismodell gewählt haben. Der Grund dafür ist, dass der Hauptvorteil der Preisgestaltung nach Lösung darin besteht, dass Sie für das bezahlen, was die KI tut das.

Die sich daraus ergebende Frage ist jedoch, was als „Lösung“ gilt. Zunächst einmal möchte niemand näher darauf eingehen, denn es lautet: „Wenn jemand wütend hereinkommt und Sie ihn wegschicken, warum sollten wir dafür bezahlen?“

Dies schafft eine unangenehme Situation und macht auch die Anreize für KI-Anbieter etwas seltsam, denn Abrechnung nach Lösung bedeutet: „Wir müssen einfach so viele Gespräche wie möglich lösen und einige Leute vergraulen.“ Aber es gibt viele Fälle, in denen es besser ist, das Problem zu eskalieren, als es einfach zu vergraulen, und Kunden mögen diese Art der Handhabung nicht. Daher bringt Abrechnung nach Gespräch mehr Einfachheit und Vorhersehbarkeit.

Kimberly Tan: Wie lange wird das zukünftige Preismodell Ihrer Meinung nach Bestand haben?Denn wenn Sie derzeit vom ROI sprechen, basiert dieser normalerweise auf früheren Ausgaben, die möglicherweise zur Deckung der Arbeitskosten verwendet wurden. Da KI-Agenten immer häufiger eingesetzt werden, glauben Sie, dass KI langfristig mit den Arbeitskosten verglichen wird und dass dies ein geeigneter Maßstab ist? Wenn nicht, wie sehen Sie die langfristige Preisgestaltung über die Arbeitskosten hinaus?

Jesse Zhang: Ich denke, dass die Preisgestaltung für KI-Agenten auf lange Sicht möglicherweise immer noch in erster Linie an den Arbeitskosten ausgerichtet sein wird, denn das ist das Schöne am Agenten: Ihre bisherigen Ausgaben für Dienste können nun auf Software verlagert werden.

Dieser Teil der Ausgaben könnte 10 bis 100 Mal so hoch sein wie die Ausgaben für Software, sodass ein Großteil der Kosten auf die Software verlagert wird. Daher werden die Arbeitskosten natürlich zum Maßstab. Für unsere Kunden ist der ROI sehr klar. Wenn Sie X Millionen an Arbeitskosten einsparen können, ist es sinnvoll, diese Lösung zu übernehmen. Aber auf lange Sicht könnte dies ein Mittelweg sein.

Denn selbst einige Produkte, die nicht so gut sind wie unser Agent, akzeptieren niedrigere Preise. Das ist wie die klassische SaaS-Situation, in der jeder um Marktanteile konkurriert.

Kimberly Tan: Was hält Ihrer Meinung nach die Zukunft für aktuelle SaaS-Unternehmen bereit, insbesondere für diejenigen, deren Produkte möglicherweise nicht von Haus aus für KI entwickelt wurden oder deren Preis pro Arbeitsplatz festgelegt ist und die sich daher nicht an ein ergebnisorientiertes Preismodell anpassen können?

Jesse Zhang: Für einige traditionelle Unternehmen ist es tatsächlich etwas schwierig, ein AI-Agent-Produkt auf den Markt zu bringen, da sie den Preis nicht über ein Sitzmodell festlegen können. Wenn Sie nicht mehr so viele Agenten benötigen, ist es schwierig, mit dem bestehenden Produkt den Umsatz aufrechtzuerhalten. Dies ist ein Problem für traditionelle Unternehmen, aber es ist schwer zu sagen. Traditionelle Unternehmen haben immer den Vorteil der Vertriebskanäle. Selbst wenn das Produkt nicht so gut ist wie das des neuen Unternehmens, sind die Leute nicht bereit, die Mühe auf sich zu nehmen, einen neuen Lieferanten mit nur 80% der gleichen Qualität zu akzeptieren.

Wenn Sie also ein Startup wie wir sind, müssen Sie erstens sicherstellen, dass Ihr Produkt dreimal besser ist als das herkömmliche Produkt. Zweitens ist dies ein typischer Wettbewerb zwischen herkömmlichen Unternehmen und Startups. Traditionelle Unternehmen haben natürlich eine geringere Risikotoleranz, da sie eine große Anzahl von Kunden haben. Wenn ihnen bei der schnellen Iteration ein Fehler unterläuft, führt dies zu enormen Verlusten. Startups können jedoch schneller iterieren, sodass der Iterationsprozess selbst zu einem besseren Produkt führen kann. Dies ist der übliche Zyklus. Wir waren immer stolz auf unsere Liefergeschwindigkeit, Produktqualität und die Ausführung unseres Teams. Aus diesem Grund haben wir den aktuellen Deal gewonnen.

Kimberly Tan: Können Sie Vorhersagen zur Zukunft der KI am Arbeitsplatz machen? Wie wird sie beispielsweise die Bedürfnisse oder Fähigkeiten der Mitarbeiter verändern oder wie menschliche Mitarbeiter und KI-Agenten interagieren?Welche neuen Best Practices oder Normen werden Ihrer Meinung nach mit der zunehmenden Verbreitung von KI-Agenten am Arbeitsplatz zur Norm werden?

Jesse Zhang: Die erste und wichtigste Veränderung ist, dass wir davon überzeugt sind, dass Mitarbeiter in Zukunft viel mehr Zeit am Arbeitsplatz damit verbringen werden, KI-Agenten zu erstellen und zu verwalten, ähnlich der Rolle von KI-Supervisoren. Auch wenn Sie offiziell nicht die Position eines „KI-Supervisors“ haben, wird ein Großteil der Zeit, die Sie sonst mit Ihrer Arbeit verbringen würden, auf die Verwaltung dieser Agenten verlagert, da Agenten Ihnen einen großen Einfluss verschaffen können.

Wir haben dies bei vielen Einsätzen gesehen, bei denen Leute, die früher Teamleiter waren, heute viel Zeit damit verbringen, die KI zu überwachen, um beispielsweise sicherzustellen, dass es keine Probleme gibt, oder um Anpassungen vorzunehmen. Sie überwachen die Gesamtleistung, um zu sehen, ob es bestimmte Bereiche gibt, die Aufmerksamkeit erfordern, ob es Lücken in der Wissensbasis gibt, die der KI helfen könnten, besser zu werden, und ob die KI diese Lücken schließen kann.

Die Arbeit, die mit der Arbeit mit einem Agenten einhergeht, vermittelt den Eindruck, dass Mitarbeiter in Zukunft einen erheblichen Teil ihrer Zeit mit der Interaktion mit KI-Agenten verbringen werden. Dies ist, wie ich bereits erwähnt habe, ein Kernkonzept unseres Unternehmens. Daher ist unser gesamtes Produkt darauf ausgerichtet, den Menschen Werkzeuge, Visualisierung, Interpretierbarkeit und Kontrolle zu bieten. Ich glaube, dass daraus innerhalb eines Jahres ein großer Trend wird.

Kimberly Tan: Das macht sehr viel Sinn. Welche Fähigkeiten werden Ihrer Meinung nach KI-Manager in Zukunft benötigen? Welche Fähigkeiten sind für diese Rolle erforderlich?

Jesse Zhang: Es gibt zwei Aspekte. Das eine ist die Beobachtbarkeit und Interpretierbarkeit, also die Fähigkeit, schnell zu verstehen, was die KI tut und wie sie Entscheidungen trifft. Das andere ist die Entscheidungsfähigkeit oder der Konstruktionsteil, wie man Feedback gibt und wie man eine neue Logik aufbaut. Ich denke, das sind zwei Seiten derselben Medaille.

Kimberly Tan: Welche Aufgaben werden Ihrer Meinung nach mittel- oder langfristig über die Fähigkeiten des KI-Agenten hinausgehen und müssen weiterhin von Menschen verwaltet und korrekt ausgeführt werden?

Jesse Zhang: Ich denke, es wird vor allem von der Anforderung an „Perfektion“ abhängen, die ich zuvor erwähnt habe. Es gibt viele Aufgaben, bei denen die Fehlertoleranz sehr gering ist. In diesen Fällen ist jedes KI-Tool eher eine Hilfe als ein vollwertiger Agent.

In sensibleren Branchen wie dem Gesundheitswesen oder der Sicherheit beispielsweise, wo nahezu Perfektion gefordert ist, werden KI-Agenten möglicherweise weniger autonom, aber das heißt nicht, dass sie nutzlos sind. Ich denke, der Stil wird anders sein. Auf einer Plattform wie unserer werden diese Agenten tatsächlich eingesetzt, damit sie die gesamte Arbeit automatisieren.

Derrick Harris: Und das ist alles für diese Folge. Wenn Sie dieses Thema interessant oder inspirierend fanden, bewerten Sie bitte unseren Podcast und teilen Sie ihn mit mehr Leuten.Wir rechnen damit, die letzte Folge noch vor Jahresende zu veröffentlichen und werden den Inhalt für das neue Jahr überarbeiten. Vielen Dank fürs Zuhören und schöne Feiertage (falls Sie während der Feiertage zuhören).

Originalvideo: Können Al-Agenten endlich den Kundendienst reparieren??