Przegląd najważniejszych wydarzeń
- Magia LLM-ów polega na tym, że są oni bardzo elastyczni, potrafią dostosować się do wielu różnych sytuacji i mają podstawową inteligencję.
- Wierzymy, że z czasem interfejs użytkownika (UI) i doświadczenie użytkownika (UX) będą coraz bardziej oparte na języku naturalnym, ponieważ w ten sposób myśli system agentowy lub jest to w zasadzie podstawa szkolenia dużych modeli językowych (LLM).
- Jeśli chcesz, żeby ktoś zaakceptował agenta AI, tak naprawdę podejmuje on pewien rodzaj „skoku wiary”, ponieważ dla wielu osób jest to zupełnie nieznana dziedzina.
Agent AI zmienia sposób obsługi klienta
Jesse Zhang: Jak właściwie skonstruowany jest Agent? Naszym zdaniem z czasem będzie on coraz bardziej przypominał Agenta opartego na języku naturalnym, ponieważ w ten sposób trenowane są duże modele językowe (LLM).
Na dłuższą metę, jeśli masz superinteligentnego agenta, który jest w rzeczywistości jak człowiek, możesz mu pokazywać różne rzeczy, wyjaśniać je, dawać mu informacje zwrotne, a on zaktualizuje informacje w swoim umyśle.
Możesz sobie wyobrazić posiadanie bardzo zdolnego ludzkiego członka zespołu. Kiedy dołączają po raz pierwszy, uczysz ich czegoś, zaczynają pracować, a następnie dajesz im informacje zwrotne i pokazujesz im nowe informacje.
Ostatecznie rozwinie się w tym kierunku – stanie się bardziej konwersacyjny i bardziej oparty na języku naturalnym, a sposób, w jaki ludzie komunikują się ze sobą, stanie się bardziej naturalny. A ludzie nie będą już używać tych skomplikowanych drzew decyzyjnych do rejestrowania wymagań, które mogą działać, ale są podatne na załamanie.
W przeszłości musieliśmy to robić, ponieważ nie mieliśmy dużego modelu języka. Ale teraz, dzięki ciągłemu postępowi Agenta, doświadczenie użytkownika (UX) i interfejs użytkownika (UI) staną się bardziej konwersacyjne.
Derrick Harris: Cześć wszystkim, witam w podcaście A16z AI. Nazywam się Derrick Harris i dziś dołączą do mnie Jesse Zhang, współzałożyciel i dyrektor generalny Decagon, oraz Kimberly Tan, partnerka w a16z. Kimberly poprowadzi dyskusję, a Jesse podzieli się swoimi doświadczeniami w budowaniu Decagon i jego produktów.
Jeśli niewiele o tym wiesz, Decagon to startup, który dostarcza firmom agentów AI, aby pomóc w obsłudze klienta. Agenci ci nie są ani chatbotami, ani opakowaniami LLM dla pojedynczego wywołania API, ale wysoce spersonalizowanymi zaawansowanymi agentami, którzy mogą obsługiwać złożone przepływy pracy w oparciu o konkretne potrzeby firmy.
Oprócz wyjaśnienia, dlaczego stworzyli Decagon i w jaki sposób jest on zaprojektowany, aby obsługiwać różne środowiska LLM i klientów, Jesse opowiada również o zaletach modelu biznesowego, który polega na naliczaniu opłat za rozmowę, a także o tym, w jaki sposób agenci AI zmienią umiejętności wymagane od liderów obsługi klienta.
Warto również wspomnieć, że Kimberly niedawno napisała wpis na blogu zatytułowany „RIP to RPA, The Rise of Intelligent Automation”, który pokrótce omawiamy w tym odcinku.
To świetny punkt wyjścia do zrozumienia, jak automatyzacja rozwija się w procesach biznesowych, a my podamy link w notatkach do programu. I na koniec, jako przypomnienie, treść tego artykułu ma charakter wyłącznie informacyjny i nie powinna być traktowana jako porada prawna, biznesowa, podatkowa lub inwestycyjna, ani nie powinna być wykorzystywana do oceny żadnej inwestycji lub zabezpieczenia i nie jest skierowana do żadnego inwestora funduszu a16z ani potencjalnego inwestora.
Jesse Zhang: Krótkie wprowadzenie do mnie. Urodziłem się i wychowałem w Boulder, a jako dziecko brałem udział w wielu konkursach matematycznych i tym podobnych. Studiowałem informatykę na Harvardzie, a następnie założyłem firmę, która również była wspierana przez a16z. Ostatecznie zostaliśmy przejęci przez Niantic.
Następnie zaczęliśmy budować Decagon. Nasz biznes polega na budowaniu agentów AI do obsługi klienta. Na początku robiliśmy to, ponieważ chcieliśmy zrobić coś, co było nam bardzo bliskie.
Oczywiście, nikogo nie trzeba uczyć o roli agentów AI w obsłudze klienta, prawda? Wszyscy rozmawialiśmy przez telefon z liniami lotniczymi, hotelami itp. i czekaliśmy na połączenie. Więc pomysł wziął się stamtąd.
Rozmawialiśmy z wieloma klientami, aby dowiedzieć się, jaki dokładnie rodzaj produktu powinniśmy stworzyć. Jedną rzeczą, która się dla nas wyróżniała, było to, że gdy dowiedzieliśmy się więcej o agentach AI, zaczęliśmy myśleć o tym, jak będzie wyglądała przyszłość, gdy będzie ich wielu. Myślę, że wszyscy wierzą, że w przyszłości będzie wielu agentów AI.
Zastanawiamy się, co będą robić pracownicy pracujący z agentami AI? Jakie narzędzia będą mieli? W jaki sposób będą kontrolować lub przeglądać agentów, z którymi pracują lub którymi zarządzają?
To jest sedno tego, jak zbudowaliśmy firmę wokół tego pytania. Myślę, że to również nas wyróżnia teraz, ponieważ dostarczamy tym agentom AI różne narzędzia, aby pomóc ludziom, z którymi pracujemy, budować i konfigurować tych agentów, aby nie byli już „czarną skrzynką”. W ten sposób budujemy naszą markę.
Derrick Harris: Co zainspirowało Cię do zajęcia się oprogramowaniem korporacyjnym, skoro Twoja poprzednia firma zajmowała się produkcją filmów wideo dla klientów indywidualnych?
Jesse Zhang: Świetne pytanie. Myślę, że założyciele często są „agnostykami tematycznymi”, jeśli chodzi o wybór tematu, ponieważ w rzeczywistości, gdy podchodzisz do nowego pola, zazwyczaj jesteś dość naiwny. Więc jest zaleta patrzenia na rzeczy ze świeżej perspektywy. Więc kiedy o tym myśleliśmy, nie było prawie żadnych ograniczeń tematycznych.
Myślę, że to bardzo powszechny schemat dla osób z bardziej ilościowym zapleczem, w tym dla mnie. Po wypróbowaniu produktów konsumenckich, masz tendencję do skłaniania się bardziej ku oprogramowaniu korporacyjnemu, ponieważ oprogramowanie korporacyjne ma bardziej konkretne problemy.
Masz prawdziwych klientów z prawdziwymi potrzebami i budżetami i tym podobnymi rzeczami, i możesz optymalizować i rozwiązywać problemy dla nich. Rynek konsumencki jest również bardzo atrakcyjny, ale opiera się bardziej na intuicji niż na eksperymentach. Dla mnie osobiście oprogramowanie korporacyjne jest lepszym rozwiązaniem.
Kimberly Tan: Najpierw możemy zacząć od tego pytania: Jakie są najczęstsze kategorie wsparcia, którymi zajmuje się Decagon? Czy możesz wyjaśnić, w jaki sposób wykorzystujesz duże modele językowe (LLM) do rozwiązywania tych problemów i co możesz teraz zrobić, czego nie mogłeś zrobić wcześniej?
Jesse Zhang: Jeśli spojrzysz wstecz na poprzednią automatyzację, być może używałeś drzew decyzyjnych, aby zrobić coś prostego, aby określić, którą ścieżkę obrać. Ale wszyscy używaliśmy chatbotów i jest to dość frustrujące doświadczenie.
Często na Twoje pytanie nie można w pełni odpowiedzieć za pomocą drzewa decyzyjnego. W efekcie zostajesz skierowany ścieżką pytań, która jest powiązana z pytaniem, ale nie do końca do niego pasuje. Teraz mamy duże modele językowe (LLM). Magia LLM polega na tym, że są bardzo elastyczne, mogą dostosować się do wielu różnych sytuacji i mają podstawową inteligencję.
Kiedy zastosujesz to do obsługi klienta lub kiedy klient zada pytanie, możesz zapewnić bardziej spersonalizowaną obsługę. To jest pierwszy punkt, poziom personalizacji znacznie się poprawił. Odblokowuje to wyższe wskaźniki. Możesz rozwiązać więcej problemów, klienci są bardziej zadowoleni, a satysfakcja klienta wzrasta.
Następnym naturalnym krokiem jest: jeśli masz tę inteligencję, powinieneś być w stanie zrobić więcej rzeczy, które potrafią robić ludzie. Ludzie potrafią pobierać dane w czasie rzeczywistym, podejmować działania i rozumować na podstawie wielu kroków. Jeśli klient zada stosunkowo złożone pytanie, na przykład „Chcę zrobić to i tamto”, a sztuczna inteligencja jest przygotowana tylko do obsługi pierwszego pytania. LLM jest wystarczająco inteligentny, aby rozpoznać, że są tu dwa pytania. Najpierw rozwiąże pierwszy problem, a następnie pomoże rozwiązać drugi problem.
Zanim pojawił się LLM, było to praktycznie niemożliwe. Teraz widzimy skokową zmianę w tym, co technologia jest w stanie zrobić, a to dzięki LLM.
Kimberly Tan: W tym kontekście, jak zdefiniowałbyś agenta AI? Ponieważ słowo „agent” jest szeroko używane, jestem ciekawa, co właściwie oznacza w kontekście Decagon.
Jesse Zhang: Powiedziałbym, że Agent odnosi się bardziej do systemu, w którym wiele systemów LLM (Large Language Model) współpracuje ze sobą. Masz wywołanie LLM, które zasadniczo polega na wysłaniu monitu i otrzymaniu odpowiedzi. W przypadku Agenta chcesz móc połączyć wiele takich wywołań, być może nawet rekurencyjnie.
Na przykład masz wywołanie LLM, które określa sposób obsługi wiadomości, a następnie może ono wywołać inne wywołania, które pobierają więcej danych, wykonują działania i powtarzają to, co powiedział użytkownik, być może nawet zadając pytania uzupełniające. Tak więc dla nas Agent może być rozumiany jako sieć niemal wywołań LLM, wywołań API lub innej logiki, które współpracują ze sobą, aby zapewnić lepsze doświadczenie.
Kimberly Tan: W tym temacie być może możemy porozmawiać więcej o infrastrukturze agentów, którą faktycznie zbudowałeś. Myślę, że jedną bardzo interesującą kwestią jest to, że na rynku jest wiele demonstracji agentów AI, ale myślę, że jest bardzo mało przykładów, które mogą faktycznie działać stabilnie w środowisku produkcyjnym. I trudno jest wiedzieć z zewnątrz, co jest prawdziwe, a co nie.
Jakie aspekty, Pana zdaniem, dzisiejszych agentów AI działają dobrze, a jakie wymagają jeszcze przełomu technologicznego, aby stały się bardziej niezawodne i niezawodne?
Jesse Zhang: Mój punkt widzenia jest w rzeczywistości nieco inny. Różnica między określeniem, czy agent AI jest tylko wersją demonstracyjną, czy „naprawdę działa”, nie leży całkowicie w stosie technologicznym, ponieważ myślę, że większość ludzi może używać mniej więcej tej samej technologii. Myślę, że gdy posuniesz się dalej w rozwoju swojej firmy, na przykład nasza firma istnieje od ponad roku, stworzysz coś bardzo specyficznego, co pasuje do Twojego przypadku użycia.
Jednak ostatecznie każdy może uzyskać dostęp do tego samego modelu i używać podobnej technologii. Myślę, że najważniejszym czynnikiem decydującym o tym, czy agent AI może działać skutecznie, jest forma przypadku użycia. Trudno to stwierdzić na początku, ale patrząc wstecz, można zauważyć, że istnieją dwa atrybuty niezwykle ważne dla agenta AI, aby mógł wyjść poza fazę demonstracyjną i wejść w fazę praktycznego zastosowania.
Pierwsza zasada polega na tym, że rozwiązywany przypadek użycia musi mieć mierzalny zwrot z inwestycji (ROI). To bardzo ważne, ponieważ jeśli ROI nie może być skwantyfikowane, trudno będzie przekonać ludzi, aby faktycznie korzystali z Twojego produktu i za niego płacili. W naszym przypadku wskaźnikiem ilościowym jest: jaki procent próśb o pomoc rozwiązujesz? Ponieważ ta liczba jest jasna, ludzie mogą ją zrozumieć – och, okej, jeśli rozwiązujesz więcej, mogę porównać ten wynik z moimi obecnymi wydatkami i poświęconym czasem. Tak więc, jeśli istnieje ten wskaźnik, innym wskaźnikiem, który jest dla nas bardzo ważny, jest satysfakcja klienta. Ponieważ ROI można łatwo skwantyfikować, ludzie naprawdę to przyjmą.
Drugim czynnikiem jest to, że przypadki użycia muszą stawać się stopniowo coraz trudniejsze. Byłoby również bardzo trudno, gdybyś potrzebował Agenta, który byłby superczłowiekiem od samego początku, rozwiązując prawie 100% przypadków użycia. Ponieważ, jak wiemy, LLM są niedeterministyczne, musisz mieć jakiś plan awaryjny. Na szczęście istnieje świetna cecha przypadków użycia pomocy technicznej, a mianowicie to, że zawsze możesz eskalować do człowieka. Nawet jeśli możesz rozwiązać tylko połowę problemów, to i tak jest to bardzo cenne dla ludzi.
Więc myślę, że wsparcie ma tę cechę, która sprawia, że jest bardzo odpowiednie dla AI Agent. Myślę, że jest wiele innych obszarów, w których ludzie mogą tworzyć imponujące dema, w których nawet nie trzeba się dokładnie przyglądać, aby zrozumieć, dlaczego AI Agent byłby przydatny. Ale jeśli musi być idealny od samego początku, to jest to bardzo trudne. Jeśli tak jest, prawie nikt nie będzie chciał go wypróbować ani używać, ponieważ konsekwencje jego niedoskonałości mogą być bardzo poważne – na przykład pod względem bezpieczeństwa.
Na przykład, kiedy ludzie robią symulacje, zawsze mają tę klasyczną myśl: „Och, byłoby wspaniale, gdyby LLM mógł to przeczytać”. Ale trudno sobie wyobrazić, żeby ktoś powiedział: „Okej, agencie AI, zrób to. Wierzę, że możesz to zrobić”. Ponieważ jeśli popełni błąd, konsekwencje mogą być bardzo poważne.
Jesse Zhang: Zazwyczaj decydują o tym nasi klienci i w rzeczywistości widzimy bardzo szeroki zakres różnic. Z jednej strony niektórzy ludzie sprawiają, że ich Agent wygląda jak człowiek, więc jest ludzki awatar, ludzkie imię, a odpowiedzi są bardzo naturalne. Z drugiej strony Agent po prostu stwierdza, że jest AI i jasno to wyjaśnia użytkownikowi. Myślę, że różne firmy, z którymi współpracujemy, mają różne stanowiska w tej sprawie.
Zwykle, jeśli działasz w regulowanej branży, musisz to jasno powiedzieć. Teraz uważam, że interesujące jest to, że zachowanie klientów się zmienia. Ponieważ wielu naszych klientów otrzymuje wiele opinii w mediach społecznościowych, takich jak: „O mój Boże, to pierwsze doświadczenie czatu, jakiego kiedykolwiek próbowałem, które wydaje się tak prawdziwe” lub „To po prostu magia”. I to jest dla nich świetne, ponieważ teraz ich klienci uczą się, hej, jeśli to doświadczenie AI, może być faktycznie lepsze niż doświadczenie człowieka. Tak nie było w przeszłości, ponieważ większość z nas miała w przeszłości takie doświadczenie z obsługą klienta przez telefon: „Okej, AI, AI, AI…”
Kimberly Tan: Kilka razy wspomniałeś o koncepcji personalizacji. Wszyscy używają tej samej podstawowej architektury technologicznej, ale mają różne potrzeby personalizacji w zakresie usług wsparcia. Czy możesz o tym opowiedzieć? A konkretnie, jak osiągnąć personalizację, aby ludzie mogli powiedzieć online: „Mój Boże, to najlepsze doświadczenie wsparcia, jakie kiedykolwiek miałem”?
Jesse Zhang: Dla nas, personalizacja pochodzi z dostosowania do użytkownika. Musisz zrozumieć informacje o tle użytkownika, co jest dodatkowym wymaganym kontekstem. Po drugie, musisz również zrozumieć logikę biznesową naszych klientów.Jeśli połączysz te dwie rzeczy, możesz zapewnić sobie naprawdę dobre wrażenia.
Oczywiście, brzmi to prosto, ale w rzeczywistości uzyskanie całego wymaganego kontekstu jest bardzo trudne. Dlatego większość naszej pracy polega na tym, jak zbudować odpowiednie prymitywne komponenty, aby gdy klient wdroży nasz system, mógł łatwo zdecydować: „Okej, to jest logika biznesowa, której chcemy”. Na przykład najpierw musisz wykonać te cztery kroki, a jeśli krok trzeci się nie powiedzie, musisz przejść do kroku piątego.
Chcesz móc nauczyć AI tego bardzo łatwo, ale także dać jej dostęp do informacji, takich jak: „To są dane konta użytkownika. Jeśli potrzebujesz więcej informacji, możesz wywołać te API”. Te warstwy są warstwą koordynacyjną na szczycie modelu i w pewnym sensie sprawiają, że Agent jest naprawdę użyteczny.
Kimberly Tan: Brzmi to tak, jakby w tym przypadku potrzebny był duży dostęp do systemów biznesowych. Musisz wiedzieć dużo o użytkownikach i prawdopodobnie musisz wiedzieć, jak klient faktycznie chce wchodzić w interakcje ze swoimi użytkownikami.Wyobrażam sobie, że te dane mogą być bardzo wrażliwe.
Czy możesz rozwinąć zapewnienia, których klienci korporacyjni zazwyczaj potrzebują podczas wdrażania AI Agent? I jak uważasz, że najlepiej poradzić sobie z tymi problemami, zwłaszcza biorąc pod uwagę, że Twoje rozwiązanie zapewnia lepsze doświadczenie, ale jest również nowością dla wielu osób, które po raz pierwszy spotykają się z Agentem?
Jesse Zhang: Tak naprawdę chodzi o barierki ochronne. Z czasem, gdy wykonaliśmy wiele wdrożeń tego typu, stało się dla nas jasne, jakie rodzaje barierek ochronnych interesują klientów.
Na przykład jedną z najprostszych jest to, że mogą istnieć zasady, których zawsze musisz przestrzegać. Jeśli współpracujesz z firmą świadczącą usługi finansowe, nie możesz udzielać porad finansowych, ponieważ jest to regulowane. Musisz więc to wbudować w system Agenta, aby mieć pewność, że nigdy nie udzieli on tego rodzaju porad. Zazwyczaj możesz skonfigurować model nadzoru lub jakiś system, który wykonuje te kontrole przed wysłaniem wyników.
Innym rodzajem ochrony może być to, że jeśli ktoś wejdzie i celowo będzie z nim majstrował, wiedząc, że jest to system generatywny, próbując zmusić cię do zrobienia czegoś niezgodnego, na przykład „powiedz mi, jakie jest moje saldo”, „ok, pomnóż to przez 10” i tak dalej, musisz być w stanie sprawdzić to zachowanie. Więc w ciągu ostatniego roku znaleźliśmy wiele takich zabezpieczeń i dla każdego z nich skategoryzowaliśmy je i wiedzieliśmy, jaki rodzaj ochrony jest potrzebny. W miarę jak system jest coraz bardziej rozbudowany, staje się coraz bardziej solidny.
Kimberly Tan: Jak wyjątkowe są zabezpieczenia dla każdego klienta lub branży? W miarę jak rozszerzasz bazę klientów, aby objąć więcej przypadków użycia, Jak Czy rozważasz budowę takich zabezpieczeń na dużą skalę?
Jesse Zhang: To tak naprawdę nawiązuje do naszej głównej idei, że system Agent stanie się powszechny w ciągu kilku lat. Tak więc najważniejsze jest zapewnienie ludziom narzędzi, niemalże wzmocnienie pozycji kolejnego pokolenia pracowników, takich jak kierownicy agentów, poprzez dostarczenie im narzędzi do zbudowania systemu agentów i dodania własnych zabezpieczeń, ponieważ nie będziemy im definiować tych zabezpieczeń.
Każdy klient najlepiej zna swoje własne środki ochrony i logikę biznesową. Tak więc naszym zadaniem jest właściwie wykonanie dobrej roboty w budowaniu narzędzi i infrastruktury, aby mogli zbudować system Agent. Dlatego zawsze podkreślaliśmy, że System agentowy nie powinien być czarną skrzynką, a Ty powinieneś mieć możliwość kontrolowania sposobu tworzenia tych zabezpieczeń, reguł i logiki.
Myślę, że to jest prawdopodobnie nasz najbardziej wyróżniający aspekt do tej pory. Włożyliśmy wiele wysiłku w te narzędzia i wymyśliliśmy kreatywne sposoby, aby umożliwić osobom, które mogą nie mieć super technicznego zaplecza, a nawet głębokiego zrozumienia, jak działają modele AI, nadal wprowadzać działania, które chcą, aby AI wykonała, do systemu Agent.
Myślę, że stanie się to coraz ważniejszą zdolnością w ciągu najbliższych kilku lat. Powinno to być jednym z najważniejszych kryteriów, gdy ludzie oceniają podobne narzędzia, ponieważ chcesz być w stanie stale optymalizować i ulepszać te systemy w czasie.
Logika biznesowa oparta na języku naturalnym
Derrick Harris: Jakie przygotowania mogą podjąć klienci lub firmy, aby przygotować się na każdy rodzaj automatyzacji, a w szczególności na wykorzystanie tego systemu Agent? Na przykład, w jaki sposób mogą zaprojektować swoje systemy danych, architekturę oprogramowania lub logikę biznesową, aby obsługiwać takie systemy?
Ponieważ uważam, że wiele technologii sztucznej inteligencji na pierwszy rzut oka wydaje się nowych, ale gdy powiążemy je z istniejącymi, starszymi systemami, często panuje w nich chaos.
Jesse Zhang: Jeśli ktoś teraz buduje od podstaw, istnieje wiele najlepszych praktyk, które mogą ułatwić Ci pracę. Na przykład, jak ustrukturyzować bazę wiedzy. Pisaliśmy o niektórych z nich i przedstawiliśmy kilka metod, które mogą ułatwić AI przyswajanie informacji i poprawić ich dokładność. Jedną z konkretnych sugestii jest podzielenie bazy wiedzy na modułowe części, zamiast mieć jeden duży artykuł z wieloma odpowiedziami.
Podczas konfigurowania API możesz uczynić je bardziej odpowiednimi dla systemu Agent i ustawić uprawnienia i dane wyjściowe w sposób, który ułatwi systemowi Agent pobieranie informacji bez konieczności wykonywania wielu obliczeń w celu znalezienia odpowiedzi. Są to pewne środki taktyczne, które można podjąć, ale nie powiedziałbym, że jest coś, co należy zrobić, aby korzystać z systemu Agent.
Derrick Harris: Dobra dokumentacja jest zawsze ważna, zasadniczo polega na skutecznym uporządkowaniu informacji.
Kimberly Tan: Wygląda na to, że jeśli próbujesz nauczyć ludzi, jak sterować systemem Agent, aby działał w sposób najlepiej odpowiadający ich klientom lub konkretnym przypadkom użycia, to może być konieczne przeprowadzenie wielu eksperymentów z projektowaniem interfejsu użytkownika i doświadczenia użytkownika lub wytyczanie nowych szlaków w tej zupełnie nowej dziedzinie, ponieważ bardzo różni się ona od tradycyjnego oprogramowania.
Ciekawi mnie, co o tym myślisz? Jak powinien wyglądać UI i UX w świecie Agent-first? Jak myślisz, jak zmieni się to w ciągu najbliższych kilku lat?
Jesse Zhang: Nie powiedziałbym, że rozwiązaliśmy ten problem. Myślę, że być może znaleźliśmy lokalne optimum, które działa dla naszych obecnych klientów, ale to wciąż trwający obszar badań, dla nas i wielu innych.
Główny problem wraca do tego, o czym wspomnieliśmy wcześniej, czyli do tego, że masz system Agent. Po pierwsze, jak możesz wyraźnie zobaczyć, co robi i jak podejmuje decyzje? Następnie, jak możesz użyć tych informacji, aby zdecydować, co należy zaktualizować i jakie informacje zwrotne należy przekazać AI? To tutaj łączą się elementy UI, szczególnie druga część.
Sądzimy, że z czasem interfejs użytkownika (UI) i doświadczenie użytkownika (UX) będą coraz bardziej oparte na języku naturalnym, ponieważ tak właśnie myśli system agentowy lub jest to w zasadzie podstawa szkolenia dużych modeli językowych (LLM).
W skrajnym przypadku, jeśli masz superinteligentnego agenta, który zasadniczo myśli jak człowiek, możesz mu pokazać rzeczy, wyjaśnić mu rzeczy, dać mu feedback, a on zaktualizuje się w swoim własnym „umyśle”. Możesz sobie wyobrazić, że masz bardzo zdolną osobę dołączającą do twojego zespołu, uczysz ją czegoś, ona zaczyna pracować, a potem ciągle dajesz jej feedback, możesz jej pokazać nowe rzeczy, nowe dokumenty, diagramy itp.
Myślę, że w skrajnym przypadku rozwinie się to w tym kierunku: rzeczy staną się bardziej konwersacyjne, bardziej oparte na języku naturalnym, a ludzie przestaną budować systemy ze złożonymi drzewami decyzyjnymi, jak kiedyś, przechwytując to, czego chcesz, ale to podejście może się łatwo załamać. Kiedyś musieliśmy to robić, ponieważ wtedy nie było LLM-ów, ale teraz, gdy systemy agentów stają się coraz potężniejsze, UI i UX staną się bardziej konwersacyjne.
Kimberly Tan: Około półtora roku temu, kiedy Decagon dopiero zaczynał, panowało ogólne przekonanie, że LLM jest bardzo przydatny w wielu przypadkach użycia, ale w rzeczywistości był po prostu pewnego rodzaju „opakowaniem GPT”, dzięki któremu firmy mogły po prostu wywołać model bazowy za pomocą interfejsu API i natychmiast rozwiązać swoje problemy z pomocą techniczną.
Ale oczywiście, gdy firmy decydują się na korzystanie z rozwiązań takich jak Decagon zamiast iść tą drogą bezpośrednio, okazuje się, że tak nie jest. Zastanawiałem się, czy mógłbyś wyjaśnić, dlaczego tak jest. Co dokładnie sprawiło, że wyzwania związane z budową wewnętrzną były bardziej złożone niż oczekiwano? Jakie błędne wyobrażenia mieli na temat tej koncepcji?
Jesse Zhang: Nie ma nic złego w byciu „GPT wrapperem”, można powiedzieć, że Purcell jest AWS wrapperem lub czymś w tym stylu. Zazwyczaj, gdy ludzie używają tego terminu, oznacza to coś pejoratywnego.
Moim zdaniem, jeśli budujesz system agentów, z definicji na pewno będziesz używać LLM jako narzędzia. Tak więc tak naprawdę budujesz na czymś, co już istnieje, tak jak normalnie budowałbyś na AWS lub GCP.
Ale prawdziwy problem, na jaki możesz natrafić, pojawia się, jeśli oprogramowanie, które tworzysz w oparciu o LLM, nie jest wystarczająco „ciężkie” lub skomplikowane, aby zrobić różnicę.
Patrząc wstecz, dla nas to, co sprzedajemy, to zasadniczo oprogramowanie. Jesteśmy właściwie jak zwykła firma programistyczna, z tym wyjątkiem, że używamy LLM jako części oprogramowania i jako jednego z narzędzi. Ale kiedy ludzie kupują tego rodzaju produkt, chcą głównie samego oprogramowania. Chcą narzędzi, które mogą monitorować AI, które mogą zagłębiać się w szczegóły każdej rozmowy AI, które mogą dawać informacje zwrotne, które mogą stale budować i dostosowywać system.
To jest sedno naszego oprogramowania. Nawet w przypadku samego systemu Agent problem, jaki mają ludzie, polega na tym, że fajnie jest zrobić demo, ale jeśli chcesz, aby było gotowe do produkcji i naprawdę zorientowane na klienta, musisz rozwiązać wiele długotrwałych problemów, takich jak zapobieganie zjawisku „złudzenia” i radzenie sobie ze złymi aktorami, którzy próbują siać spustoszenie. Musimy również upewnić się, że opóźnienie jest wystarczająco niskie, ton jest odpowiedni itd.
Rozmawialiśmy z wieloma zespołami, które przeprowadziły kilka eksperymentów, stworzyły wstępną wersję, a potem zdały sobie sprawę, że „Och, naprawdę, nie chcemy być tymi, którzy wciąż budują te szczegóły na późniejszych etapach”. Nie chcieli też być tymi, którzy wciąż dodają nową logikę do zespołu obsługi klienta. Więc w tym momencie wydaje się, że bardziej odpowiednie jest wybranie współpracy z innymi.
Kimberly Tan: Wspomniałeś o pewnych długoterminowych problemach, takich jak konieczność radzenia sobie ze złymi podmiotami itp.Wierzę, że wielu słuchaczy rozważających korzystanie z AI Agent martwi się o nowe ścieżki ataków bezpieczeństwa, które mogą pojawić się po wprowadzeniu LLM, lub o nowe zagrożenia bezpieczeństwa, które mogą pojawić się po wprowadzeniu systemu Agent. Co sądzisz o tych kwestiach? I jakie są najlepsze praktyki zapewniające najwyższy poziom bezpieczeństwa przedsiębiorstwa w przypadku Agent?
Jesse Zhang: Jeśli chodzi o bezpieczeństwo, istnieją pewne oczywiste środki, które można podjąć, o których wspomniałem wcześniej, takie jak konieczność podjęcia środków ochronnych. Kluczowym problemem jest to, że obawy ludzi dotyczące LLM są takie, że nie są one deterministyczne.
Ale dobrą wiadomością jest to, że możesz umieścić większość wrażliwych i złożonych operacji za deterministyczną ścianą, a obliczenia będą wykonywane tam, gdy wywoła API. Więc nie polegasz całkowicie na LLM, aby się tym zająć, a to pozwala uniknąć wielu podstawowych problemów.
Ale nadal zdarzają się sytuacje, w których na przykład ktoś zły ingeruje lub ktoś próbuje sprawić, że system będzie halucynował. Zaobserwowaliśmy, że u wielu głównych klientów, z którymi współpracujemy, ich zespoły ds. bezpieczeństwa wchodzą i zasadniczo wykonują test „czerwonego zespołu” na naszych produktach, spędzając tygodnie na ciągłym uruchamianiu różnych możliwych ataków na system, aby spróbować znaleźć luki w zabezpieczeniach. Wraz ze wzrostem popularności AI Agent możemy to obserwować coraz częściej, ponieważ jest to jeden z najlepszych sposobów sprawdzenia, czy system jest skuteczny. Polega na rzuceniu mu czegoś poprzez test czerwonego zespołu i sprawdzeniu, czy może przebić się przez obronę.
Istnieją również startupy, które opracowują narzędzia red team lub umożliwiają ludziom samodzielne przeprowadzanie tego typu testów, co jest trendem, który obserwujemy obecnie. Wiele firm, z którymi współpracujemy, na późniejszym etapie cyklu sprzedaży, będzie mieć swój zespół ds. bezpieczeństwa lub współpracować z zewnętrznym zespołem, który przeprowadzi testy obciążeniowe systemu. Dla nas, bycie w stanie przejść tego typu testy jest koniecznością. Więc ostatecznie, do tego to się sprowadza.
Derrick Harris: Czy zachęcasz swoich klientów do tego? Ponieważ kiedy mówimy o polityce AI, wspominamy o ważnym aspekcie, jakim jest warstwa aplikacji, i podkreślamy, że w odpowiedzialność na użytkowników LLM i osoby uruchamiające aplikację, zamiast po prostu obwiniać sam model. Innymi słowy, klienci powinni przeprowadzić testy red team, zidentyfikować konkretne przypadki użycia i ścieżki ataku oraz ustalić, które luki należy chronić, zamiast po prostu polegać na ochronie bezpieczeństwa już skonfigurowanej przez OpenAI lub inne firmy.
Jesse Zhang: Zgadzam się całkowicie. Myślę również, że może pojawić się nowa fala wymagań dotyczących powiadomień, podobnych do certyfikacji SOC 2 i certyfikacji HIPAA, które wszyscy teraz robią, a które są wymagane w różnych branżach. Zazwyczaj, gdy sprzedajesz ogólny produkt SaaS, klienci będą wymagać testów penetracyjnych, a my musimy również dostarczyć nasz raport z testów penetracyjnych. W przypadku AI Agent mogą pojawić się podobne wymagania w przyszłości i ktoś może je wymienić, ale jest to zasadniczo nowy sposób testowania, czy system Agent jest wystarczająco wydajny.
Kimberly Tan: Jedną z interesujących rzeczy jest to, że oczywiście wszyscy są bardzo podekscytowani nowymi przełomami w modelach i technologicznymi przełomami, które są wprowadzane przez wszystkie duże laboratoria. Jako firma AI, oczywiście nie prowadzisz własnych badań, ale wykorzystujesz te badania i budujesz wokół nich wiele oprogramowania, aby dostarczyć je klientowi końcowemu.
Ale twoja praca opiera się na szybko zmieniającej się technologii. Jestem ciekaw, jako firma zajmująca się stosowaną sztuczną inteligencją, jak nadążasz za nowymi zmianami technologicznymi i rozumiesz, jak wpływają one na firmę, jednocześnie będąc w stanie przewidzieć własną mapę drogową produktu i budować potrzeby użytkowników? A szerzej, jakie strategie powinny przyjąć firmy zajmujące się stosowaną sztuczną inteligencją w podobnych sytuacjach?
Jesse Zhang: Można podzielić cały stos na różne części. Na przykład LLM jest na dole, jeśli spojrzysz na warstwę aplikacji. Możesz mieć jakieś narzędzia pośrodku, które pomogą Ci zarządzać LLM lub wykonać jakąś ocenę i takie rzeczy. Następnie górna część to w zasadzie to, co zbudowaliśmy, co jest w zasadzie jak standardowy SaaS.
Więc większość naszej pracy właściwie nie różni się aż tak bardzo od zwykłego oprogramowania, poza tym, że mamy dodatkowy komponent badawczy – LLM zmienia się zbyt szybko. Musimy zbadać, co potrafią, w czym są dobrzy i jaki model powinien zostać użyty do wykonania określonego zadania. To duży problem, ponieważ zarówno OpenAI, jak i Anthropic wprowadzają nowe technologie, a Gemini również stopniowo się poprawia.
Dlatego, musisz mieć własny mechanizm oceny, aby zrozumieć, który model jest odpowiedni do użycia w danej sytuacji. Czasami musisz również dostroić, ale pytanie brzmi: kiedy dostroić? Kiedy dostrajanie jest opłacalne? To są prawdopodobnie główne problemy badawcze związane z LLM, na których się skupiamy. Ale przynajmniej na razie nie czujemy, że SaaS zmienia się szybko, ponieważ nie jesteśmy zależni od warstwy środkowej. Tak więc zasadniczo to LLM się zmieniają. Nie zmieniają się zbyt często, a gdy już, to zazwyczaj jest to aktualizacja. Na przykład Claude 3.5 sonet został zaktualizowany kilka miesięcy temu i wtedy pomyśleliśmy: „Okej, czy powinniśmy przejść na nowy model zamiast nadal używać starego?”
Musimy po prostu przeprowadzić serię ocen, a gdy już przejdziemy na nowy model, nie będziemy już o tym myśleć, ponieważ już używasz nowego modelu. Następnie pojawiła się wersja o1 i sytuacja była podobna. Pomyśl, gdzie można jej użyć. W naszym przypadku o1 jest trochę powolne w przypadku większości przypadków użycia skierowanych do klienta, więc możemy go użyć do pewnej pracy w tle. Ostatecznie potrzebujemy tylko dobrego systemu do badań modeli.
Kimberly Tan: Jak często dokonujesz oceny nowego modelu i podejmujesz decyzję o jego zastąpieniu?
Jesse Zhang: Oceniamy za każdym razem, gdy pojawia się nowy model. Musisz się upewnić, że nawet jeśli nowy model jest mądrzejszy, nie zepsuje niektórych przypadków użycia, które już zbudowałeś. To może się zdarzyć. Na przykład nowy model może być ogólnie mądrzejszy, ale w niektórych ekstremalnych przypadkach działa słabo w przypadku wyboru A/B w jednym z Twoich przepływów pracy. To właśnie oceniamy.
Myślę, że ogólnie rzecz biorąc, najbardziej zależy nam na tym, co nazwałbym „zdolnością do wykonywania instrukcji”. Chcemy, aby model stawał się coraz lepszy w wykonywaniu instrukcji. Jeśli tak jest, to jest to dla nas zdecydowanie korzystne, a to bardzo dobrze.
Wydaje się, że ostatnie badania skupiają się bardziej na typie inteligencji, który obejmuje rozumowanie, takie jak lepsze programowanie i lepsze operacje matematyczne. To również nam pomaga, ale nie jest tak ważne, jak poprawa instrukcji po zdolności.
Kimberly Tan: Wspomniałaś o jednej bardzo ciekawej kwestii, która moim zdaniem jest wyjątkowa dla Decagon. Otóż stworzyliście dużą wewnętrzną infrastrukturę ewaluacyjną, aby mieć pewność, że dokładnie wiecie, jak każdy model sprawdza się w zestawie dostarczanych przez was testów.
Czy możesz to rozwinąć? Jak ważna jest ta wewnętrzna infrastruktura oceny i w szczególności, w jaki sposób daje ona Tobie i Twoim klientom pewność co do wyników Agenta? Ponieważ niektóre z tych ocen są również skierowane do klientów.
Jesse Zhang: Myślę, że to bardzo ważne, bo bez tej infrastruktury ewaluacyjnej trudno byłoby nam szybko wprowadzać iteracje.
Jeśli uważasz, że każda zmiana ma duże prawdopodobieństwo zepsucia czegoś, to nie będziesz wprowadzał zmian szybko. Ale jeśli masz mechanizm oceny, to kiedy nastąpi poważna zmiana, aktualizacja modelu lub pojawi się coś nowego, możesz bezpośrednio porównać to ze wszystkimi testami oceny. Jeśli wyniki oceny są dobre, możesz poczuć: OK, dokonaliśmy ulepszenia, albo możesz je opublikować z pewnością siebie, nie martwiąc się zbytnio.
Więc w naszej dziedzinie, ocena wymaga wkładu klienta, ponieważ to klient decyduje, czy coś jest poprawne, czy nie. Oczywiście, możemy sprawdzić pewne kwestie wysokiego poziomu, ale zazwyczaj to klient przedstawia konkretne przypadki użycia i mówi nam, jaka jest prawidłowa odpowiedź lub jaka powinna być, jaki ton musi zachować, co musi powiedzieć.
Ocena opiera się na tym. Musimy więc upewnić się, że nasz system oceniania jest wystarczająco solidny. Na początku zbudowaliśmy go sami i nie jest tak trudno go utrzymać. Wiemy również, że istnieją pewne firmy oceniające i zbadaliśmy niektóre z nich. Być może w pewnym momencie rozważymy, czy je przyjąć, ale na razie system oceniania nie jest już dla nas problemem.
Kimberly Tan: Bardzo popularnym tematem jest dziś multimodalność, co oznacza, że agenci AI powinni być w stanie wchodzić w interakcje we wszystkich formach, z których korzystają obecnie ludzie, czy to tekst, wideo, głos itp. Wiem, że Decagon zaczynał jako oparty na tekście. Z Twojej perspektywy, jak ważne jest jest multimodalny do agentów AI? Jaki jest Twoim zdaniem czas, w którym stanie się to głównym nurtem lub nawet standardem?
Jesse Zhang: Ważne jest, a z perspektywy firmy dodanie nowej modalności nie jest szczególnie trudne. To nie jest proste, ale sedno jest takie: jeśli rozwiążesz inne problemy, takie jak te, o których wspomniałem – na przykład budując AI, monitorując ją i mając odpowiednią logikę – to dodanie nowej modalności nie jest najtrudniejszą rzeczą do zrobienia. Więc dla nas posiadanie wszystkich modalności ma wiele sensu i rozszerza nasz rynek. Jesteśmy zasadniczo agnostykami modalności i budujemy własnego Agenta dla każdej modalności.
Ogólnie rzecz biorąc, istnieją dwa czynniki ograniczające: po pierwsze, czy klient jest gotowy przyjąć nową modalność? Myślę, że ma sens zacząć od tekstu, ponieważ jest to sposób, w jaki ludzie przyjmują go najaktywniej, a jest on dla nich mniej ryzykowny, łatwiejszy do monitorowania i zrozumienia. Inną dużą modalnością jest głos. Oczywiście myślę, że na rynku jest jeszcze miejsce, a akceptacja głosu przez użytkowników nadal musi się poprawić. W tej chwili widzimy, że niektórzy wcześni użytkownicy zaczęli przyjmować Agentów głosowych, co jest bardzo ekscytujące. Innym aspektem są wyzwania techniczne. Większość ludzi zgodziłaby się, że poprzeczka jest ustawiona wyżej dla głosu. Jeśli rozmawiasz z kimś przez telefon, potrzebujesz bardzo krótkiego opóźnienia głosu. Jeśli przerywasz komuś, musi on odpowiedzieć naturalnie.
Ponieważ opóźnienie mowy jest niższe, musisz być bardziej sprytny w sposobie, w jaki kalkulujesz. Jeśli jesteś na czacie, a czas odpowiedzi wynosi od pięciu do ośmiu sekund, prawie tego nie zauważasz i wydaje się to bardzo naturalne. Ale jeśli odpowiedź przez telefon zajmuje od pięciu do ośmiu sekund, wydaje się to trochę nienaturalne. Tak więc jest więcej wyzwań technicznych związanych z mową. W miarę rozwiązywania tych wyzwań technicznych i wzrostu zainteresowania przyjęciem mowy na rynku, mowa jako nowa modalność stanie się głównym nurtem.
Model biznesowy, który przeskakuje zaufanie
Kimberly Tan: Zanim przejdziemy dalej, chciałabym trochę więcej opowiedzieć o modelu biznesowym AI Agent. Kiedy po raz pierwszy wybudowany Agent AI lub rozmawiał z klientami o systemie, którego używają, przetwarzanych przez nich danych i ich obawach, czy było coś, co Cię zaskoczyło? Jakie są niektóre z nieintuicyjnych lub zaskakujących rzeczy, które Decagon musiał zrobić, aby lepiej służyć klientom korporacyjnym?
Jesse Zhang: Myślę, że najbardziej zaskakujące było to, w jakim stopniu ludzie byli skłonni z nami rozmawiać, kiedy zaczynaliśmy. W końcu było nas tylko dwoje. Oboje wcześniej zakładaliśmy firmy, więc znaliśmy wiele osób, ale mimo to, dla każdego przedsiębiorcy, kiedy chcesz rozpocząć rozmowę polecającą, jeśli to, co mówisz, nie jest szczególnie przekonujące, rozmowa jest zazwyczaj dość letnia.
Ale kiedy zaczęliśmy rozmawiać o tym przypadku użycia, byłem zaskoczony, jak bardzo ludzie byli podekscytowani, żeby o tym mówić. Ponieważ pomysł wydaje się tak oczywisty. Możesz pomyśleć, że skoro jest to tak oczywisty pomysł, ktoś inny musiał już to zrobić, albo musi już istnieć rozwiązanie, albo ktoś inny musiał już wymyślić jakieś rozwiązanie. Ale myślę, że złapaliśmy dobry moment, ten przypadek użycia jest naprawdę duży i ludzie naprawdę się nim przejmują. Jak wspomniałem wcześniej, ten przypadek użycia jest naprawdę dobrze przystosowany do wzięcia AI Agent i wdrożenia go do produkcji, ponieważ można go wdrożyć stopniowo i śledzić zwrot z inwestycji.
To było dla mnie miłe zaskoczenie, ale oczywiście jest jeszcze dużo pracy do wykonania, trzeba pracować z klientami, trzeba budować produkt, trzeba wymyślić, w którą stronę iść. Na początku było to naprawdę zaskakujące odkrycie.
Derrick Harris: Kimberly, czuję, że powinienem wspomnieć o wpisie na blogu, który napisałaś, RIP dla RPA, który porusza wiele kwestii w zadania automatyzacyjne i startupy.Czy uważasz, że istnieje zjawisko, w którym te zautomatyzowane zadania lub rozwiązania nie są idealne, dlatego ludzie ciągle szukają lepszych rozwiązań?
Kimberly Tan: Tak, myślę, że tak. Chciałbym powiedzieć kilka rzeczy. Po pierwsze, jeśli pomysł jest oczywisty dla każdego, ale nie ma wyraźnej firmy, która mogłaby go rozwiązać, lub nikt nie wskazuje na firmę i nie mówi: „Powinieneś tego użyć”, to znaczy, że problem nie został faktycznie rozwiązany.
W pewnym sensie jest to całkowicie otwarta okazja dla firmy, aby opracować rozwiązanie. Ponieważ, jak powiedziałeś, od początku śledziliśmy Decagon jako inwestor. Obserwowaliśmy, jak poruszają się po kreatywnym labiryncie, a kiedy zdecydowali się pójść w tym kierunku i zaczęli rozmawiać z klientami, stało się jasne, że wszyscy klienci desperacko potrzebowali jakiegoś natywnego rozwiązania z obsługą AI. To jeden z problemów, o których wspomniałem wcześniej, gdzie wiele osób uważa, że to tylko opakowanie GPT. Jednak zainteresowanie klientów Decagon od samego początku uświadomiło nam na wczesnym etapie, że wiele z tych problemów jest znacznie bardziej skomplikowanych, niż ludzie się spodziewają.
Myślę, że to zjawisko występuje w różnych branżach, czy to w obsłudze klienta, czy w automatyzacji zawodowej w niektórych pionach. Myślę, że jednym z niedocenianych punktów jest, jak wspomniał wcześniej Jesse, możliwość jasnego zmierzenia zwrotu z inwestycji (ROI) w automatyzację zadań. Ponieważ jeśli chcesz, żeby ktoś zaakceptował agenta ze sztuczną inteligencją, tak naprawdę podejmuje on pewien rodzaj „skoku wiary”, ponieważ dla wielu osób jest to zupełnie nieznany obszar.
Jeśli uda Ci się zautomatyzować bardzo specyficzny proces, który jest oczywistym procesem generującym przychody lub procesem, który wcześniej stanowił wąskie gardło w firmie, lub dużym centrum kosztów, które rośnie liniowo wraz ze wzrostem liczby klientów lub przychodów, wówczas łatwiej będzie uzyskać akceptację dla agenta AI. Możliwość przekształcenia tego typu problemów w bardziej zindywidualizowany proces, który można skalować jak tradycyjne oprogramowanie, jest bardzo atrakcyjna.
Kimberly Tan: Mam ostatnie pytanie, zanim przejdziemy dalej. Pamiętam, że Jesse w naszych poprzednich dyskusjach zawsze mówił, że największym wyzwaniem dla firm wdrażających oprogramowanie lub agentów AI będą halucynacje. Ale kiedyś powiedziałeś mi, że tak naprawdę nie jest to główny problem. Czy możesz wyjaśnić, dlaczego postrzeganie halucynacji jest nieco mylące i co tak naprawdę bardziej niepokoi ludzi?
Jesse Zhang: Myślę, że ludzie przejmują się halucynacjami, ale bardziej interesują się wartością, jaką mogą one zapewnić. Prawie wszystkie firmy, z którymi współpracujemy, skupiają się na tych samych kilku kwestiach, niemal dokładnie takich samych: jaki procent rozmów możesz rozwiązać? Jak bardzo zadowoleni są moi klienci? Następnie problem halucynacji można zaklasyfikować jako trzecią kategorię, a mianowicie, jak bardzo jest dokładny. Ogólnie rzecz biorąc, pierwsze dwa czynniki są ważniejsze przy ocenie.
Załóżmy, że rozmawiasz z nową firmą i wykonałeś naprawdę dobrą robotę w przypadku dwóch pierwszych czynników, a także masz duże wsparcie ze strony kierownictwa i wszystkich członków zespołu. Mówią: „O mój Boże, nasze doświadczenie klienta jest inne. Każdy klient ma teraz swojego osobistego asystenta, który może się z nami skontaktować w dowolnym momencie. Udzieliliśmy im świetnych odpowiedzi, są bardzo zadowoleni, a usługa jest wielojęzyczna i dostępna 24/7”. To tylko część tego, a także zaoszczędziłeś dużo pieniędzy.
Więc gdy już osiągniesz te cele, otrzymasz dużo wsparcia i dużo wiatru w plecy, aby poprowadzić pracę. Oczywiście, problem złudzenia ostatecznie musi zostać rozwiązany, ale to nie jest to, o co najbardziej się martwią. Sposób rozwiązania złudzenia jest taki sam, o jakim wspomniałem wcześniej – ludzie będą cię testować. Może być faza dowodu koncepcji, w której faktycznie prowadzisz prawdziwe rozmowy, a członkowie zespołu monitorują i sprawdzają dokładność. Jeśli to pójdzie dobrze, to zazwyczaj przechodzi.
Ponadto, jak wspomniałem wcześniej, możesz ustanowić pewne ścisłe środki ochrony dla poufnych informacji, np. nie musisz koniecznie tworzyć poufnych treści ogólnych. Tak więc kwestia iluzji jest punktem dyskusji w większości transakcji. To nie jest nieistotny temat. Przejdziesz przez ten proces, ale nigdy nie jest on przedmiotem rozmowy.
Kimberly Tan: Przejdźmy teraz do modelu biznesowego AI Agent. Dzisiaj jest ważny temat, jak wyceniać tych AI Agentów.
Historycznie rzecz biorąc, wiele oprogramowań SaaS jest wycenianych według liczby stanowisk, ponieważ są to oprogramowania do obsługi przepływu pracy, które są skierowane do poszczególnych pracowników i służą do poprawy produktywności pracowników. Jednak AI Agent nie jest powiązany z produktywnością poszczególnych pracowników, jak tradycyjne oprogramowanie.
Tak wiele osób uważa, że metoda ustalania cen oparta na liczbie miejsc może nie mieć już zastosowania. Jestem ciekaw Jak myślałeś o tym dylemacie na początku i jak ostatecznie zdecydowałeś się ustalić cenę Decagon. A także, jaki Twoim zdaniem będzie przyszły trend cenowy oprogramowania, gdy AI Agent stanie się coraz bardziej powszechny?
Jesse Zhang: Naszym zdaniem w przeszłości oprogramowanie było wyceniane za liczbę stanowisk, ponieważ jego skala opierała się mniej więcej na liczbie osób, które mogły z niego korzystać. Ale dla większości agentów AI wartość, którą dostarczasz, nie zależy od liczby osób ją obsługujących, ale od ilości wyprodukowanej pracy. Jest to zgodne z punktem, o którym wspomniałem wcześniej: jeśli zwrot z inwestycji (ROI) jest bardzo mierzalny, to poziom wydajności pracy jest również bardzo jasny.
Naszym zdaniem, ustalanie cen na podstawie liczby miejsc zdecydowanie nie ma zastosowania. Możesz ustalać ceny na podstawie wyników pracy. Tak więc oferowany przez Ciebie model cenowy powinien być taki, że im więcej wykonanej pracy, tym więcej płacisz.
Dla nas istnieją dwa oczywiste sposoby ustalania cen. Można wyceniać rozmowy lub rozmowy, które AI faktycznie rozwiązuje. Myślę, że jedną z interesujących lekcji, jakie wyciągnęliśmy, jest to, że większość ludzi wybiera model wyceny rozmowy. Powodem jest to, że główną zaletą wyceny według rozwiązania jest to, że płacisz za to, co w Sztuczna inteligencja tak.
Ale pytanie, które następuje, brzmi, co jest uważane za „rozwiązanie”? Przede wszystkim, nikt nie chce wchodzić w to głębiej, ponieważ staje się to: „Jeśli ktoś przyjdzie wściekły i go odprawisz, dlaczego mamy za to płacić?”
Tworzy to niezręczną sytuację i sprawia, że zachęty dla dostawców AI są nieco dziwne, ponieważ rozliczanie według rozwiązania oznacza: „Musimy po prostu rozwiązać jak najwięcej rozmów i odepchnąć niektórych ludzi”. Ale jest wiele przypadków, w których lepiej jest eskalować problem, niż go po prostu odepchnąć, a klienci nie lubią takiego sposobu postępowania. Dlatego rozliczanie według rozmowy przyniesie więcej prostoty i przewidywalności.
Kimberly Tan: Jak długo Twoim zdaniem utrzyma się przyszły model cenowy?Ponieważ teraz, gdy wspominasz o ROI, zwykle opiera się to na wcześniejszych wydatkach, które mogły zostać wykorzystane na pokrycie kosztów pracy. W miarę jak agenci AI stają się coraz bardziej popularni, czy uważasz, że w dłuższej perspektywie AI będzie porównywana z kosztami pracy i że jest to odpowiedni punkt odniesienia? Jeśli nie, jak widzisz długoterminowe ceny poza kosztami pracy?
Jesse Zhang: Myślę, że w dłuższej perspektywie ceny agentów AI nadal będą w głównej mierze zależeć od kosztów pracy, ponieważ w tym tkwi piękno agentów – dotychczasowe wydatki na usługi można teraz przesunąć na oprogramowanie.
Ta część wydatków może być 10 do 100 razy większa od wydatków na oprogramowanie, więc duża część kosztów zostanie przeniesiona na oprogramowanie. Dlatego koszty pracy naturalnie staną się punktem odniesienia. Dla naszych klientów ROI jest bardzo jasne. Jeśli możesz zaoszczędzić X milionów na kosztach pracy, to ma sens przyjęcie tego rozwiązania. Ale w dłuższej perspektywie może to być rozwiązanie pośrednie.
Ponieważ nawet niektóre produkty, które nie są tak dobre jak nasz Agent, zaakceptują niższe ceny. To jest jak klasyczna sytuacja SaaS, gdzie wszyscy konkurują o udział w rynku.
Kimberly Tan: Jaką przyszłość Twoim zdaniem czeka obecne firmy SaaS, zwłaszcza te, których produkty nie zostały stworzone z myślą o sztucznej inteligencji lub których cena jest ustalana za stanowisko, przez co nie mogą dostosować się do modelu cenowego zorientowanego na wyniki?
Jesse Zhang: Dla niektórych tradycyjnych firm jest to rzeczywiście trochę trudne, jeśli próbują wprowadzić na rynek produkt AI Agent, ponieważ nie mogą ustalić jego ceny, korzystając z modelu miejsc. Jeśli nie potrzebujesz już tylu Agentów, trudno jest utrzymać przychody przy użyciu istniejącego produktu. To problem dla tradycyjnych firm, ale trudno powiedzieć. Tradycyjne firmy zawsze mają przewagę w postaci kanałów dystrybucji. Nawet jeśli produkt nie jest tak dobry, jak nowa firma, ludzie niechętnie poświęcają wysiłek, aby zaakceptować nowego dostawcę, który ma tylko 80% tej samej jakości.
Więc po pierwsze, jeśli jesteś startupem takim jak my, musisz upewnić się, że Twój produkt jest trzy razy lepszy od tradycyjnego produktu. Po drugie, jest to typowa konkurencja między tradycyjnymi firmami a startupami. Tradycyjne firmy naturalnie mają niższą tolerancję ryzyka, ponieważ mają dużą liczbę klientów. Jeśli popełnią błąd w szybkiej iteracji, spowoduje to ogromne straty. Jednak startupy mogą iterować szybciej, więc sam proces iteracji może prowadzić do lepszego produktu. To jest typowy cykl. My zawsze byliśmy dumni z naszej szybkości dostawy, jakości produktu i realizacji naszego zespołu. Dlatego wygraliśmy obecną umowę.
Kimberly Tan: Czy możesz przedstawić jakieś prognozy dotyczące przyszłości AI w miejscu pracy? Na przykład, jak zmieni potrzeby lub możliwości pracowników, lub jak pracownicy-ludzie i agenci AI wchodzą ze sobą w interakcje?Jakie nowe najlepsze praktyki lub normy Twoim zdaniem staną się normą w miejscu pracy, gdy agenci AI staną się bardziej popularni?
Jesse Zhang: Pierwszą i najważniejszą zmianą jest to, że jesteśmy przekonani, iż w przyszłości pracownicy będą spędzać znacznie więcej czasu w miejscu pracy, budując i zarządzając agentami AI, podobnie jak ma to miejsce w przypadku nadzorców AI. Nawet jeśli oficjalnie nie zajmujesz stanowiska „superwizora AI”, sporą część czasu, który wcześniej poświęcałeś na wykonywanie swoich obowiązków, będziesz poświęcał na zarządzanie agentami, ponieważ agenci mogą dać ci dużą władzę.
Widzieliśmy to w wielu wdrożeniach, w których osoby, które kiedyś były liderami zespołów, teraz spędzają dużo czasu na monitorowaniu AI, na przykład, aby upewnić się, że nie ma problemów lub aby dokonać korekt. Monitorują ogólną wydajność, aby sprawdzić, czy istnieją konkretne obszary, które wymagają uwagi, czy istnieją luki w bazie wiedzy, które mogłyby pomóc AI stać się lepszą, i czy AI może wypełnić te luki.
Praca związana z pracą z Agentem daje wrażenie, że w przyszłości pracownicy będą spędzać znaczną ilość czasu na interakcji z Agentami AI. To podstawowa koncepcja naszej firmy, jak wspomniałem wcześniej. Dlatego cały nasz produkt opiera się na dostarczaniu ludziom narzędzi, wizualizacji, możliwości interpretacji i kontroli. Myślę, że w ciągu roku stanie się to ogromnym trendem.
Kimberly Tan: To ma sens. Jakie umiejętności Twoim zdaniem będą potrzebować w przyszłości nadzorcy AI? Jaki jest zestaw umiejętności do tej roli?
Jesse Zhang: Są dwa aspekty. Jednym z nich jest obserwowalność i interpretowalność, zdolność do szybkiego zrozumienia, co robi AI i jak podejmuje decyzje. Drugim jest zdolność podejmowania decyzji lub część budowlana, jak dawać informacje zwrotne i jak budować nową logikę. Uważam, że są to dwie strony tej samej monety.
Kimberly Tan: Jakie zadania Twoim zdaniem pozostaną poza zasięgiem możliwości sztucznej inteligencji w perspektywie średnio- lub długoterminowej i nadal będą wymagały zarządzania nimi oraz prawidłowego wykonywania przez ludzi?
Jesse Zhang: Myślę, że będzie to zależeć głównie od wymogu „perfekcji”, o którym wspomniałem wcześniej. Istnieje wiele zadań, które mają bardzo niską tolerancję na błędy. W takich przypadkach każde narzędzie AI jest bardziej pomocą niż pełnoprawnym agentem.
Na przykład w niektórych bardziej wrażliwych branżach, takich jak opieka zdrowotna czy bezpieczeństwo, gdzie trzeba być niemal idealnym, w tych obszarach agenci AI mogą stać się mniej autonomiczni, ale to nie znaczy, że są bezużyteczni. Myślę, że styl będzie inny, na platformie takiej jak nasza, faktycznie wdrażasz tych agentów, aby pozwolić im zautomatyzować całą pracę.
Derrick Harris: I to wszystko w tym odcinku. Jeśli ten temat wydał Ci się interesujący lub inspirujący, oceń nasz podcast i podziel się nim z większą liczbą osób.Oczekujemy, że ostatni odcinek zostanie wydany przed końcem roku i przerobimy treść na nowy rok. Dziękujemy za słuchanie i życzymy wspaniałych świąt (jeśli słuchasz w czasie świąt).
Oryginalny film: Czy agenci Al mogą w końcu naprawić obsługę klienta??
