Акценти
- Магията на LLM е, че те са много гъвкави, могат да се адаптират към много различни ситуации и имат основен интелект.
- Вярваме, че с течение на времето UI и UX ще стават все по-базирани на естествен език, защото това е начинът, по който мисли една агентна система, или това е основно основата на обучението за големи езикови модели (LLM).
- Ако искате някой да приеме AI Agent, той всъщност приема известна степен на „скок на вярата“, защото за много хора това е много непозната област.
AI Agent променя потребителското изживяване
Джеси Джан: Как всъщност се изгражда агент? Нашето мнение е, че с течение на времето той ще става все повече и повече като агент, базиран на естествен език, защото така се обучават големите езикови модели (LLM).
В дългосрочен план, ако имате супер интелигентен агент, който всъщност е като човек, можете да му покажете неща, да му обясните, да му дадете обратна връзка и той ще актуализира информацията в ума си.
Можете да си представите, че имате много способен човешки член на екипа. Когато се присъединят за първи път, вие ги учите на нещо, те започват да работят и след това им давате обратна връзка и им показвате нова информация.
В крайна сметка ще се развие в тази посока – ще стане по-разговорен и по-основан на естествения език, а начинът, по който хората общуват помежду си, ще стане по-естествен. И хората вече няма да използват тези сложни дървета за вземане на решения за улавяне на изисквания, които могат да работят, но са склонни към колапс.
В миналото трябваше да правим това, защото нямахме голям езиков модел. Но сега, с непрекъснатия напредък на Agent, потребителското изживяване (UX) и потребителският интерфейс (UI) ще станат по-разговорни.
Дерик Харис: Здравейте всички, добре дошли в A16z AI Podcast. Аз съм Дерик Харис и днес към мен ще се присъединят Джеси Джан, съосновател и главен изпълнителен директор на Decagon, и Кимбърли Тан, партньор в a16z. Кимбърли ще модерира дискусията, а Джеси ще сподели своя опит в изграждането на Decagon и неговите продукти.
Ако не знаете много за него, Decagon е стартираща компания, която предоставя AI агенти на бизнеса, за да им помогне с поддръжката на клиенти. Тези агенти не са нито chatbots, нито LLM обвивки за едно извикване на API, а силно персонализирани разширени агенти, които могат да обработват сложни работни потоци въз основа на специфичните нужди на компанията.
В допълнение към обяснението защо са създали Decagon и как е проектиран да се справя с различни LLM и клиентски среди, Джеси също говори за предимствата на бизнес модел, който таксува на разговор, и как AI агентите ще променят уменията, изисквани от лидерите за поддръжка на клиенти.
Също така си струва да споменем, че Кимбърли наскоро написа публикация в блога, озаглавена „RIP към RPA, възходът на интелигентната автоматизация“, която обсъждаме накратко в този епизод.
Това е чудесна отправна точка за разбиране как автоматизацията се развива в бизнес процесите и ние ще предоставим връзка в бележките към предаването. И накрая, като напомняне, съдържанието на тази статия е само за информационни цели и не трябва да се счита за правен, бизнес, данъчен или инвестиционен съвет, нито трябва да се използва за оценка на каквато и да е инвестиция или сигурност и не е насочено към инвеститор във фонд a16z или потенциален инвеститор.
Джеси Джан: Кратко представяне на себе си. Роден съм и съм израснал в Боулдър и съм участвал в много математически състезания и други подобни като дете. Учих компютърни науки в Харвард и след това основах компания, която също беше подкрепена от a16z. В крайна сметка бяхме придобити от Niantic.
Тогава започнахме да строим Decagon. Нашият бизнес е изграждането на AI агенти за обслужване на клиенти. В началото правехме това, защото искахме да направим нещо, което ни е много на сърцето.
Разбира се, никой не трябва да бъде научен за ролята на AI агентите в обслужването на клиенти, нали? Всички сме говорили по телефона с авиокомпании, хотели и т.н. и сме чакали на изчакване. Така че идеята дойде от там.
Говорихме с много клиенти, за да разберем какъв точно продукт трябва да създадем. Едно нещо, което се открои за нас, беше, че когато научихме повече за агентите с изкуствен интелект, започнахме да мислим какво би било бъдещето, когато има много от тях. Мисля, че всички вярват, че в бъдеще ще има много AI агенти.
Това, за което мислим, е какво ще правят служителите, които работят около AI агенти? Какви инструменти ще имат? Как ще контролират или преглеждат агентите, с които работят или управляват?
Така че това е същността на начина, по който изградихме компанията около този въпрос. Мисля, че това е и това, което ни отличава в момента, защото предоставяме на тези AI агенти различни инструменти, за да помогнем на хората, с които работим, да изградят и конфигурират тези агенти, така че те вече да не са „черна кутия“. Така изграждаме нашата марка.
Дерик Харис: Какво ви вдъхнови, тъй като последната ви компания беше видео компания, насочена към потребителите, да преминете към корпоративен софтуер?
Джеси Джан: Страхотен въпрос. Мисля, че основателите често са „тематични агностици“, когато става въпрос за избор на тема, защото в действителност, когато се доближите до нова област, обикновено сте доста наивни. Така че има предимство да гледате на нещата от нова гледна точка. Така че, когато мислехме за това, нямаше почти никакви ограничения за темите.
Мисля, че това е много често срещан модел за хора с по-голям количествен опит, включително и аз. След като изпробвате потребителски продукти, сте склонни да гравитираш повече към корпоративен софтуер, защото корпоративният софтуер има по-конкретни проблеми.
Имате действителни клиенти с действителни нужди и бюджети и подобни неща и можете да оптимизирате и решавате проблеми за тях. Потребителският пазар също е много привлекателен, но се основава повече на интуиция, отколкото на експериментиране. Лично за мен корпоративният софтуер е по-подходящ.
Кимбърли Тан: Първо, можем да започнем с този въпрос: Кои са най-често срещаните категории поддръжка, с които Decagon работи днес? Можете ли да разкажете по-подробно как използвате големи езикови модели (LLM) за решаване на тези проблеми и какво можете да направите сега, което не сте могли да правите преди?
Джеси Джан: Ако погледнете назад към предишната автоматизация, може да сте използвали дървета на решения, за да направите нещо просто, за да определите кой път да поемете. Но всички сме използвали чатботове и това е доста разочароващо изживяване.
Често вашият въпрос не може да бъде напълно отговорен от дърво на решенията. Така че в крайна сметка сте насочени по пътя на въпроса, който е свързан с въпроса, но не съвпада точно с него. Сега имаме големи езикови модели (LLM). Магията на LLM е, че те са много гъвкави, могат да се адаптират към много различни ситуации и имат основен интелект.
Когато приложите това към поддръжката на клиенти или когато клиент зададе въпрос, можете да предоставите по-персонализирана услуга. Това е първата точка, нивото на персонализация е значително подобрено. Това отключва по-високи показатели. Можете да разрешите повече проблеми, клиентите са по-доволни и удовлетворението на клиентите се увеличава.
Следващата естествена стъпка е: ако имате тази интелигентност, трябва да можете да правите повече от нещата, които хората могат да правят. Нещата, които хората могат да направят, са да изтеглят данни в реално време, да предприемат действия и да разсъждават чрез множество стъпки. Ако клиент зададе сравнително сложен въпрос, може би „Искам да направя това и това“, а AI е готов да се справи само с първия въпрос. LLM е достатъчно умен, за да разбере, че тук има два въпроса. Първо ще реши първия проблем и след това ще ви помогне да разрешите втория проблем.
Преди LLM да се появи, това беше по същество невъзможно. Така че сега виждаме стъпка промяна в това, което технологията е способна да прави, и това е благодарение на LLM.
Кимбърли Тан: В този контекст, как бихте определили AI Agent? Тъй като думата „агент“ е широко използвана, любопитен съм какво всъщност означава в контекста на Decagon.
Джеси Джан: Бих казал, че Agent се отнася повече за система, в която множество LLM (модел на голям език) системи работят заедно. Имате извикване на LLM, което основно включва изпращане на подкана и получаване на отговор. За агент искате да можете да свързвате множество такива извиквания, може би дори рекурсивно.
Например, имате LLM повикване, което определя как да се справи със съобщението, и след това може да задейства други повиквания, които извличат повече данни, извършват действия и повтарят казаното от потребителя, може би дори задавайки последващи въпроси. Така че за нас агентът може да се разбира като мрежа от почти LLM повиквания, API повиквания или друга логика, които работят заедно, за да предоставят по-добро изживяване.
Кимбърли Тан: По тази тема може би можем да говорим повече за агентската инфраструктура, която всъщност сте изградили. Мисля, че един много интересен момент е, че има много демонстрации на AI агенти на пазара, но мисля, че има много малко примери за тях, които наистина могат да работят стабилно в производствена среда. И е трудно да разбереш отвън кое е истинско и кое не.
И така, според вас, кои аспекти на днешните AI агенти се справят добре и кои аспекти все още изискват технологични пробиви, за да станат по-здрави и надеждни?
Джеси Джан: Моят поглед всъщност е малко по-различен. Разликата между определянето дали AI Agent е просто демонстрация или „наистина работещ“ не се крие изцяло в стека от технологии, защото мисля, че повечето хора може да използват приблизително същата технология. Мисля, че след като сте отишли по-далеч в развитието на вашата компания, например нашата компания е създадена повече от година, вие ще създадете нещо много специфично, което отговаря на вашия случай на употреба.
Но в крайна сметка всеки може да има достъп до един и същ модел и да използва подобна технология. Мисля, че най-голямата разлика в това дали един AI агент може да работи ефективно всъщност се крие във формата на случая на употреба. Трудно е да разберете това в началото, но поглеждайки назад, ще откриете, че има два атрибута, които са много важни за един AI агент, за да надхвърли демонстрацията и да влезе в практическо приложение.
Първият е, че случаят на употреба, който решавате, трябва да има количествено измерима ROI (възвръщаемост на инвестицията). Това е много важно, защото ако възвръщаемостта на инвестициите не може да бъде количествено определена, ще бъде трудно да убедите хората действително да използват вашия продукт и да плащат за него. В нашия случай количественият показател е: какъв процент от заявките за поддръжка разрешавате? Тъй като това число е ясно, хората могат да го разберат – о, добре, ако разрешите повече, мога да сравня този резултат с текущите си разходи и изразходвано време. Така че, ако има този индикатор, друг индикатор, който е много важен за нас, е удовлетвореността на клиентите. Тъй като ROI може лесно да се определи количествено, хората наистина ще го възприемат.
Вторият фактор е, че случаите на използване трябва да бъдат постепенно по-трудни. Също така би било много трудно, ако имате нужда агент да бъде свръхчовек от самото начало, решавайки почти 100% от случаите на употреба. Тъй като, както знаем, LLM са недетерминирани, трябва да имате някакъв план за действие при извънредни ситуации. За щастие, има страхотна характеристика на случаите на използване на поддръжката и това е, че винаги можете да ескалирате до човек. Дори ако можете да разрешите само половината от проблемите, това все още е много ценно за хората.
Така че мисля, че поддръжката има тази характеристика, която я прави много подходяща за AI Agent. Мисля, че има много други области, където хората могат да създават впечатляващи демонстрации, където дори не е нужно да се вглеждате внимателно, за да разберете защо AI Agent би бил полезен. Но ако трябва да е перфектно от самото начало, тогава е много трудно. Ако случаят е такъв, почти никой няма да иска да го пробва или използва, защото последствията от неговото несъвършенство могат да бъдат много сериозни – например по отношение на сигурността.
Например, когато хората правят симулации, те винаги имат тази класическа мисъл: „О, би било чудесно, ако LLM можеше да прочете това.“ Но е трудно да си представим някой да каже: „Добре, AI Agent, давай. Вярвам, че можеш да го направиш.“ Защото ако направи грешка, последствията могат да бъдат много сериозни.
Джеси Джан: Това обикновено се решава от нашите клиенти и всъщност виждаме много широк диапазон от разлики. В една крайност, някои хора наистина правят техния агент да изглежда като човек, така че има човешки аватар, човешко име и отговорите са много естествени. От друга страна, Агентът просто заявява, че това е AI и го изяснява на потребителя. Мисля, че различните компании, с които работим, имат различни позиции по този въпрос.
Обикновено, ако сте в регулирана индустрия, трябва да изясните това. Това, което намирам за интересно сега, е, че поведението на клиентите се променя. Тъй като много от нашите клиенти получават много обратна връзка в социалните медии, като „О, Боже мой, това е първото изживяване в чата, което някога съм опитвал, което наистина се чувства толкова истинско“ или „Това е просто магия“. И това е страхотно за тях, защото сега техните клиенти се учат, хей, ако това е AI опит, той всъщност може да бъде по-добър от човек. Това не беше така в миналото, защото повечето от нас са имали такъв опит в обслужването на клиенти по телефона в миналото: „Добре, AI, AI, AI…“
Кимбърли Тан: Споменахте концепцията за персонализиране няколко пъти. Всеки използва една и съща основна технологична архитектура, но има различни нужди за персонализиране по отношение на услугите за поддръжка. можеш ли да говориш за това По-конкретно, как постигате персонализиране, така че хората да могат да кажат онлайн: „Боже мой, това е най-доброто преживяване за поддръжка, което някога съм имал“?
Джеси Джан: за нас, персонализирането идва от персонализиране за потребителя. Трябва да разберете основната информация на потребителя, което е необходимият допълнителен контекст. Второ, вие също трябва да разбирате бизнес логиката на нашите клиенти.Ако комбинирате двете, можете да осигурите доста добро изживяване.
Очевидно това звучи просто, но в действителност е много трудно да се получи целият необходим контекст. Следователно, по-голямата част от нашата работа е върху това как да изградим правилните примитивни компоненти, така че когато клиент внедри нашата система, да може лесно да реши: „Добре, това е бизнес логиката, която искаме.“ Например, първо трябва да направите тези четири стъпки и ако трета стъпка е неуспешна, трябва да преминете към пета стъпка.
Искате да можете да научите изкуствения интелект на това много лесно, но също така да му дадете достъп до информация като: „Това са данните за акаунта на потребителя. Ако имате нужда от повече информация, можете да се обадите на тези API.“ Тези слоеве са координационен слой върху модела и по някакъв начин правят агента наистина използваем.
Кимбърли Тан: Изглежда, че в този случай имате нужда от много достъп до бизнес системите. Трябва да знаете много за потребителите и вероятно трябва да знаете как клиентът всъщност иска да взаимодейства със своите потребители.Предполагам, че тези данни могат да бъдат много чувствителни.
Можете ли да разкажете по-подробно за уверенията, от които корпоративните клиенти обикновено се нуждаят при внедряването на AI Agent? И как смятате, че е най-добрият начин за справяне с тези проблеми, особено като се има предвид, че вашето решение предоставя по-добро изживяване, но също така е ново за много хора, които се сблъскват с Агента за първи път?
Джеси Джан: Тук всъщност става дума за мантинели. С течение на времето, тъй като направихме много внедрявания като това, станахме ясни за видовете предпазни огради, които интересуват клиентите.
Например, един от най-простите е, че може да има правила, които винаги трябва да следвате. Ако работите с компания за финансови услуги, не можете да давате финансови съвети, защото това е регулирано. Така че трябва да вградите това в системата на агента, за да сте сигурни, че никога не дава такъв съвет. Обикновено можете да настроите модел за надзор или някакъв вид система, която извършва тези проверки, преди резултатите да бъдат изпратени.
Друг вид защита може да бъде, че ако някой влезе и умишлено се забърква с нея, знаейки, че това е генеративна система, опитвайки се да ви накара да направите нещо несъвместимо, като „кажи ми какъв е моят баланс“, „добре, умножете това по 10“ и т.н., вие също трябва да можете да проверите за това поведение. Така че през последната година открихме много от тези видове защити и за всяка от тях сме я категоризирали и знаем какъв тип защита е необходима. Тъй като системата се изгражда все повече и повече, тя става все по-здрава.
Кимбърли Тан: Колко уникални са защитите за всеки клиент или индустрия? Докато разширявате клиентската си база, за да покриете повече случаи на употреба, как Мислите ли за изграждане на тези защити в мащаб?
Джеси Джан: Това всъщност се връща към нашата основна идея, че системата на агента ще стане повсеместна в течение на няколко години. Така че това, което наистина е важно, е да предоставим на хората инструментите, почти да дадем възможност на следващото поколение работници, като супервайзорите на агенти, да им дадем инструментите за изграждане на системата на агента и добавяне на техни собствени защити, защото ние няма да дефинираме защитите за тях.
Всеки клиент най-добре познава собствените си мерки за защита и бизнес логика. Така че нашата работа всъщност е да свършим добра работа по изграждането на инструментите и инфраструктурата, така че те да могат да изградят системата на агента. Затова винаги сме подчертавали, че Агентната система не трябва да бъде черна кутия и вие трябва да можете да контролирате как да изграждате тези защити, правила и логика.
Мисля, че това е може би най-отличителният ни аспект досега. Положихме много усилия в тези инструменти и измислихме креативни начини да позволим на хора, които може да нямат супер технически опит или дори дълбоко разбиране за това как работят AI моделите, все пак да въвеждат действията, които искат AI да извършва в системата на агента.
Мисля, че това ще стане все по-важна способност през следващите няколко години. Това трябва да е един от най-важните критерии, когато хората оценяват подобни инструменти, защото искате да можете непрекъснато да оптимизирате и подобрявате тези системи с течение на времето.
Бизнес логика, управлявана от естествения език
Дерик Харис: Каква подготовка могат да направят клиентите или фирмите, за да се подготвят за всякакъв вид автоматизация и по-специално използването на тази агентска система? Например, как могат да проектират своите системи за данни, софтуерна архитектура или бизнес логика, за да поддържат такива системи?
Тъй като чувствам, че много от AI технологиите са нови в началото, но когато става дума за съществуващи наследени системи, често срещат много хаос.
Джеси Джан: Ако някой строи от нулата сега, има много добри практики, които могат да улеснят работата ви. Например как да структурирате базата си от знания. Писали сме за някои от тях и сме въвели някои методи, които могат да улеснят AI да приема информация и да подобрят нейната точност. Едно конкретно предложение е базата от знания да се раздели на модулни части, вместо да има една голяма статия с множество отговори.
Когато настройвате API, можете да ги направите по-подходящи за системата на агента и да зададете разрешения и изход по начин, който улеснява системата на агента да приема информация, без да се налага да правите много изчисления, за да намерите отговора. Това са някои тактически мерки, които могат да се предприемат, но не бих казал, че има нещо, което трябва да се направи, за да се използва системата на агента.
Дерик Харис: Добрата документация винаги е важна, по същество става дума за ефективно организиране на информацията.
Кимбърли Тан: Звучи така, сякаш ако се опитате да научите хората как да насочват системата на агента да работи по начин, който най-добре отговаря на техните клиенти или специфични случаи на употреба, тогава може да са необходими много експерименти с UI и UX дизайна или трябва да прокарате нови пътеки в тази напълно нова област, защото е много различна от традиционния софтуер.
Любопитно ми е, как мислите за това? Как трябва да изглеждат UI и UX в един свят на първо място като агент? Как смятате, че ще се промени през следващите няколко години?
Джеси Джан: Не бих казал, че сме решили този проблем. Мисля, че може да сме намерили местен оптимум, който работи за настоящите ни клиенти, но това все още е продължаваща област на изследване за нас и много други.
Основният проблем се връща към това, което споменахме по-рано, което е, че имате агентска система. Първо, как можете ясно да видите какво прави и как взема решения? Тогава как можете да използвате тази информация, за да решите какво трябва да се актуализира и каква обратна връзка трябва да се даде на AI? Това е мястото, където елементите на потребителския интерфейс се събират, особено втората част.
Смятаме, че с течение на времето UI и UX ще стават все по-базирани на естествен език, защото така мисли системата на агента или това е основно основата за обучение на големи езикови модели (LLM).
В крайна сметка, ако имате суперинтелигентен агент, който основно мисли като човек, можете да му покажете неща, да му обясните нещата, да му дадете обратна връзка и той ще актуализира в собствения си „ум“. Можете да си представите, че един много способен човек се присъединява към вашия екип, вие го учите на нещо, той започва да работи и след това продължавате да му давате обратна връзка, можете да му показвате нови неща, нови документи, диаграми и т.н.
Мисля, че в краен случай ще се развие в тази посока: нещата стават по-разговорни, по-базирани на естествен език и хората спират да изграждат системи със сложни дървета на решенията, както преди, улавяйки това, което искате, но този подход може лесно да се развали. Преди трябваше да правим това, защото тогава нямаше LLMs, но сега, когато системите на агентите стават все по-мощни, UI и UX ще станат по-разговорни.
Кимбърли Тан: Преди около година и половина, когато Decagon стартира за първи път, имаше общо схващане, че LLM е много приложим за много случаи на употреба, но всъщност това беше просто някакъв вид „обвивка на GPT“, където компаниите можеха просто да извикат основен модел чрез API и незабавно да решат проблемите си с поддръжката.
Но очевидно, тъй като компаниите избират да използват решения като Decagon, вместо да вървят директно по този път, се оказва, че това не е така. Чудех се дали бихте могли да обясните защо е така. Какво точно направи предизвикателствата на вътрешното изграждане по-сложни от очакваното? Какви погрешни схващания са имали за концепцията?
Джеси Джан: Няма нищо лошо в това да сте „обвивка на GPT“, може да се каже, че Purcell е обвивка на AWS или нещо подобно. Обикновено, когато хората използват този термин, това означава нещо унизително.
Моето лично мнение е, че ако изграждате агентска система, по дефиниция определено ще използвате LLM като инструмент. Така че всъщност надграждате върху нещо, което вече съществува, точно както обикновено бихте надграждали върху AWS или GCP.
Но истинският проблем, с който можете да се сблъскате, е ако софтуерът, който изграждате върху LLM, не е достатъчно „тежък“ или сложен, за да има значение.
Поглеждайки назад, за нас това, което продаваме, е основно софтуер. Ние всъщност сме като обикновена софтуерна компания, с изключение на това, че използваме LLM като част от софтуера и като един от инструментите. Но когато хората купуват такъв продукт, те искат главно самия софтуер. Те искат инструменти, които могат да наблюдават AI, които могат да копаят дълбоко в детайлите на всеки разговор, който AI има, които могат да дават обратна връзка, които могат постоянно да изграждат и коригират системата.
Така че това е ядрото на нашия софтуер. Дори и със самата система на агента, проблемът, който хората имат, е, че е готино да се направи демонстрация, но ако искате да я направите готова за производство и наистина ориентирана към клиента, трябва да разрешите много дългогодишни проблеми, като предотвратяване на феномена „илюзия“ и справяне с лоши актьори, които се опитват да причинят хаос. Също така трябва да сме сигурни, че латентността е достатъчно ниска, тонът е подходящ и т.н.
Говорихме с много екипи и те направиха някои експерименти, създадоха предварителна версия и след това щяха да осъзнаят, „О, наистина, ние не искаме да сме тези, които продължават да изграждат тези детайли на по-късни етапи.“ Те също така не искаха да бъдат тези, които продължават да добавят нова логика към екипа за обслужване на клиенти. Така че на този етап изглежда по-подходящо да изберете да си сътрудничите с други.
Кимбърли Тан: Споменахте някои дългосрочни проблеми, като необходимостта да се справяте с лоши актьори и т.н.Вярвам, че много слушатели, обмислящи използването на AI Agent, се притесняват от новите пътища за атака на сигурността, които могат да възникнат след въвеждането на LLM, или от новите рискове за сигурността, които могат да възникнат след въвеждането на системата Agent. Какво мислите по тези въпроси? И какви са най-добрите практики за осигуряване на първокласна корпоративна сигурност при работа с агент?
Джеси Джан: По отношение на сигурността има някои очевидни мерки, които могат да бъдат предприети, които споменах по-рано, като необходимостта от защитни мерки. Основният проблем е, че притесненията на хората относно LLMs е, че те не са детерминистични.
Но добрата новина е, че всъщност можете да поставите повечето от чувствителните и сложни операции зад детерминирана стена и изчислението се случва там, когато извиква API. Така че не разчитате изцяло на LLM, за да се справите с него и това избягва много от основните проблеми.
Но все още има ситуации, в които, например, лош актьор се намесва или някой се опитва да накара системата да халюцинира. Забелязахме, че при много от големите клиенти, с които работим, техните екипи за сигурност ще влязат и основно ще извършат тест на „червен екип“ на нашите продукти, прекарвайки седмици в непрекъснато стартиране на различни възможни атаки срещу системата, за да се опитат да намерят уязвимости. Тъй като AI Agent става все по-популярен, може да видим това да се случва все по-често, защото това е един от най-добрите начини да тествате дали дадена система е ефективна. Това е да му хвърлите нещо чрез тест с червен отбор и да видите дали може да пробие защитите.
Има и стартиращи фирми, които разработват инструменти за червен екип или позволяват на хората сами да правят този вид тестове, което е тенденция, която наблюдаваме в момента. Много от компаниите, с които работим, на по-късен етап от цикъла на продажби ще имат свой екип по сигурността или ще работят с външен екип, стрес тест на системата. За нас, да можем да преминем тези видове тестове е задължително. Така че, в крайна сметка, това е, което се свежда до това.
Дерик Харис: Това ли е нещо, което насърчавате клиентите си да правят? Защото, когато говорим за политики за ИИ, ние споменаваме важен аспект, който е приложният слой, и наблягаме на поставянето на отговорност върху потребителите на LLM и хората, управляващи приложението, вместо просто да обвиняваме самия модел. С други думи, клиентите трябва да провеждат тестване на червени екипи, да идентифицират конкретни случаи на употреба и пътища за атака и да определят кои уязвимости трябва да бъдат защитени, вместо просто да разчитат на защитата за сигурност, която вече е създадена от OpenAI или други компании.
Джеси Джан: Съгласен съм напълно. Също така смятам, че може да се появи нова вълна от изисквания за уведомяване, подобно на сертифицирането SOC 2 и HIPAA, които всички правят сега, които се изискват в различни индустрии. Обикновено, когато продавате общ SaaS продукт, клиентите ще изискват тест за проникване и ние също трябва да предоставим нашия доклад за тест за проникване. За AI Agent може да има подобни изисквания в бъдеще и някой може да го назове, но това е основно нов начин да се тества дали системата на Agent е достатъчно мощна.
Кимбърли Тан: Едно нещо, което е интересно е, че очевидно всички са много развълнувани от новите пробиви в моделите и технологичните постижения, които се представят от всички големи лаборатории. Като компания с изкуствен интелект, вие очевидно не правите собствени изследвания, но използвате това изследване и изграждате много софтуер около него, за да го доставите на крайния клиент.
Но вашата работа се основава на бързо променяща се технология. Любопитно ми е, като компания с приложен изкуствен интелект, как се справяте с новите технологични промени и разбирате как те влияят на компанията, като същевременно можете да предскажете собствената си продуктова пътна карта и да изградите нуждите на потребителите? По-общо казано, какви стратегии трябва да приемат компаниите с приложен AI в подобни ситуации?
Джеси Джан: Всъщност можете да разделите целия стек на различни части. Например LLM е най-отдолу, ако погледнете слоя на приложението. Може да имате някои инструменти по средата, които ви помагат да управлявате LLM или да правите някаква оценка и подобни неща. Тогава горната част е основно това, което изградихме, което всъщност е като стандартен SaaS.
Така че по-голямата част от нашата работа всъщност не е толкова различна от обикновения софтуер, освен че имаме допълнителен изследователски компонент – LLM се променя твърде бързо. Трябва да проучим какво могат, в какво са добри и кой модел трябва да се използва за изпълнение на определена задача. Това е голям проблем, защото и OpenAI, и Anthropic стартират нови технологии, а Gemini също постепенно се подобрява.
следователно трябва да имате собствен механизъм за оценка, за да разберете кой модел е подходящ за използване в каква ситуация. Понякога също трябва да направите фина настройка, но въпросът е кога да направите фина настройка? Кога фината настройка си струва? Това вероятно са основните изследователски въпроси, свързани с LLM, върху които се фокусираме. Но поне досега не смятаме, че SaaS се променя бързо, защото не сме зависими от средното ниво. Така че основно LLMs са тези, които се променят. Те не се сменят много често и когато се променят, това обикновено е ъпгрейд. Например сонетът Claude 3.5 беше актуализиран преди няколко месеца и тогава си помислихме: „Добре, трябва ли да преминем към новия модел, вместо да продължим да използваме стария?“
Просто трябва да проведем поредица от оценки и след като преминем към новия модел, вече не мислим за това, защото вие вече използвате новия модел. След това излезе версията o1 и ситуацията беше подобна. Помислете къде може да се използва. В нашия случай o1 е малко бавен за повечето потребителски случаи, така че можем да го използваме за известна работа във фонов режим. В крайна сметка просто трябва да имаме добра система за изследване на модели.
Кимбърли Тан: Колко често оценявате нов модел и решавате дали да го замените?
Джеси Джан: Ние оценяваме всеки път, когато излезе нов модел. Трябва да се уверите, че въпреки че новият модел е по-интелигентен, той не нарушава някои от случаите на използване, които вече сте изградили. Това може да се случи. Например, новият модел може да е по-интелигентен като цяло, но в някои екстремни случаи се представя зле при A/B избор в един от вашите работни процеси. Това е, за което оценяваме.
Мисля, че като цяло типът интелигентност, за която се интересуваме най-много, е това, което бих нарекъл „способност за следване на инструкции“. Искаме моделът да става все по-добър при следване на инструкциите. Ако това е така, то определено е от полза за нас и това е много добре.
Изглежда, че последните изследвания са се фокусирали повече върху типа интелигентност, който включва разсъждение, като по-добро програмиране и по-добри математически операции. Това също ни помага, но не е толкова важно, колкото подобряването на способността за следване на инструкции.
Кимбърли Тан: Един много интересен момент, който споменахте, и мисля, че също е много уникален за Decagon, е, че сте изградили много вътрешна инфраструктура за оценка, за да сте сигурни, че знаете как точно се представя всеки модел при набора от тестове, които предоставяте.
Можете ли да разкажете по-подробно за това? Колко важна е тази вътрешна инфраструктура за оценка и по-специално как тя дава на вас и вашите клиенти доверие в работата на агента? Тъй като някои от тези оценки също са насочени към клиента.
Джеси Джан: Мисля, че е много важно, защото без тази инфраструктура за оценяване би ни било много трудно да повторим бързо.
Ако смятате, че всяка промяна има голяма вероятност да счупи нещо, тогава няма да направите промени бързо. Но ако имате механизъм за оценка, тогава, когато има голяма промяна, актуализация на модела или се появи нещо ново, можете директно да го сравните с всички тестове за оценка. Ако резултатите от оценката са добри, можете да почувствате: добре, направихме подобрение или можете да го пуснете с увереност, без да се тревожите твърде много.
И така, в нашата област, оценката изисква информация от клиента, защото клиентът е този, който решава дали нещо е правилно или не. Разбира се, можем да проверим някои проблеми на високо ниво, но обикновено клиентът предоставя конкретни случаи на употреба и ни казва какъв е правилният отговор или какъв трябва да бъде той, какъв тон трябва да поддържа, какво трябва да каже.
Оценката се основава на това. Така че трябва да сме сигурни, че нашата система за оценка е достатъчно стабилна. В началото го изградихме сами и не е толкова трудно да се поддържа. Знаем също, че има някои компании за оценка и проучихме някои от тях. Може би в един момент ще се замислим дали да ги приемем, но засега системата за оценяване вече не ни е болна точка.
Кимбърли Тан: Много популярна тема днес е мултимодалността, което означава, че AI агентите трябва да могат да взаимодействат във всички форми, които хората използват днес, независимо дали става дума за текст, видео, глас и т.н. Знам, че Decagon започна като базиран на текст. От твоя гледна точка, колко важно е мултимодалност на AI агенти? Какъв мислите, че е времевата рамка, за да стане мейнстрийм или дори стандарт?
Джеси Джан: Важно е и от гледна точка на компанията не е особено трудно да се добави нова модалност. Не е просто, но същността е: ако разрешите други проблеми, като тези, които споменах – например изграждането на AI, наблюдението му и правилната логика – тогава добавянето на нова модалност не е най-трудното нещо. Така че за нас наличието на всички модалности има много смисъл и разширява нашия пазар. Ние основно сме агностици на модалността и създаваме наш собствен агент за всяка модалност.
Най-общо казано, има два ограничаващи фактора: Първо, клиентът готов ли е да приеме новата модалност? Мисля, че има много смисъл да се започне с текст, защото това е начинът, по който хората възприемат най-активно и е по-малко рисковано за тях, по-лесно за наблюдение и по-лесно за разбиране. Другата голяма модалност е гласът. Очевидно мисля, че все още има място на пазара и приемането на глас от потребителите все още трябва да се подобри. В момента виждаме някои ранни осиновители, които са започнали да приемат гласови агенти, което е много вълнуващо. Другият аспект са техническите предизвикателства. Повечето хора биха се съгласили, че летвата е поставена по-високо за глас. Ако говорите с някого по телефона, имате нужда от много кратко гласово забавяне. Ако прекъснете някого, той трябва да отговори естествено.
Тъй като латентността на речта е по-ниска, трябва да сте по-умни в начина, по който изчислявате. Ако сте в чат и времето за отговор е пет до осем секунди, едва ли го забелязвате и се чувства много естествено. Но ако отговорът по телефона отнема пет до осем секунди, усещането е малко неестествено. Така че има повече технически предизвикателства с речта. С разрешаването на тези технически предизвикателства и нарастването на интереса към възприемане на речта на пазара, речта като нова модалност ще стане масова.
Бизнес модел, който надскача доверието
Кимбърли Тан: Преди да продължим, бих искала да говоря малко повече за бизнес модела на AI Agent. Когато за първи път построена AI Agent или обсъдихте с клиенти системата, която използват, данните, които обработват, и техните притеснения, имаше ли нещо, което ви изненада? Кои са някои от неинтуитивните или изненадващи неща, които Decagon трябваше да направи, за да обслужва по-добре корпоративните клиенти?
Джеси Джан: Мисля, че най-изненадващото нещо беше степента, в която хората бяха готови да говорят с нас, когато за първи път започнахме. Все пак бяхме само двама. И двамата бяхме основали компании преди, така че познавахме много хора, но дори и така, за всеки предприемач, когато искате да започнете разговор за препоръка, ако това, което казвате, не е особено завладяващо, разговорът обикновено е доста хладък.
Но когато започнахме да говорим за този случай на употреба, всъщност намерих за доста изненадващо колко развълнувани бяха хората да говорят за него. Защото идеята изглежда толкова очевидна. Може да си помислите, че след като това е толкова очевидна идея, някой друг трябва вече да го е направил или вече трябва да има решение, или някой друг трябва вече да е измислил някакво решение. Но мисля, че уловихме добър момент, този случай на използване е наистина голям и хората наистина се интересуват от него. Както споменах по-рано, този случай на използване е наистина много подходящ за вземане на AI Agent и пускането му в производство, защото можете да го внедрите постепенно и да можете да проследявате ROI.
Това беше приятна изненада за мен, но очевидно има много работа за вършене след това, трябва да работите с клиенти, трябва да изградите продукта, трябва да разберете кой път да поемете. В началната фаза това беше наистина изненадващо откритие.
Дерик Харис: Кимбърли, чувствам, че трябва да спомена публикацията в блога, която написахте, RIP към RPA, която засяга много на автоматизирани задачи и стартирания.Мислите ли, че има феномен, при който тези автоматизирани задачи или решения не са толкова идеални, така че хората винаги търсят по-добър начин?
Кимбърли Тан: Да, така мисля. Бих искал да кажа няколко неща. Първо, ако една идея е очевидна за всички, но няма ясна компания, която да я реши, или никой не посочва компания и казва: „Трябва да използвате това“, тогава това означава, че проблемът всъщност не е решен.
В известен смисъл това е напълно отворена възможност за една компания да разработи решение. Защото, както казахте, ние следваме Decagon като инвеститор от самото начало. Наблюдавахме ги как се движат в творческия лабиринт и когато решиха да тръгнат в тази посока и започнаха да говорят с клиентите, стана ясно, че всички клиенти отчаяно се нуждаят от някакво естествено решение с AI. Това е един от проблемите, които споменах по-рано, където много хора смятат, че е просто обвивка на GPT. Но интересът на клиентите, който Decagon получи от самото начало, ни накара да осъзнаем рано, че много от тези проблеми са много по-сложни, отколкото хората очакват.
Мисля, че това явление се случва във всички индустрии, независимо дали става въпрос за обслужване на клиенти или професионална автоматизация в определени вертикали. Мисля, че една от подценените точки е, както Джеси спомена по-рано, възможността за ясно измерване на възвръщаемостта на инвестицията (ROI) на автоматизираните задачи. Защото, ако искате да накарате някой да приеме AI агент, той всъщност приема известна степен на „скок на вярата“, защото това е много непозната територия за много хора.
Ако можете да автоматизирате много специфичен процес, който е или очевидно генериращ приходи процес, или процес, който преди е представлявал пречка в бизнеса, или основен разходен център, който се увеличава линейно с растежа на клиентите или растежа на приходите, тогава ще бъде по-лесно да получите приемане за AI Agent. Способността да се превърнат такива проблеми в по-продуктивен процес, който може да бъде мащабиран като традиционния софтуер, е много привлекателна.
Кимбърли Тан: Имам един последен въпрос, преди да продължим. Спомням си, че в предишните ни дискусии Джеси винаги казваше, че най-голямото предизвикателство за компаниите, които приемат софтуер или AI агенти, ще бъдат халюцинациите. Но веднъж ми казахте, че това всъщност не е основният проблем. Можете ли да обясните защо възприемането на халюцинациите е донякъде подвеждащо и за какво хората всъщност са по-загрижени?
Джеси Джан: Мисля, че хората се интересуват от халюцинациите, но са по-загрижени за стойността, която могат да осигурят. Почти всички компании, с които работим, се фокусират върху едни и същи няколко проблема, почти напълно еднакви: какъв процент от разговорите можете да разрешите? Колко доволни са клиентите ми? Тогава проблемът с халюцинациите може да се класифицира като трета категория, а именно колко е точен. Най-общо казано, първите два фактора са по-важни при оценката.
Да приемем, че говорите с нов бизнес и сте свършили наистина добра работа по първите два фактора и имате много подкрепа от ръководството и всички в екипа. Те казват: „О, Боже, нашият клиентски опит е различен. Всеки клиент вече има свой личен асистент, който може да се свърже с нас по всяко време. Дадохме им страхотни отговори, те са много доволни и е многоезично и на разположение 24/7.“ Това е само част от всичко, а освен това сте спестили много пари.
Така че след като постигнете тези цели, вие получавате много подкрепа и много попътен вятър, за да стимулирате работата. Разбира се, проблемът с илюзиите в крайна сметка трябва да бъде разрешен, но това не е нещото, за което те са най-загрижени. Начинът за разрешаване на илюзията е същият начин, който споменах преди – хората ще ви тестват. Може да има фаза на доказване на концепцията, при която всъщност провеждате реални разговори и те имат членове на екипа, които наблюдават и проверяват за точност. Ако това върви добре, тогава обикновено преминава.
Освен това, както споменах преди, можете да зададете някои строги мерки за защита на чувствителна информация, като например не е необходимо да правите чувствителното съдържание общо. Така че проблемът с илюзиите е предмет на обсъждане в повечето транзакции. Не е маловажна темата. Ще преминете през този процес, но той никога не е в центъра на разговора.
Кимбърли Тан: Сега да преминем към бизнес модела на AI Agent. Днес има голяма тема за това как да цените тези AI агенти.
В исторически план много SaaS софтуери се оценяват според броя на работните места, тъй като те са софтуер за работни процеси, насочен към отделни служители и се използва за подобряване на производителността на служителите. Въпреки това AI Agent не е свързан с производителността на отделните служители като традиционния софтуер.
Толкова много хора смятат, че методът на ценообразуване въз основа на броя места може вече да не е приложим. Любопитно ми е как мислихте за тази дилема в първите дни и как най-накрая решихте да цените Decagon. Също така, каква мислите, че ще бъде бъдещата тенденция на ценообразуването на софтуера, тъй като AI Agent става все по-често срещан?
Джеси Джан: Нашето мнение по този въпрос е, че в миналото софтуерът се определяше на цена за работно място, тъй като мащабът му се основаваше приблизително на броя хора, които можеха да използват софтуера. Но за повечето AI агенти стойността, която предоставяте, не зависи от броя на хората, които го поддържат, а по-скоро от количеството произведена работа. Това е в съответствие с точката, която споменах по-рано: ако възвръщаемостта на инвестицията (ROI) е много измерима, тогава нивото на работата също е много ясно.
Нашето мнение е, че ценообразуването по брой места определено не важи. Можете да цените въз основа на резултатите от работата. Така че моделът на ценообразуване, който предлагате, трябва да бъде, че колкото повече работа е свършена, толкова повече плащате.
За нас има два очевидни начина за ценообразуване. Можете или да цените разговорите, или можете да цените разговорите, които AI действително решава. Мисля, че един от интересните уроци, които научихме, е, че повечето хора са избрали модела на ценообразуване при разговор. Причината е, че основното предимство на ценообразуването по решение е, че плащате за какво на AI прави.
Но въпросът, който следва, е какво се счита за „решение“? Първо, никой не иска да навлиза в това в дълбочина, защото става: „Ако някой дойде ядосан и вие го отпратите, защо трябва да плащаме за това?“
Това създава неудобна ситуация и също така прави стимулите за доставчиците на AI малко странни, защото таксуването чрез решение означава: „Просто трябва да разрешим възможно най-много разговори и да отблъснем някои хора.“ Но има много случаи, в които е по-добре проблемът да ескалира, отколкото просто да се отблъсне, а клиентите не харесват този вид обработка. Следователно таксуването чрез разговор ще донесе повече простота и предвидимост.
Кимбърли Тан: Колко дълго смятате, че ще продължи бъдещият модел на ценообразуване?Защото точно сега, когато споменавате ROI, това обикновено се основава на минали разходи, които може да са били използвани за покриване на разходите за труд. Тъй като AI агентите стават все по-често срещани, смятате ли, че в дългосрочен план AI ще бъде сравнен с разходите за труд и че това е подходящ показател? Ако не, как виждате дългосрочното ценообразуване извън разходите за труд?
Джеси Джан: Мисля, че в дългосрочен план ценообразуването на AI Agent все още може да бъде свързано предимно с разходите за труд, защото това е красотата на Agent – вашите предишни разходи за услуги сега могат да бъдат прехвърлени към софтуер.
Тази част от разходите може да бъде 10 до 100 пъти по-голяма от разходите за софтуер, така че голяма част от разходите ще се прехвърлят към софтуера. Следователно разходите за труд естествено ще се превърнат в еталон. За нашите клиенти ROI е много ясна. Ако можете да спестите X милиона от разходи за труд, тогава има смисъл да приемете това решение. Но в дългосрочен план това може да е по средата.
Защото дори някои продукти, които не са толкова добри, колкото нашият агент, ще приемат по-ниски цени. Това е като класическата SaaS ситуация, където всеки се състезава за пазарен дял.
Кимбърли Тан: Какво мислите, че бъдещето крие настоящите SaaS компании, особено тези, чиито продукти може да не са създадени за AI или които са с цена на работно място и следователно не могат да се адаптират към модел на ценообразуване, ориентиран към резултатите?
Джеси Джан: За някои традиционни компании наистина е малко трудно, ако се опитат да пуснат продукт на AI Agent, защото не могат да го определят като цена, използвайки модел седалка. Ако вече не се нуждаете от толкова много агенти, е трудно да поддържате приходи със съществуващия продукт. Това е проблем за традиционните компании, но е трудно да се каже. Традиционните компании винаги имат предимството на каналите за дистрибуция. Дори ако продуктът не е толкова добър, колкото новата компания, хората не са склонни да положат усилия да приемат нов доставчик само с 80% качество.
Така че, първо, ако сте стартираща компания като нас, трябва да сте сигурни, че вашият продукт е три пъти по-добър от традиционния продукт. Второ, това е типична конкуренция между традиционни компании и стартиращи компании. Традиционните компании естествено имат по-нисък толеранс към риска, тъй като имат голям брой клиенти. Ако направят грешка при бърза итерация, това ще причини огромни загуби. Стартиращите фирми обаче могат да итерират по-бързо, така че самият процес на итерация може да доведе до по-добър продукт. Това е обичайният цикъл. За нас ние винаги сме се гордели с нашата бързина на доставка, качеството на продуктите и изпълнението на нашия екип. Ето защо спечелихме настоящата сделка.
Кимбърли Тан: Можете ли да направите някои прогнози за бъдещето на ИИ на работното място? Например, как ще промени нуждите или възможностите на служителите, или как си взаимодействат човешките служители и AI агентите?Какви нови най-добри практики или норми смятате, че ще станат норма на работното място, тъй като AI агентите стават все по-разпространени?
Джеси Джан: Първата и най-важна промяна е, че сме убедени, че в бъдеще служителите ще прекарват много повече време на работното място в изграждането и управлението на AI агенти, подобно на ролята на супервайзорите на AI. Дори ако позицията ви официално не е „надзирател с изкуствен интелект“, голяма част от времето, което сте прекарвали в работата си, ще бъде пренасочено към управлението на тези агенти, защото агентите могат да ви дадат голямо влияние.
Виждали сме това при много внедрявания, при които хора, които някога са били ръководители на екипи, сега прекарват много време в наблюдение на AI, например, за да се уверят, че няма проблеми или да направят корекции. Те наблюдават цялостното представяне, за да видят дали има конкретни области, които се нуждаят от внимание, дали има пропуски в базата от знания, които биха могли да помогнат на AI да стане по-добър и дали AI може да запълни тези пропуски.
Работата, която идва с работата с агент, създава впечатлението, че в бъдеще служителите ще прекарват значително време във взаимодействие с AI агенти. Това е основна концепция на нашата компания, както споменах по-рано. Следователно целият ни продукт е изграден около предоставянето на инструменти, визуализация, интерпретируемост и контрол на хората. Мисля, че до една година това ще се превърне в огромна тенденция.
Кимбърли Тан: Това има много смисъл. От какви способности смятате, че ще се нуждаят супервайзорите с ИИ в бъдеще? Какъв е наборът от умения за тази роля?
Джеси Джан: Има два аспекта. Едната е наблюдаемостта и интерпретируемостта, способността бързо да се разбере какво прави AI и как взема решения. Другото е способността за вземане на решения или строителната част, как да дадете обратна връзка и как да изградите нова логика. Мисля, че тези двете са двете страни на една и съща монета.
Кимбърли Тан: Какви задачи смятате, че ще останат извън възможностите на AI агента в средносрочен или дългосрочен план и все пак ще трябва да бъдат управлявани и изпълнявани правилно от хората?
Джеси Джан: Мисля, че ще зависи главно от изискването за „съвършенство“, което споменах по-рано. Има много задачи, които имат много ниска толерантност към грешки. В тези случаи всеки AI инструмент е по-скоро помощно средство, отколкото пълноценен агент.
Например, в някои по-чувствителни индустрии, като здравеопазване или сигурност, където трябва да сте почти перфектни, тогава в тези области AI агентите може да станат по-малко автономни, но това не означава, че са безполезни. Мисля, че стилът ще бъде различен, в платформа като нашата вие всъщност разполагате тези агенти, за да им позволите да автоматизират цялата работа.
Дерик Харис: И това е всичко за този епизод. Ако сте намерили тази тема за интересна или вдъхновяваща, моля, оценете нашия подкаст и го споделете с повече хора.Очакваме да пуснем последния епизод преди края на годината и ще преработим съдържанието за новата година. Благодаря, че ме изслушахте и пожелавам страхотен празничен сезон (ако слушате по време на празниците).
Оригинално видео: Могат ли агентите най-накрая да поправят поддръжката на клиенти?
