Основные моменты
- Волшебство магистров права в том, что они очень гибкие, могут адаптироваться к самым разным ситуациям и обладают базовым интеллектом.
- Мы считаем, что со временем пользовательский интерфейс и взаимодействие с пользователем будут все больше и больше основываться на естественном языке, поскольку именно так мыслит агентская система, или это, по сути, основа обучения для больших языковых моделей (LLM).
- Если вы хотите, чтобы кто-то принял роль ИИ-агента, то на самом деле он совершает своего рода «прыжок веры», поскольку для многих людей это совершенно незнакомая область.
AI Agent меняет подход к клиентам
Джесси Чжан: Как на самом деле устроен Агент? Мы считаем, что со временем он будет все больше походить на Агента на основе естественного языка, поскольку именно так обучаются большие языковые модели (LLM).
В долгосрочной перспективе, если у вас есть сверхразумный агент, который на самом деле похож на человека, вы можете показывать ему вещи, объяснять ему, давать ему обратную связь, и он будет обновлять информацию в своем сознании.
Представьте себе очень способного члена команды. Когда они впервые присоединяются, вы обучаете их чему-то, они начинают работать, а затем вы даете им обратную связь и показываете им новую информацию.
В конце концов, он будет развиваться в этом направлении – он станет более разговорным и более основанным на естественном языке, и способ общения людей друг с другом станет более естественным. И люди больше не будут использовать эти сложные деревья решений для фиксации требований, которые могут работать, но склонны к краху.
Раньше нам приходилось это делать, потому что у нас не было большой языковой модели. Но теперь, с постоянным прогрессом Agent, пользовательский опыт (UX) и пользовательский интерфейс (UI) станут более разговорными.
Деррик Харрис: Всем привет, добро пожаловать на подкаст A16z AI. Меня зовут Деррик Харрис, и сегодня ко мне присоединятся Джесси Чжан, соучредитель и генеральный директор Decagon, и Кимберли Тан, партнер в a16z. Кимберли будет модерировать дискуссию, а Джесси поделится своим опытом создания Decagon и его продуктов.
Если вы не знаете многого об этом, Decagon — это стартап, который предоставляет компаниям агентов ИИ для поддержки клиентов. Эти агенты не являются ни чат-ботами, ни оболочками LLM для одного вызова API, а высоконастраиваемыми продвинутыми агентами, которые могут обрабатывать сложные рабочие процессы на основе конкретных потребностей компании.
Джесси не только объясняет, почему была создана компания Decagon и как она спроектирована для работы с различными средами LLM и клиентов, но и рассказывает о преимуществах бизнес-модели, в которой оплата производится за каждый разговор, а также о том, как агенты ИИ изменят навыки, необходимые руководителям службы поддержки клиентов.
Стоит также упомянуть, что Кимберли недавно написала пост в блоге под названием «Покойся с миром, RPA. Расцвет интеллектуальной автоматизации», который мы кратко обсудим в этом эпизоде.
Это отличная отправная точка для понимания того, как автоматизация набирает обороты в бизнес-процессах, и мы предоставим ссылку в заметках к шоу. И наконец, напоминаем, что содержание этой статьи предназначено только для информационных целей и не должно рассматриваться как юридический, деловой, налоговый или инвестиционный совет, а также не должно использоваться для оценки каких-либо инвестиций или безопасности и не направлено ни на одного инвестора фонда a16z или потенциального инвестора.
Джесси Чжан: Краткое знакомство со мной. Я родился и вырос в Боулдере, и в детстве я участвовал во многих математических соревнованиях и тому подобном. Я изучал информатику в Гарварде, а затем основал компанию, которую также поддерживала a16z. В конце концов нас приобрела Niantic.
Затем мы начали строить Decagon. Наш бизнес — это создание агентов ИИ для обслуживания клиентов. Вначале мы делали это, потому что хотели сделать что-то, что было очень близко нашему сердцу.
Конечно, никого не нужно учить роли агентов ИИ в обслуживании клиентов, верно? Мы все звонили по телефону авиакомпаниям, отелям и т. д. и ждали на линии. Так что идея пришла оттуда.
Мы общались со многими клиентами, чтобы выяснить, какой именно продукт нам следует создать. Для нас было особенно важно то, что, узнав больше об агентах ИИ, мы начали думать о том, каким будет будущее, когда их будет много. Я думаю, все верят, что в будущем будет много агентов ИИ.
Мы думаем о том, что будут делать сотрудники, работающие с агентами ИИ? Какие инструменты у них будут? Как они будут контролировать или просматривать агентов, с которыми они работают или которыми управляют?
Итак, это ядро того, как мы построили компанию вокруг этого вопроса. Я думаю, это также то, что отличает нас сейчас, потому что мы предоставляем этим агентам ИИ различные инструменты, чтобы помочь людям, с которыми мы работаем, создавать и настраивать этих агентов, чтобы они больше не были «черным ящиком». Так мы строим наш бренд.
Деррик Харрис: Что вдохновило вас на переход к корпоративному программному обеспечению, учитывая, что ваша предыдущая компания занималась видеоконтентом для потребителей?
Джесси Чжан: Отличный вопрос. Я думаю, основатели часто бывают «тематически агностиками», когда дело доходит до выбора темы, потому что на самом деле, когда вы подходите к новой области, вы обычно довольно наивны. Так что есть преимущество в том, чтобы смотреть на вещи с новой точки зрения. Поэтому, когда мы думали об этом, ограничений по темам почти не было.
Я думаю, что это очень распространенная модель для людей с более количественным бэкграундом, включая меня. Попробовав потребительские продукты, вы, как правило, больше тяготеете к корпоративному программному обеспечению, потому что корпоративное программное обеспечение имеет более конкретные проблемы.
У вас есть реальные клиенты с реальными потребностями и бюджетами и тому подобным, и вы можете оптимизировать и решать проблемы для них. Потребительский рынок также очень привлекателен, но он больше основан на интуиции, чем на экспериментах. Лично для меня корпоративное программное обеспечение подходит лучше.
Кимберли Тан: Во-первых, мы можем начать с этого вопроса: Каковы наиболее распространенные категории поддержки, с которыми сегодня имеет дело Decagon? Можете ли вы подробнее рассказать, как вы используете большие языковые модели (LLM) для решения этих проблем и что вы можете делать сейчас, чего не могли делать раньше?
Джесси Чжан: Если вы посмотрите на предыдущую автоматизацию, вы могли использовать деревья решений, чтобы сделать что-то простое, чтобы определить, какой путь выбрать. Но мы все использовали чат-ботов, и это довольно разочаровывающий опыт.
Часто на ваш вопрос нельзя полностью ответить с помощью дерева решений. Поэтому вы в конечном итоге направляетесь по пути вопроса, который связан с вопросом, но не совсем соответствует ему. Теперь у нас есть большие языковые модели (LLM). Волшебство LLM в том, что они очень гибкие, могут адаптироваться к множеству различных ситуаций и обладают базовым интеллектом.
Когда вы применяете это к поддержке клиентов или когда клиент задает вопрос, вы можете предоставить более персонализированный сервис. Это первый момент, уровень персонализации значительно повысился. Это открывает более высокие показатели. Вы можете решить больше проблем, клиенты более удовлетворены, и удовлетворенность клиентов повышается.
Следующий естественный шаг: если у вас есть этот интеллект, вы должны быть в состоянии делать больше того, что могут делать люди. То, что могут делать люди, это то, что они могут извлекать данные в режиме реального времени, они могут предпринимать действия и могут рассуждать через несколько шагов. Если клиент задает относительно сложный вопрос, например, «Я хочу сделать то-то и то-то», и ИИ готов справиться только с первым вопросом. LLM достаточно умен, чтобы распознать, что здесь есть два вопроса. Сначала он решит первую проблему, а затем поможет вам решить вторую проблему.
До появления LLM это было в принципе невозможно. Поэтому сейчас мы наблюдаем качественное изменение в том, на что способна технология, и это благодаря LLM.
Кимберли Тан: В этом контексте, как бы вы определили агента ИИ? Поскольку слово «агент» широко используется, мне интересно, что оно на самом деле означает в контексте Decagon.
Джесси Чжан: Я бы сказал, что Агент относится скорее к системе, где несколько систем LLM (большая языковая модель) работают вместе. У вас есть вызов LLM, который в основном включает отправку подсказки и получение ответа. Для Агента вы хотите иметь возможность подключать несколько таких вызовов, возможно, даже рекурсивно.
Например, у вас есть вызов LLM, который определяет, как обрабатывать сообщение, а затем он может инициировать другие вызовы, которые извлекают больше данных, выполняют действия и повторяют то, что сказал пользователь, возможно, даже задавая дополнительные вопросы. Поэтому для нас агент может пониматься как сеть почти вызовов LLM, вызовов API или другой логики, которые работают вместе, чтобы обеспечить лучший опыт.
Кимберли Тан: По этой теме, возможно, мы можем поговорить больше об инфраструктуре агентов, которую вы фактически построили. Я думаю, что один очень интересный момент заключается в том, что на рынке есть много демонстраций агентов ИИ, но я думаю, что очень мало примеров, которые могут действительно стабильно работать в производственной среде. И трудно узнать со стороны, что реально, а что нет.
По вашему мнению, какие аспекты современных агентов ИИ работают хорошо, а какие еще требуют технологических прорывов, чтобы сделать их более надежными и прочными?
Джесси Чжан: Моя точка зрения на самом деле немного отличается. Разница между определением того, является ли AI Agent просто демонстрацией или «действительно работающим», не полностью зависит от стека технологий, потому что я думаю, что большинство людей могут использовать примерно одну и ту же технологию. Я думаю, что как только вы продвинетесь в развитии своей компании, например, наша компания существует уже больше года, вы создадите что-то очень конкретное, что соответствует вашему варианту использования.
Но в конечном итоге каждый может получить доступ к одной и той же модели и использовать схожие технологии. Я думаю, что самым главным фактором, определяющим эффективность работы ИИ-агента, на самом деле является форма варианта использования. Поначалу это трудно осознать, но, оглядываясь назад, вы обнаружите, что есть два атрибута, которые очень важны для того, чтобы ИИ-агент вышел за рамки демонстрации и приступил к практическому применению.
Во-первых, решаемый вами вариант использования должен иметь измеримую рентабельность инвестиций (ROI). Это очень важно, потому что если ROI нельзя количественно оценить, будет сложно убедить людей действительно использовать ваш продукт и платить за него. В нашем случае количественный показатель: какой процент запросов на поддержку вы решаете? Поскольку эта цифра ясна, люди могут ее понять — о, хорошо, если вы решите больше, я смогу сравнить этот результат с моими текущими расходами и потраченным временем. Так что, если есть этот показатель, еще один показатель, который очень важен для нас, — это удовлетворенность клиентов. Поскольку ROI можно легко количественно оценить, люди действительно примут ее.
Вторым фактором является то, что варианты использования должны постепенно усложняться. Также было бы очень сложно, если бы вам нужен был агент, который был бы сверхчеловеком с самого начала, решая почти 100% вариантов использования. Поскольку, как мы знаем, LLM недетерминированы, у вас должен быть какой-то план действий на случай непредвиденных обстоятельств. К счастью, у вариантов использования поддержки есть замечательная особенность, и она заключается в том, что вы всегда можете обратиться к человеку. Даже если вы можете решить только половину проблем, это все равно очень ценно для людей.
Поэтому я думаю, что поддержка имеет эту характеристику, которая делает ее очень подходящей для AI Agent. Я думаю, что есть много других областей, где люди могут создавать впечатляющие демонстрации, где вам даже не нужно пристально смотреть, чтобы понять, почему AI Agent будет полезен. Но если он должен быть идеальным с самого начала, то это очень сложно. Если это так, то почти никто не захочет пробовать или использовать его, потому что последствия его несовершенства могут быть очень серьезными — например, с точки зрения безопасности.
Например, когда люди занимаются симуляциями, у них всегда возникает классическая мысль: «О, было бы здорово, если бы LLM мог это прочитать». Но трудно представить, чтобы кто-то сказал: «Ладно, AI Agent, действуй. Я верю, что ты сможешь это сделать». Потому что если он допустит ошибку, последствия могут быть очень серьезными.
Джесси Чжан: Обычно это решают наши клиенты, и на самом деле мы видим очень широкий спектр различий. С одной стороны, некоторые люди действительно делают своего Агента похожим на человека, поэтому есть человеческий аватар, человеческое имя, и ответы очень естественны. С другой стороны, Агент просто заявляет, что он ИИ, и дает это понять пользователю. Я думаю, что разные компании, с которыми мы работаем, имеют разные позиции по этому вопросу.
Обычно, если вы работаете в регулируемой отрасли, вам нужно это четко обозначить. Сейчас мне интересно, что поведение клиентов меняется. Потому что многие из наших клиентов получают много отзывов в социальных сетях, например: «О Боже, это первый опыт чата, который я когда-либо пробовал, который действительно кажется таким реальным» или «Это просто магия». И это здорово для них, потому что теперь их клиенты узнают, эй, если это опыт ИИ, он действительно может быть лучше, чем человек. Раньше так не было, потому что у большинства из нас был такой опыт телефонного обслуживания клиентов в прошлом: «Ладно, ИИ, ИИ, ИИ…»
Кимберли Тан: Вы несколько раз упомянули концепцию персонализации. Все используют одну и ту же базовую технологическую архитектуру, но у них разные потребности в персонализации с точки зрения служб поддержки. Можете ли вы рассказать об этом? В частности, как добиться персонализации, чтобы люди могли сказать онлайн: «Боже мой, это лучший опыт поддержки, который у меня когда-либо был»?
Джесси Чжан: Для нас, персонализация происходит от настройки под пользователя. Вам необходимо понимать фоновую информацию пользователя, которая является дополнительным требуемым контекстом. Во-вторых, вам также необходимо понимать бизнес-логику наших клиентов.Если объединить эти два варианта, то можно получить весьма неплохие впечатления.
Очевидно, это звучит просто, но на самом деле очень сложно получить весь требуемый контекст. Поэтому большая часть нашей работы заключается в том, как построить правильные примитивные компоненты, чтобы, когда клиент развернет нашу систему, он мог легко решить: «Хорошо, это та бизнес-логика, которая нам нужна». Например, сначала вам нужно выполнить эти четыре шага, и если третий шаг не сработает, вам нужно перейти к пятому.
Вы хотите иметь возможность очень легко обучить этому ИИ, но также предоставить ему доступ к информации, например: «Это данные учетной записи пользователя. Если вам нужна дополнительная информация, вы можете вызвать эти API». Эти слои являются координационным слоем поверх модели, и в некотором смысле они делают Агента действительно удобным в использовании.
Кимберли Тан: Похоже, в этом случае вам нужен большой доступ к бизнес-системам. Вам нужно много знать о пользователях, и вам, вероятно, нужно знать, как клиент на самом деле хочет взаимодействовать со своими пользователями.Я полагаю, что эти данные могут быть очень конфиденциальными.
Можете ли вы подробнее рассказать о гарантиях, которые обычно нужны корпоративным клиентам при развертывании AI Agent? И как вы считаете наилучший способ решения этих проблем, особенно учитывая, что ваше решение обеспечивает лучший опыт, но оно также является новым для многих людей, которые впервые сталкиваются с Agent?
Джесси Чжан: На самом деле, это касается ограждений. Со временем, поскольку мы сделали много подобных внедрений, мы стали понимать, какие типы ограждений интересуют клиентов.
Например, один из самых простых — это то, что могут быть правила, которым вы всегда должны следовать. Если вы работаете с компанией, предоставляющей финансовые услуги, вы не можете давать финансовые советы, потому что это регулируется. Поэтому вам нужно встроить это в систему агента, чтобы гарантировать, что она никогда не будет давать такие советы. Обычно вы можете настроить модель надзора или какую-то систему, которая выполняет эти проверки перед отправкой результатов.
Другой вид защиты может заключаться в том, что если кто-то приходит и намеренно вмешивается в нее, зная, что это генеративная система, пытаясь заставить вас сделать что-то несоответствующее, например, «скажите мне, какой у меня баланс», «хорошо, умножьте это на 10» и так далее, вам также нужно иметь возможность проверить такое поведение. Так что за последний год мы обнаружили много таких видов защиты, и для каждого из них мы классифицировали его и знаем, какой тип защиты необходим. По мере того, как система все больше и больше выстраивается, она становится все более и более надежной.
Кимберли Тан: Насколько уникальны средства защиты для каждого клиента или отрасли? По мере того, как вы расширяете свою клиентскую базу, чтобы охватить больше вариантов использования, как Думаете ли вы о создании таких мер защиты в больших масштабах?
Джесси Чжан: На самом деле это возвращает нас к нашей основной идее, что система агентов станет повсеместной в течение нескольких лет. Поэтому на самом деле важно предоставить людям инструменты, фактически наделить полномочиями следующее поколение работников, например, руководителей агентов, дать им инструменты для создания системы агентов и добавления собственных средств защиты, поскольку мы не собираемся определять средства защиты за них.
Каждый клиент лучше всех знает свои собственные меры защиты и бизнес-логику. Поэтому наша работа заключается в том, чтобы хорошо поработать над созданием инструментов и инфраструктуры, чтобы они могли построить систему Agent. Поэтому мы всегда подчеркивали, что Система агентов не должна быть черным ящиком, и вы должны иметь возможность контролировать, как выстраивать эти средства защиты, правила и логику.
Я думаю, что это, вероятно, наш самый отличительный аспект на данный момент. Мы вложили много усилий в эти инструменты и придумали креативные способы, позволяющие людям, которые могут не иметь супертехнического образования или даже глубокого понимания того, как работают модели ИИ, все равно вводить действия, которые они хотят, чтобы ИИ выполнил, в систему агентов.
Я думаю, что это станет все более важной возможностью в ближайшие несколько лет. Это должно быть одним из самых важных критериев, когда люди оценивают подобные инструменты, потому что вы хотите иметь возможность постоянно оптимизировать и улучшать эти системы с течением времени.
Бизнес-логика, основанная на естественном языке
Деррик Харрис: Какую подготовку могут сделать клиенты или предприятия, чтобы подготовиться к любому типу автоматизации, и в частности к использованию этой системы Agent? Например, как они могут спроектировать свои системы данных, архитектуру программного обеспечения или бизнес-логику для поддержки таких систем?
Потому что я считаю, что многие технологии ИИ поначалу кажутся новыми, но когда дело доходит до существующих устаревших систем, они часто сталкиваются с большим хаосом.
Джесси Чжан: Если кто-то сейчас строит с нуля, есть много лучших практик, которые могут облегчить вашу работу. Например, как структурировать вашу базу знаний. Мы написали о некоторых из них и представили несколько методов, которые могут облегчить ИИ прием информации и повысить ее точность. Одно конкретное предложение — разделить базу знаний на модульные части, а не иметь одну большую статью с несколькими ответами.
При настройке API вы можете сделать их более подходящими для системы Agent, а также установить разрешения и вывод таким образом, чтобы системе Agent было легко принимать информацию без необходимости выполнять множество вычислений для поиска ответа. Это некоторые тактические меры, которые можно предпринять, но я бы не сказал, что есть что-то, что нужно сделать, чтобы использовать систему Agent.
Деррик Харрис: Хорошая документация всегда важна, по сути, она заключается в эффективной организации информации.
Кимберли Тан: Похоже, если вы попытаетесь научить людей управлять системой Agent, чтобы она работала таким образом, который наилучшим образом подходит их клиентам или конкретным вариантам использования, то вам, возможно, придется много экспериментировать с дизайном пользовательского интерфейса и UX, или вам придется прокладывать новые пути в этой совершенно новой области, поскольку она сильно отличается от традиционного программного обеспечения.
Мне интересно, что вы об этом думаете? Как должен выглядеть UI и UX в мире Agent-first? Как вы думаете, как это изменится в ближайшие несколько лет?
Джесси Чжан: Я бы не сказал, что мы решили эту проблему. Я думаю, что мы, возможно, нашли локальный оптимум, который работает для наших нынешних клиентов, но это все еще текущая область исследований, для нас и многих других.
Основная проблема возвращается к тому, о чем мы говорили ранее, а именно, что у вас есть система Агента. Во-первых, как вы можете четко видеть, что она делает и как она принимает решения? Затем, как вы можете использовать эту информацию, чтобы решить, что нужно обновить и какую обратную связь следует предоставить ИИ? Именно здесь элементы пользовательского интерфейса объединяются, особенно вторая часть.
Мы считаем, что со временем пользовательский интерфейс и взаимодействие с пользователем будут все больше и больше основываться на естественном языке, поскольку именно так мыслит система агентов, или это, по сути, является основой для обучения больших языковых моделей (LLM).
В крайнем случае, если у вас есть суперинтеллектуальный агент, который в основном думает как человек, вы можете показывать ему вещи, объяснять ему вещи, давать ему обратную связь, и он будет обновлять свой собственный «разум». Представьте, что к вашей команде присоединяется очень способный человек, вы обучаете его чему-то, он начинает работать, а затем вы продолжаете давать ему обратную связь, вы можете показывать ему новые вещи, новые документы, диаграммы и т. д.
Я думаю, в крайнем случае, это будет развиваться в этом направлении: вещи станут более разговорными, более основанными на естественном языке, и люди перестанут строить системы со сложными деревьями решений, как раньше, фиксируя то, что вы хотите, но этот подход может легко сломаться. Раньше нам приходилось это делать, потому что тогда не было LLM, но теперь, когда системы Agent становятся все более и более мощными, UI и UX станут более разговорными.
Кимберли Тан: Около полутора лет назад, когда Decagon только начинал работу, существовало общее мнение, что LLM очень применим во многих случаях использования, но на самом деле это была просто своего рода «оболочка GPT», где компании могли просто вызывать базовую модель через API и мгновенно решать свои проблемы поддержки.
Но очевидно, что поскольку компании выбирают использовать такие решения, как Decagon, вместо того, чтобы идти по этому пути напрямую, оказывается, что это не так. Мне было интересно, можете ли вы объяснить, почему это так. Что именно сделало проблемы внутреннего строительства более сложными, чем ожидалось? Какие у них были заблуждения относительно концепции?
Джесси Чжан: Нет ничего плохого в том, чтобы быть «оберткой GPT», можно сказать, что Purcell — это обертка AWS или что-то в этом роде. Обычно, когда люди используют этот термин, он имеет в виду что-то уничижительное.
Лично я считаю, что если вы создаете агентскую систему, то по определению вы определенно будете использовать LLM в качестве инструмента. Так что вы фактически создаете поверх чего-то, что уже существует, так же, как вы обычно создаете на AWS или GCP.
Но настоящая проблема, с которой вы можете столкнуться, возникает, если программное обеспечение, которое вы создаете на основе LLM, недостаточно «тяжелое» или сложное, чтобы иметь значение.
Оглядываясь назад, для нас то, что мы продаем, в основном является программным обеспечением. На самом деле мы как обычная компания-разработчик программного обеспечения, за исключением того, что мы используем LLM как часть программного обеспечения и как один из инструментов. Но когда люди покупают такой продукт, они в основном хотят само программное обеспечение. Им нужны инструменты, которые могут контролировать ИИ, которые могут глубоко проникать в детали каждого разговора, который ведет ИИ, которые могут давать обратную связь, которые могут постоянно выстраивать и корректировать систему.
Вот это и есть ядро нашего программного обеспечения. Даже с самой системой Agent проблема людей в том, что делать демо — это круто, но если вы хотите сделать его готовым к производству и действительно ориентированным на клиента, вам придется решить множество давних проблем, таких как предотвращение феномена «иллюзии» и борьба с плохими актерами, которые пытаются посеять хаос. Мы также должны убедиться, что задержка достаточно низкая, тон — подходящий и так далее.
Мы общались со многими командами, и они провели несколько экспериментов, создали предварительную версию, а затем поняли: «О, правда, мы не хотим быть теми, кто продолжает создавать эти детали на более поздних этапах». Они также не хотели быть теми, кто продолжает добавлять новую логику в команду обслуживания клиентов. Поэтому на данном этапе кажется более целесообразным выбрать сотрудничество с другими.
Кимберли Тан: Вы упомянули некоторые долгосрочные проблемы, такие как необходимость бороться с недобросовестными субъектами и т. д.Я полагаю, что многие слушатели, рассматривающие возможность использования AI Agent, обеспокоены новыми путями атак безопасности, которые могут возникнуть после внедрения LLM, или новыми рисками безопасности, которые могут возникнуть после внедрения системы Agent. Что вы думаете об этих проблемах? И каковы наилучшие практики для обеспечения первоклассной корпоративной безопасности при работе с Агент?
Джесси Чжан: С точки зрения безопасности, есть некоторые очевидные меры, которые можно предпринять, о которых я упоминал ранее, например, необходимость защитных мер. Основная проблема заключается в том, что люди обеспокоены LLM, что они не являются детерминированными.
Но хорошая новость в том, что вы можете фактически поместить большинство чувствительных и сложных операций за детерминированную стену, и вычисления будут происходить там, когда он вызывает API. Таким образом, вы не полагаетесь полностью на LLM, чтобы справиться с этим, и это позволяет избежать многих основных проблем.
Но все еще существуют ситуации, когда, например, вмешивается злоумышленник или кто-то пытается вызвать у системы галлюцинации. Мы заметили, что у многих крупных клиентов, с которыми мы работаем, их службы безопасности приходят и, по сути, проводят тест «красной команды» на наших продуктах, тратя недели непрерывно на запуск различных возможных атак на систему, чтобы попытаться найти уязвимости. По мере того, как AI Agent становится все более популярным, мы можем видеть, что это происходит все чаще, потому что это один из лучших способов проверить, эффективна ли система. Это бросить в нее что-то через тест красной команды и посмотреть, сможет ли она прорваться через защиту.
Есть также стартапы, которые разрабатывают инструменты red team или позволяют людям проводить такие тесты самостоятельно, что является тенденцией, которую мы наблюдаем прямо сейчас. Многие компании, с которыми мы работаем, на более позднем этапе цикла продаж заставляют свою команду безопасности или работают с внешней командой, чтобы проводить стресс-тестирование системы. Для нас способность проходить такие тесты является обязательным условием. Так что, в конечном счете, это то, к чему все сводится.
Деррик Харрис: Это то, что вы поощряете делать своих клиентов? Потому что, когда мы говорим о политиках ИИ, мы упоминаем важный аспект, которым является прикладной уровень, и мы подчеркиваем, что сайт ответственность на пользователях LLM и людях, запускающих приложение, а не просто обвинять саму модель. То есть, клиенты должны проводить тестирование red team, выявлять конкретные варианты использования и пути атак, а также определять, какие уязвимости необходимо защитить, а не просто полагаться на защиту безопасности, уже установленную OpenAI или другими компаниями.
Джесси Чжан: Я полностью согласен. Я также думаю, что может возникнуть новая волна требований к уведомлениям, аналогичная сертификации SOC 2 и сертификации HIPAA, которую сейчас все делают, которая требуется в разных отраслях. Обычно, когда вы продаете общий продукт SaaS, клиенты требуют провести тестирование на проникновение, и мы также должны предоставить наш отчет о тестировании на проникновение. Для AI Agent в будущем могут быть похожие требования, и кто-то может их назвать, но это по сути новый способ проверить, достаточно ли мощна система Agent.
Кимберли Тан: Интересно, что, очевидно, все очень взволнованы новыми прорывами в области моделей и технологическими прорывами, которые внедряются всеми крупными лабораториями. Как компания ИИ, вы, очевидно, не проводите собственные исследования, но вы используете эти исследования и создаете вокруг них много программного обеспечения, чтобы доставить его конечному потребителю.
Но ваша работа основана на быстро меняющихся технологиях. Мне любопытно, как вы, как компания прикладного ИИ, успеваете за новыми технологическими изменениями и понимаете, как они влияют на компанию, при этом имея возможность прогнозировать собственную дорожную карту продукта и формировать потребности пользователей? В более широком смысле, какие стратегии должны использовать компании прикладного ИИ в подобных ситуациях?
Джесси Чжан: На самом деле вы можете разделить весь стек на разные части. Например, LLM находится внизу, если вы посмотрите на уровень приложения. У вас могут быть некоторые инструменты в середине, которые помогут вам управлять LLM или проводить некоторую оценку и тому подобное. Затем, верхняя часть — это в основном то, что мы создали, что на самом деле похоже на стандартный SaaS.
Итак, большая часть нашей работы на самом деле не сильно отличается от обычного программного обеспечения, за исключением того, что у нас есть дополнительный исследовательский компонент — LLM меняется слишком быстро. Нам нужно исследовать, что они могут делать, в чем они хороши, и какую модель следует использовать для выполнения определенной задачи. Это большая проблема, потому что и OpenAI, и Anthropic запускают новые технологии, а Gemini также постепенно совершенствуется.
Поэтому, вам нужно иметь свой собственный механизм оценки, чтобы понять, какая модель подходит для использования в какой ситуации. Иногда вам также нужно провести тонкую настройку, но вопрос в том: когда ее проводить? Когда тонкая настройка имеет смысл? Это, вероятно, основные исследовательские вопросы, связанные с LLM, на которых мы фокусируемся. Но, по крайней мере, пока мы не чувствуем, что SaaS быстро меняется, потому что мы не зависим от среднего уровня. Так что, по сути, меняются LLM. Они не меняются очень часто, а когда меняются, то обычно это обновление. Например, Claude 3.5 sonnet был обновлен несколько месяцев назад, и в то время мы подумали: «Ладно, стоит ли нам перейти на новую модель вместо того, чтобы продолжать использовать старую?»
Нам просто нужно провести ряд оценок, и как только мы переключимся на новую модель, мы больше не будем об этом думать, потому что вы уже используете новую модель. Затем вышла версия o1, и ситуация была похожей. Подумайте, где ее можно использовать. В нашем случае o1 немного медленный для большинства случаев использования, ориентированных на клиента, поэтому мы можем использовать его для некоторой фоновой работы. В конечном счете, нам просто нужна хорошая система для исследования модели.
Кимберли Тан: Как часто вы оцениваете новую модель и решаете, стоит ли ее заменять?
Джесси Чжан: Мы оцениваем каждый раз, когда выходит новая модель. Вы должны убедиться, что, хотя новая модель умнее, она не сломает некоторые из уже созданных вами вариантов использования. Это может случиться. Например, новая модель может быть умнее в целом, но в некоторых крайних случаях она плохо работает при выборе A/B в одном из ваших рабочих процессов. Вот что мы оцениваем.
Я думаю, что в целом, тип интеллекта, который нас больше всего волнует, это то, что я бы назвал «способностью следовать инструкциям». Мы хотим, чтобы модель становилась все лучше и лучше в следовании инструкциям. Если это так, то это определенно выгодно для нас, и это очень хорошо.
Кажется, что недавние исследования больше фокусировались на типе интеллекта, который включает рассуждение, например, лучшее программирование и лучшие математические операции. Это также помогает нам, но не так важно, как улучшение способности следовать инструкциям.
Кимберли Тан: Вы упомянули один очень интересный момент, и я думаю, что он также уникален для Decagon: вы создали большую внутреннюю инфраструктуру оценки, чтобы точно знать, как каждая модель работает в рамках предоставляемого вами набора тестов.
Можете ли вы подробнее рассказать об этом? Насколько важна эта внутренняя инфраструктура оценки, и, в частности, как она дает вам и вашим клиентам уверенность в эффективности работы Агента? Потому что некоторые из этих оценок также ориентированы на клиентов.
Джесси Чжан: Я думаю, это очень важно, потому что без этой инфраструктуры оценки нам было бы очень сложно быстро проводить итерации.
Если вы чувствуете, что каждое изменение имеет высокую вероятность что-то сломать, то вы не будете вносить изменения быстро. Но если у вас есть механизм оценки, то когда происходит крупное изменение, обновление модели или появляется что-то новое, вы можете напрямую сравнить это со всеми оценочными тестами. Если результаты оценки хорошие, вы можете почувствовать: хорошо, мы сделали улучшение, или вы можете выпустить его с уверенностью, не беспокоясь слишком сильно.
Итак, в нашей области, Оценка требует участия клиента, поскольку именно он решает, правильно что-то или нет. Конечно, мы можем проверить некоторые высокоуровневые проблемы, но обычно заказчик предоставляет конкретные варианты использования и говорит нам, каков правильный ответ или каким он должен быть, какой тон он должен поддерживать, что он должен говорить.
Оценка основана на этом. Поэтому мы должны убедиться, что наша система оценки достаточно надежна. Вначале мы создали ее сами, и ее не так уж сложно поддерживать. Мы также знаем, что есть некоторые компании по оценке, и мы изучили некоторые из них. Возможно, в какой-то момент мы рассмотрим, стоит ли их принять, но на данный момент система оценки больше не является для нас проблемой.
Кимберли Тан: Очень популярная тема сегодня — мультимодальность, то есть агенты ИИ должны иметь возможность взаимодействовать во всех формах, которые люди используют сегодня, будь то текст, видео, голос и т. д. Я знаю, что Decagon начинался как текстовый. С вашей точки зрения, насколько важно это мультимодальность к агентам ИИ? Как вы думаете, в какие сроки это станет мейнстримом или даже стандартом?
Джесси Чжан: Это важно, и с точки зрения компании, не так уж и сложно добавить новую модальность. Это не просто, но суть в следующем: если вы решаете другие проблемы, такие как те, что я упомянул, например, создание ИИ, его мониторинг и наличие правильной логики, то добавление новой модальности не является самым сложным делом. Поэтому для нас наличие всех модальностей имеет большой смысл, и это расширяет наш рынок. Мы в основном агностики модальностей и создаем собственного агента для каждой модальности.
Вообще говоря, существует два ограничивающих фактора: во-первых, готов ли клиент принять новую модальность? Я думаю, имеет смысл начать с текста, потому что это способ, которым люди принимают наиболее активно, и он менее рискован для них, его легче отслеживать и легче понимать. Другая большая модальность — это голос. Очевидно, я думаю, что на рынке еще есть место, и принятие голоса пользователями все еще должно улучшиться. В настоящее время мы видим некоторых ранних последователей, которые начали использовать голосовых агентов, что очень волнительно. Другой аспект — технические проблемы. Большинство людей согласятся, что планка установлена выше для голоса. Если вы разговариваете с кем-то по телефону, вам нужна очень короткая задержка голоса. Если вы прерываете кого-то, он должен реагировать естественно.
Поскольку задержка речи меньше, вам нужно быть более умным в способе расчета. Если вы находитесь в чате, и время ответа составляет от пяти до восьми секунд, вы едва замечаете это, и это кажется очень естественным. Но если ответ по телефону занимает от пяти до восьми секунд, это кажется немного неестественным. Так что с речью связано больше технических проблем. По мере решения этих технических проблем и повышения интереса к принятию речи на рынке речь как новая модальность станет мейнстримом.
Бизнес-модель, которая превосходит доверие
Кимберли Тан: Прежде чем продолжить, я хотела бы немного подробнее рассказать о бизнес-модели AI Agent. Когда вы впервые построенный AI Agent или обсуждали с клиентами систему, которую они используют, данные, которые они обрабатывают, и их проблемы, было ли что-то, что вас удивило? Какие неинтуитивные или удивительные вещи пришлось сделать Decagon, чтобы лучше обслуживать корпоративных клиентов?
Джесси Чжан: Я думаю, самым удивительным было то, насколько люди были готовы говорить с нами, когда мы только начинали. В конце концов, нас было всего двое. Мы оба уже открывали компании, поэтому знали много людей, но даже в этом случае, для каждого предпринимателя, когда вы хотите начать разговор о рекомендациях, если то, что вы говорите, не особенно убедительно, разговор обычно получается довольно вялым.
Но когда мы начали говорить об этом варианте использования, я на самом деле обнаружил, что меня довольно удивляет, как люди были взволнованы, говоря об этом. Потому что идея кажется настолько очевидной. Вы можете подумать, что раз это такая очевидная идея, кто-то другой, должно быть, уже сделал это, или должно быть уже решение, или кто-то другой, должно быть, уже придумал какое-то решение. Но я думаю, что мы поймали хороший момент, этот вариант использования действительно большой, и людям он действительно интересен. Как я уже упоминал ранее, этот вариант использования действительно хорошо подходит для того, чтобы взять AI Agent и запустить его в производство, потому что вы можете внедрять его постепенно и отслеживать рентабельность инвестиций.
Это был приятный сюрприз для меня, но очевидно, что после этого предстоит проделать много работы, нужно работать с клиентами, нужно создать продукт, нужно понять, в каком направлении двигаться. На начальном этапе это было действительно удивительным открытием.
Деррик Харрис: Кимберли, я думаю, что должен упомянуть тот пост в блоге, который ты написала, RIP to RPA, который затрагивает множество сайт задачи автоматизации и стартапы.Как вы думаете, существует ли явление, при котором эти автоматизированные задачи или решения не столь идеальны, поэтому люди всегда ищут лучший путь?
Кимберли Тан: Да, я так думаю. Я хотел бы сказать несколько вещей. Во-первых, если идея очевидна для всех, но нет четкой компании, которая могла бы ее решить, или никто не указывает на компанию и не говорит: «Вам следует использовать это», то это означает, что проблема на самом деле не решена.
В каком-то смысле, это полностью открытая возможность для компании разработать решение. Потому что, как вы сказали, мы следили за Decagon как инвестор с самого начала. Мы наблюдали, как они ориентируются в творческом лабиринте, и когда они решили пойти в этом направлении и начали общаться с клиентами, стало ясно, что все клиенты отчаянно нуждаются в каком-то нативном решении с поддержкой ИИ. Это одна из проблем, о которых я упоминал ранее, когда многие думают, что это просто оболочка GPT. Но интерес клиентов, который Decagon получил с самого начала, заставил нас с самого начала понять, что многие из этих проблем намного сложнее, чем люди ожидают.
Я думаю, что это явление происходит во всех отраслях, будь то обслуживание клиентов или профессиональная автоматизация в определенных вертикалях. Я думаю, что одним из недооцененных моментов является, как Джесси упомянул ранее, возможность четко измерить возврат инвестиций (ROI) в автоматизацию задач. Потому что, если вы собираетесь заставить кого-то принять агента ИИ, то на самом деле он совершает своего рода «прыжок веры», поскольку для многих людей это совершенно незнакомая территория.
Если вы можете автоматизировать очень конкретный процесс, который либо очевидно приносит доход, либо ранее был узким местом в бизнесе, либо крупным центром затрат, который линейно увеличивается с ростом числа клиентов или доходов, то вам будет легче добиться принятия ИИ-агента. Возможность превратить такие проблемы в более продуктивный процесс, который можно масштабировать как традиционное программное обеспечение, весьма привлекательна.
Кимберли Тан: У меня есть последний вопрос, прежде чем мы продолжим. Я помню, как Джесси в наших предыдущих обсуждениях всегда говорил, что самой большой проблемой для компаний, внедряющих программное обеспечение или агентов ИИ, будут галлюцинации. Но вы как-то сказали мне, что на самом деле это не главная проблема. Можете ли вы подробнее рассказать, почему восприятие галлюцинаций несколько обманчиво и что на самом деле больше беспокоит людей?
Джесси Чжан: Я думаю, что люди действительно заботятся о галлюцинациях, но их больше волнует ценность, которую они могут предоставить. Почти все компании, с которыми мы работаем, сосредоточены на одних и тех же нескольких вопросах, почти на одних и тех же: какой процент разговоров вы можете решить? Насколько удовлетворены мои клиенты? Тогда вопрос галлюцинаций можно отнести к третьей категории, а именно, насколько он точен. Вообще говоря, первые два фактора более важны при оценке.
Допустим, вы общаетесь с новым бизнесом и вы действительно хорошо справились с первыми двумя факторами, и вы получили большую поддержку от руководства и всей команды. Они говорят: «О Боже, наш клиентский опыт стал другим. Теперь у каждого клиента есть свой личный помощник, который может связаться с нами в любое время. Мы дали им отличные ответы, они очень довольны, и он многоязычный и доступен 24/7». Это только часть этого, и вы также сэкономили много денег.
Итак, как только вы достигаете этих целей, вы получаете большую поддержку и много попутного ветра для продвижения работы. Конечно, проблема иллюзии в конечном итоге должна быть решена, но это не то, что их больше всего беспокоит. Способ разрешения иллюзии тот же, о котором я упоминал ранее — люди будут вас проверять. Может быть фаза проверки концепции, когда вы фактически проводите реальные разговоры, а члены команды отслеживают и проверяют точность. Если все идет хорошо, то обычно это проходит.
Кроме того, как я уже упоминал, вы можете установить некоторые строгие меры защиты для конфиденциальной информации, например, вам не обязательно делать конфиденциальный контент общим. Поэтому проблема иллюзии является предметом обсуждения в большинстве транзакций. Это не незначительная тема. Вы пройдете через этот процесс, но он никогда не будет в центре внимания разговора.
Кимберли Тан: Теперь перейдем к бизнес-модели AI Agent. Сегодня большая тема о том, как оценивать этих AI Agents.
Исторически сложилось так, что многие SaaS-программы оцениваются по количеству рабочих мест, поскольку они представляют собой программное обеспечение для рабочих процессов, ориентированное на отдельных сотрудников и используемое для повышения производительности труда сотрудников. Однако AI Agent не привязан к производительности труда отдельных сотрудников, как традиционное программное обеспечение.
Многие думают, что метод ценообразования, основанный на количестве мест, больше не применим. Мне интересно, как вы думали об этой дилемме в первые дни и как вы в конце концов решили установить цену Decagon. Кроме того, как вы думаете, какой будет будущая тенденция ценообразования программного обеспечения, поскольку AI Agent становится все более распространенным?
Джесси Чжан: По нашему мнению, в прошлом стоимость программного обеспечения определялась за рабочее место, поскольку ее масштаб приблизительно зависел от количества людей, которые могли использовать это программное обеспечение. Но для большинства агентов ИИ ценность, которую вы предоставляете, зависит не от количества людей, которые его поддерживают, а от объема произведенной работы. Это согласуется с тем, что я упомянул ранее: если возврат инвестиций (ROI) очень измерим, то уровень производительности также очень ясен.
Мы считаем, что ценообразование по количеству мест определенно не применимо. Вы можете устанавливать цену на основе результата работы. Поэтому предлагаемая вами модель ценообразования должна быть такой: чем больше работы сделано, тем больше вы платите.
Для нас есть два очевидных способа ценообразования. Вы можете либо ценить разговоры, либо ценить разговоры, которые на самом деле решает ИИ. Я думаю, один из интересных уроков, который мы усвоили, заключается в том, что большинство людей выбирают модель ценообразования на основе разговоров. Причина в том, что главное преимущество ценообразования по решению заключается в том, что вы платите за то, сайт ИИ делает.
Но возникает вопрос, что считать «решением»? Во-первых, никто не хочет вникать в это подробно, потому что получается: «Если кто-то приходит злым, а вы его прогоняете, почему мы должны за это платить?»
Это создает неловкую ситуацию, а также делает стимулы для поставщиков ИИ немного странными, поскольку выставление счетов по решению означает: «Нам просто нужно решить как можно больше разговоров и оттолкнуть некоторых людей». Но есть много случаев, когда лучше обострить проблему, чем просто оттолкнуть ее, и клиентам не нравится такое обращение. Поэтому выставление счетов по разговору принесет больше простоты и предсказуемости.
Кимберли Тан: Как вы думаете, как долго продлится будущая модель ценообразования?Потому что сейчас, когда вы говорите о рентабельности инвестиций, обычно речь идет о прошлых расходах, которые могли быть использованы для покрытия расходов на рабочую силу. По мере того, как агенты ИИ становятся все более распространенными, считаете ли вы, что в долгосрочной перспективе ИИ будет сравниваться с расходами на рабочую силу и что это будет подходящим ориентиром? Если нет, то как вы видите долгосрочное ценообразование за пределами расходов на рабочую силу?
Джесси Чжан: Я думаю, что в долгосрочной перспективе ценообразование AI Agent по-прежнему будет в первую очередь связано с затратами на рабочую силу, поскольку в этом и заключается преимущество Agent: ваши предыдущие расходы на услуги теперь можно переложить на программное обеспечение.
Эта часть расходов может быть в 10–100 раз больше расходов на программное обеспечение, поэтому значительная часть расходов будет перенесена на программное обеспечение. Поэтому затраты на рабочую силу естественным образом станут ориентиром. Для наших клиентов окупаемость инвестиций очень очевидна. Если вы можете сэкономить X миллионов на затратах на рабочую силу, то имеет смысл принять это решение. Но в долгосрочной перспективе это может оказаться чем-то средним.
Потому что даже некоторые продукты, которые не так хороши, как наш Агент, примут более низкую цену. Это похоже на классическую ситуацию SaaS, где все конкурируют за долю рынка.
Кимберли Тан: Как вы думаете, какое будущее ждет нынешние SaaS-компании, особенно те, чьи продукты изначально не были созданы для ИИ или которые имеют цену за рабочее место и, следовательно, не могут адаптироваться к модели ценообразования, ориентированной на результат?
Джесси Чжан: Для некоторых традиционных компаний действительно немного сложно, если они пытаются запустить продукт AI Agent, потому что они не могут установить цену, используя модель рабочего места. Если вам больше не нужно столько агентов, сложно поддерживать доход с существующим продуктом. Это проблема для традиционных компаний, но трудно сказать. Традиционные компании всегда имеют преимущество каналов дистрибуции. Даже если продукт не так хорош, как у новой компании, люди неохотно тратят усилия на принятие нового поставщика с качеством всего 80%.
Итак, во-первых, если вы стартап, как мы, вы должны убедиться, что ваш продукт в три раза лучше традиционного. Во-вторых, это типичная конкуренция между традиционными компаниями и стартапами. Традиционные компании, естественно, имеют более низкую толерантность к риску, потому что у них большое количество клиентов. Если они совершат ошибку в быстрой итерации, это приведет к огромным потерям. Однако стартапы могут итерировать быстрее, поэтому сам процесс итерации может привести к лучшему продукту. Это обычный цикл. Для нас, мы всегда гордились нашей скоростью поставки, качеством продукта и работой нашей команды. Вот почему мы выиграли текущую сделку.
Кимберли Тан: Можете ли вы сделать некоторые прогнозы о будущем ИИ на рабочем месте? Например, как это изменит потребности или возможности сотрудников или как будут взаимодействовать сотрудники-люди и агенты ИИ?Какие новые передовые практики или нормы, по вашему мнению, станут нормой на рабочем месте по мере того, как агенты ИИ будут получать все большее распространение?
Джесси Чжан: Первое и самое важное изменение заключается в том, что мы убеждены, что в будущем сотрудники будут проводить гораздо больше времени на рабочем месте, создавая и управляя агентами ИИ, аналогично роли руководителей ИИ. Даже если ваша должность официально не является «руководителем ИИ», значительная часть времени, которое вы раньше тратили на выполнение своей работы, будет перенесена на управление этими агентами, поскольку агенты могут дать вам массу преимуществ.
Мы видели это во многих развертываниях, где люди, которые когда-то были лидерами команд, теперь тратят много времени на мониторинг ИИ, например, чтобы убедиться, что у него нет проблем или для внесения корректировок. Они отслеживают общую производительность, чтобы увидеть, есть ли конкретные области, требующие внимания, есть ли пробелы в базе знаний, которые могли бы помочь ИИ стать лучше, и может ли ИИ заполнить эти пробелы.
Работа, которая связана с работой с агентом, создает впечатление, что в будущем сотрудники будут проводить значительное количество времени, взаимодействуя с агентами ИИ. Это основная концепция нашей компании, как я уже упоминал ранее. Поэтому весь наш продукт построен на предоставлении людям инструментов, визуализации, интерпретируемости и контроля. Я думаю, что через год это станет огромной тенденцией.
Кимберли Тан: Это имеет большой смысл. Какие возможности, по вашему мнению, понадобятся руководителям ИИ в будущем? Какой набор навыков необходим для этой роли?
Джесси Чжан: Здесь есть два аспекта. Одна из них — это наблюдаемость и интерпретируемость, способность быстро понимать, что делает ИИ и как он принимает решения. Другая — это способность принятия решений или часть построения, как давать обратную связь и как строить новую логику. Я думаю, что это две стороны одной медали.
Кимберли Тан: Какие задачи, по вашему мнению, останутся за пределами возможностей ИИ-агента в среднесрочной или долгосрочной перспективе и по-прежнему потребуют управления и правильного выполнения людьми?
Джесси Чжан: Я думаю, что это будет в основном зависеть от требования «совершенства», о котором я упоминал ранее. Есть много задач, которые имеют очень низкую толерантность к ошибкам. В этих случаях любой инструмент ИИ является скорее вспомогательным средством, чем полноценным агентом.
Например, в некоторых более чувствительных отраслях, таких как здравоохранение или безопасность, где вы должны быть почти идеальными, тогда в этих областях агенты ИИ могут стать менее автономными, но это не значит, что они бесполезны. Я думаю, стиль будет другим, на платформе, такой как наша, вы фактически развертываете этих агентов, чтобы позволить им автоматизировать всю работу.
Деррик Харрис: И это все для этого эпизода. Если эта тема показалась вам интересной или вдохновляющей, пожалуйста, оцените наш подкаст и поделитесь им с большим количеством людей.Мы рассчитываем выпустить финальный эпизод до конца года и переделаем контент к новому году. Спасибо за прослушивание и отличного праздничного сезона (если вы слушаете во время праздников).
Оригинальное видео: Могут ли агенты Al наконец исправить поддержку клиентов?
