하이라이트
- LLM의 장점은 매우 유연하고, 다양한 상황에 적응할 수 있으며, 기본적인 지능을 갖추고 있다는 점입니다.
- 우리는 시간이 지남에 따라 UI와 UX가 점점 더 자연어 기반이 될 것이라고 믿습니다. 왜냐하면 이것이 에이전트 시스템의 사고방식이며 기본적으로 대규모 언어 모델(LLM)을 훈련하는 기반이기 때문입니다.
- 누군가가 AI 에이전트를 받아들이기를 원한다면, 그들은 실제로 어느 정도 "신앙의 도약"을 하는 셈입니다. 왜냐하면 많은 사람들에게 이 분야는 매우 생소한 분야이기 때문입니다.
AI 에이전트는 고객 경험을 재구성합니다
제시 장: 에이전트는 실제로 어떻게 구성되는가? 우리의 견해는 시간이 지남에 따라 자연어 기반 에이전트와 점점 더 비슷해질 것이라는 것입니다. 왜냐하면 대규모 언어 모델(LLM)이 그렇게 훈련되기 때문입니다.
장기적으로 볼 때, 실제로 인간과 같은 매우 지적인 에이전트가 있다면, 당신은 그 에이전트에게 사물을 보여주고, 설명하고, 피드백을 제공할 수 있으며, 그 에이전트는 마음속에 있는 정보를 업데이트할 것입니다.
매우 유능한 인간 팀원이 있다고 상상해 보세요. 처음 합류했을 때, 당신은 그들에게 무언가를 가르치고, 그들은 일을 시작하고, 그런 다음 당신은 그들에게 피드백을 주고 새로운 정보를 보여줍니다.
결국, 이 방향으로 발전할 것입니다. 더욱 대화적이고 자연어에 기반을 두게 될 것이고, 사람들이 서로 소통하는 방식이 더욱 자연스러워질 것입니다. 그리고 사람들은 더 이상 복잡한 의사결정 트리를 사용하여 요구 사항을 포착하지 않을 것입니다. 이는 작동할 수 있지만 붕괴되기 쉽습니다.
과거에는 대규모 언어 모델이 없어서 이렇게 해야 했습니다. 하지만 이제 Agent의 지속적인 발전으로 사용자 경험(UX)과 사용자 인터페이스(UI)가 더욱 대화형이 될 것입니다.
데릭 해리스: 안녕하세요 여러분, A16z AI 팟캐스트에 오신 것을 환영합니다. 저는 데릭 해리스이고, 오늘은 Decagon의 공동 창립자이자 CEO인 제시 장과 a16z의 파트너인 킴벌리 탠이 함께합니다. 킴벌리는 토론을 진행하고, 제시는 Decagon과 그 제품을 구축한 경험을 공유합니다.
잘 모르시겠다면, Decagon은 기업에 고객 지원을 위한 AI 에이전트를 제공하는 스타트업입니다. 이러한 에이전트는 단일 API 호출을 위한 챗봇도 LLM 래퍼도 아니지만, 회사의 특정 요구 사항에 따라 복잡한 워크플로를 처리할 수 있는 고도로 맞춤화된 고급 에이전트입니다.
Jesse는 Decagon을 만든 이유와 다양한 LLM 및 고객 환경을 처리하도록 설계된 방식을 설명하는 것 외에도 대화당 요금을 청구하는 비즈니스 모델의 이점과 AI 에이전트가 고객 지원 리더에게 필요한 기술을 어떻게 바꿀 것인지에 대해서도 이야기합니다.
Kimberly가 최근 "RIP to RPA, The Rise of Intelligent Automation"이라는 제목의 블로그 게시물을 썼다는 점도 언급할 가치가 있습니다. 이 에피소드에서 간략하게 논의하겠습니다.
자동화가 비즈니스 프로세스에서 어떻게 전개되는지 이해하기 위한 좋은 출발점이며, 쇼노트에 링크를 제공할 것입니다. 마지막으로, 상기시켜드리자면, 이 기사의 내용은 정보 제공만을 목적으로 하며 법률, 사업, 세무 또는 투자 조언으로 간주되어서는 안 되며, 투자나 증권을 평가하는 데 사용되어서는 안 되며, a16z 펀드 투자자나 잠재적 투자자를 대상으로 하지 않습니다.
제시 장: 저에 대한 간단한 소개입니다. 저는 볼더에서 태어나고 자랐으며, 어린 시절에 많은 수학 경시 대회 등에 참여했습니다. 저는 하버드에서 컴퓨터 과학을 공부했고, 그 후 a16z의 지원을 받는 회사를 시작했습니다. 결국 Niantic에 인수되었습니다.
그런 다음 우리는 Decagon을 만들기 시작했습니다. 우리의 사업은 고객 서비스를 위한 AI 에이전트를 만드는 것입니다. 처음에는 우리의 마음에 아주 가까운 일을 하고 싶어서 이렇게 했습니다.
물론, 고객 서비스에서 AI 에이전트의 역할에 대해 배울 필요는 없겠죠? 우리 모두 항공사, 호텔 등과 전화 통화를 했고, 보류 상태였습니다. 그래서 아이디어가 거기서 나왔습니다.
우리는 어떤 종류의 제품을 만들어야 할지 정확히 알아내기 위해 많은 고객과 이야기를 나누었습니다. 우리에게 두드러진 점 하나는 AI 에이전트에 대해 더 많이 알게 되면서, 그들이 많을 때 미래가 어떨지 생각하기 시작했다는 것입니다. 저는 모두가 미래에 많은 AI 에이전트가 있을 것이라고 믿는다고 생각합니다.
우리가 생각하는 것은 AI 에이전트를 중심으로 일하는 직원들이 무엇을 할 것인가? 그들은 어떤 종류의 도구를 가질 것인가? 그들은 함께 일하거나 관리하는 에이전트를 어떻게 제어하거나 볼 것인가?
이것이 우리가 이 질문을 중심으로 회사를 구축한 핵심입니다. 저는 이것이 또한 지금 우리를 차별화하는 요소라고 생각합니다. 왜냐하면 우리는 이러한 AI 에이전트에게 다양한 도구를 제공하여 우리가 함께 일하는 사람들이 이러한 에이전트를 빌드하고 구성하여 더 이상 "블랙박스"가 되지 않도록 돕기 때문입니다. 이것이 우리가 브랜드를 구축하는 방식입니다.
데릭 해리스: 이전 회사가 소비자 대상 비디오 회사였는데, 기업용 소프트웨어 분야로 진출하게 된 계기는 무엇이었나요?
제시 장: 좋은 질문입니다. 창업자들은 주제를 선택할 때 종종 "주제에 구애받지 않는" 경향이 있다고 생각합니다. 왜냐하면 실제로 새로운 분야에 접근할 때는 대개 순진하기 때문입니다. 그래서 새로운 관점에서 사물을 보는 데는 이점이 있습니다. 그래서 우리가 그것에 대해 생각할 때 주제 제한은 거의 없었습니다.
저는 그것이 저를 포함하여 더 양적인 배경을 가진 사람들에게 매우 일반적인 패턴이라고 생각합니다. 소비자 제품을 시도한 후에는 기업 소프트웨어에 더 끌리는 경향이 있는데, 기업 소프트웨어에는 더 구체적인 문제가 있기 때문입니다.
실제적인 필요와 예산, 그런 것들을 가진 실제 고객이 있고, 그런 고객을 위해 최적화하고 문제를 해결할 수 있습니다. 소비자 시장도 매우 매력적이지만, 실험에 의해 주도되는 것보다는 직감에 더 기반을 두고 있습니다. 개인적으로는 엔터프라이즈 소프트웨어가 더 잘 맞습니다.
Kimberly Tan: 우선, 이 질문부터 시작할 수 있습니다. Decagon이 오늘날 다루는 가장 일반적인 지원 범주는 무엇입니까? 이러한 문제를 해결하기 위해 대규모 언어 모델(LLM)을 사용하는 방법과 이전에는 할 수 없었던 일을 지금은 할 수 있는지 자세히 설명해 주시겠습니까?
제시 장: 이전 자동화를 돌이켜보면, 간단한 일을 하기 위해 의사결정 트리를 사용했을 수도 있고, 어떤 경로를 선택할지 결정했을 수도 있습니다. 하지만 우리 모두 챗봇을 사용해 보았고, 꽤 답답한 경험이었습니다.
종종 당신의 질문은 의사결정 트리로 완전히 답할 수 없습니다. 그래서 당신은 질문과 관련이 있지만 정확히 일치하지 않는 질문 경로로 안내받게 됩니다. 이제 우리는 대규모 언어 모델(LLM)을 가지고 있습니다. LLM의 마법은 매우 유연하고, 다양한 상황에 적응할 수 있으며, 기본적인 지능을 가지고 있다는 것입니다.
이것을 고객 지원에 적용하거나 고객이 질문할 때, 더 개인화된 서비스를 제공할 수 있습니다. 이것이 첫 번째 요점이며, 개인화 수준이 크게 향상되었습니다. 이를 통해 더 높은 지표가 해제됩니다. 더 많은 문제를 해결할 수 있고, 고객이 더 만족하며, 고객 만족도가 증가합니다.
다음 자연스러운 단계는 이렇습니다. 이러한 지능이 있다면 인간이 할 수 있는 일을 더 많이 할 수 있어야 합니다. 인간이 할 수 있는 일은 실시간으로 데이터를 끌어오고, 조치를 취하고, 여러 단계를 거쳐 추론할 수 있다는 것입니다. 고객이 비교적 복잡한 질문을 한다면, 예를 들어 "저는 이것과 저것을 하고 싶습니다."라고 하면 AI는 첫 번째 질문만 처리할 준비가 되어 있습니다. LLM은 여기에 두 가지 질문이 있다는 것을 인식할 만큼 똑똑합니다. 먼저 첫 번째 문제를 해결하고, 그런 다음 두 번째 문제를 해결하도록 도와줍니다.
LLM이 나오기 전에는 이게 사실상 불가능했습니다. 그래서 지금은 기술이 할 수 있는 일에서 단계적 변화를 보고 있는데, 그게 바로 LLM 덕분입니다.
Kimberly Tan: 이 맥락에서 AI Agent를 어떻게 정의하시겠습니까? "Agent"라는 단어가 널리 사용되기 때문에 Decagon의 맥락에서 실제로 무슨 뜻인지 궁금합니다.
제시 장: 저는 Agent가 여러 LLM(대규모 언어 모델) 시스템이 함께 작동하는 시스템을 더 많이 지칭한다고 말하고 싶습니다. 기본적으로 프롬프트를 보내고 응답을 받는 LLM 호출이 있습니다. Agent의 경우 여러 개의 이러한 호출을 연결할 수 있어야 하며, 아마도 재귀적으로도 연결할 수 있어야 합니다.
예를 들어, 메시지를 처리하는 방법을 결정하는 LLM 호출이 있고, 그러면 더 많은 데이터를 가져오고, 작업을 수행하고, 사용자가 말한 내용을 반복하고, 심지어 후속 질문을 하는 다른 호출을 트리거할 수 있습니다. 따라서 우리에게 에이전트는 더 나은 경험을 제공하기 위해 함께 작동하는 거의 LLM 호출, API 호출 또는 기타 논리의 네트워크로 이해될 수 있습니다.
Kimberly Tan: 이 주제에서는 실제로 구축한 에이전트 인프라에 대해 더 이야기할 수 있을 것 같습니다. 매우 흥미로운 점 중 하나는 시중에 AI 에이전트 데모가 많이 있지만 실제로 프로덕션 환경에서 안정적으로 실행할 수 있는 사례는 거의 없다는 것입니다. 그리고 외부에서 무엇이 진짜이고 무엇이 아닌지 아는 것은 어렵습니다.
그러면 오늘날 AI 에이전트의 어떤 측면이 잘 수행되고 있고, 어떤 측면에서 더욱 견고하고 신뢰할 수 있게 만들기 위해 기술적 혁신이 더 필요하다고 생각하십니까?
제시 장: 제 견해는 사실 조금 다릅니다. AI 에이전트가 데모에 불과한지 "진짜 작동하는지"를 판단하는 차이는 전적으로 기술 스택에 있는 것은 아닙니다. 대부분 사람들이 대략적으로 같은 기술을 사용하고 있을 수 있다고 생각하기 때문입니다. 예를 들어, 우리 회사가 설립된 지 1년이 넘었듯이 회사 개발이 한 단계 더 진행되면 사용 사례에 맞는 매우 구체적인 것을 만들 수 있을 것이라고 생각합니다.
하지만 결국에는 누구나 동일한 모델에 접근하고 비슷한 기술을 사용할 수 있습니다. AI 에이전트가 효과적으로 작업할 수 있는지 여부를 가르는 가장 큰 요소는 실제로 사용 사례의 형태에 있다고 생각합니다. 처음에는 알기 힘들지만 돌이켜보면 AI 에이전트가 시연을 넘어 실제 적용에 들어가려면 매우 중요한 두 가지 속성이 있다는 것을 알게 될 것입니다.
첫 번째는 해결하려는 사용 사례에 정량화 가능한 ROI(투자 수익률)가 있어야 한다는 것입니다. 이것은 매우 중요합니다. ROI를 정량화할 수 없다면 사람들이 실제로 제품을 사용하고 비용을 지불하도록 설득하기 어려울 것이기 때문입니다. 우리의 경우 정량적 지표는 다음과 같습니다. 지원 요청의 몇 퍼센트를 해결합니까? 이 숫자가 명확하기 때문에 사람들은 이해할 수 있습니다. 오, 알겠습니다. 더 많이 해결하면 이 결과를 현재 비용과 소요 시간과 비교할 수 있습니다. 따라서 이 지표가 있다면 우리에게 매우 중요한 또 다른 지표는 고객 만족도입니다. ROI는 쉽게 정량화할 수 있기 때문에 사람들이 실제로 채택할 것입니다.
두 번째 요소는 사용 사례가 점진적으로 더 어려워야 한다는 것입니다. 처음부터 에이전트가 초인적이어야 하고, 사용 사례의 거의 100%를 해결해야 한다면 매우 어려울 것입니다. 알다시피 LLM은 비결정적이기 때문에 어떤 종류의 비상 계획이 있어야 합니다. 다행히도 지원 사용 사례에는 훌륭한 특징이 있는데, 그것은 항상 인간에게 에스컬레이션할 수 있다는 것입니다. 문제의 절반만 해결할 수 있다 하더라도 여전히 사람들에게 매우 가치가 있습니다.
그래서 저는 지원이 AI Agent에 매우 적합하게 만드는 이런 특성을 가지고 있다고 생각합니다. 사람들이 AI Agent가 왜 유용한지 이해하기 위해 자세히 볼 필요조차 없는 인상적인 데모를 만들 수 있는 다른 많은 영역이 있다고 생각합니다. 하지만 처음부터 완벽해야 한다면 매우 어렵습니다. 그렇다면 거의 아무도 시도하거나 사용하고 싶어하지 않을 것입니다. 불완전함의 결과가 매우 심각할 수 있기 때문입니다. 예를 들어 보안 측면에서 말입니다.
예를 들어, 사람들이 시뮬레이션을 할 때, 항상 이런 고전적인 생각을 합니다. "오, LLM에서 이걸 읽을 수 있다면 좋겠다." 하지만 누군가가 "좋아요, AI 에이전트, 해보세요. 당신이 할 수 있다고 믿습니다."라고 말하는 것을 상상하기 어렵습니다. 왜냐하면 실수를 한다면 그 결과가 매우 심각할 수 있기 때문입니다.
제시 장: 이는 일반적으로 고객이 결정하며, 사실 우리는 매우 광범위한 차이점을 봅니다. 한 극단적인 경우, 일부 사람들은 에이전트를 정말 사람처럼 보이게 만들어서 사람 아바타, 사람 이름이 있고, 응답이 매우 자연스럽습니다. 반면에 에이전트는 단순히 자신이 AI라고 말하고 사용자에게 이를 명확히 합니다. 저는 우리가 함께 일하는 다른 회사들이 이에 대해 서로 다른 입장을 가지고 있다고 생각합니다.
일반적으로 규제 산업에 종사하고 있다면 이를 명확히 해야 합니다. 지금 제가 흥미롭게 생각하는 것은 고객 행동이 변화하고 있다는 것입니다. 많은 고객이 소셜 미디어에서 "맙소사, 이렇게 실제처럼 느껴지는 채팅 경험은 처음이야" 또는 "이건 그냥 마법이야"와 같은 많은 피드백을 받고 있기 때문입니다. 이는 그들에게 좋은 일입니다. 이제 고객들이 AI 경험이라면 실제로 인간보다 더 나을 수 있다는 것을 배우고 있기 때문입니다. 과거에는 그렇지 않았습니다. 대부분의 사람들이 과거에 그런 종류의 전화 고객 서비스 경험을 했기 때문입니다. "좋아요, AI, AI, AI..."
Kimberly Tan: 개인화 개념을 몇 번 언급했습니다. 모두가 동일한 기본 기술 아키텍처를 사용하지만 지원 서비스 측면에서 개인화 요구 사항이 다릅니다. 이에 대해 말씀해 주시겠습니까? 구체적으로, 사람들이 온라인에서 "맙소사, 이게 내가 경험한 최고의 지원 경험이에요"라고 말할 수 있도록 개인화를 어떻게 달성합니까?
제시 장: 우리에게는, 개인화는 사용자를 위한 맞춤화에서 비롯됩니다. 사용자의 배경 정보를 이해해야 하는데, 이는 필요한 추가 컨텍스트입니다. 두 번째로, 고객의 비즈니스 로직도 이해해야 합니다.둘을 결합하면 꽤 좋은 경험을 제공할 수 있습니다.
분명히, 이것은 간단하게 들리지만, 실제로 필요한 모든 맥락을 얻는 것은 매우 어렵습니다. 따라서 우리의 작업 대부분은 고객이 우리 시스템을 배포할 때 "좋아요, 이것이 우리가 원하는 비즈니스 로직입니다."라고 쉽게 결정할 수 있도록 올바른 기본 구성 요소를 빌드하는 방법에 관한 것입니다. 예를 들어, 먼저 이 네 가지 단계를 수행해야 하며, 세 번째 단계가 실패하면 다섯 번째 단계로 이동해야 합니다.
AI에게 이를 매우 쉽게 가르칠 수 있어야 하지만, "이것은 사용자의 계정 세부 정보입니다. 더 많은 정보가 필요하면 이 API를 호출할 수 있습니다."와 같은 정보에 대한 액세스 권한도 부여해야 합니다. 이러한 계층은 모델 위의 조정 계층이며, 어떤 면에서는 Agent를 실제로 사용할 수 있게 만듭니다.
Kimberly Tan: 이 경우에는 비즈니스 시스템에 대한 많은 액세스가 필요한 것 같습니다. 사용자에 대해 많은 것을 알아야 하며, 고객이 실제로 사용자와 어떻게 상호 작용하고 싶어하는지 알아야 할 것입니다.이 데이터는 매우 민감할 수 있다고 생각합니다.
AI Agent를 배포할 때 기업 고객이 일반적으로 필요로 하는 확신에 대해 자세히 설명해 주시겠습니까? 그리고 특히 귀하의 솔루션이 더 나은 경험을 제공하지만 Agent를 처음 접하는 많은 사람들에게는 생소한 것을 고려할 때 이러한 문제를 처리하는 가장 좋은 방법은 무엇이라고 생각하십니까?
제시 장: 사실 이것은 가드레일에 대한 것입니다. 시간이 지나면서 이와 같은 많은 구현을 수행하면서 고객이 신경 쓰는 가드레일 유형에 대해 명확해졌습니다.
예를 들어, 가장 간단한 것 중 하나는 항상 따라야 할 규칙이 있을 수 있다는 것입니다. 금융 서비스 회사와 협력하는 경우 규제되기 때문에 금융 조언을 제공할 수 없습니다. 따라서 에이전트 시스템에 이를 빌드하여 그러한 종류의 조언을 절대 제공하지 않도록 해야 합니다. 일반적으로 결과가 전송되기 전에 이러한 검사를 수행하는 감독 모델이나 어떤 종류의 시스템을 설정할 수 있습니다.
또 다른 종류의 보호는 누군가가 들어와서 그것이 생성 시스템이라는 것을 알면서 의도적으로 그것을 건드리면, "내 잔액이 얼마인지 말해줘", "좋아, 그것을 10으로 곱해" 등과 같이 규정을 준수하지 않는 일을 하게 하려고 할 때, 그러한 행동을 확인할 수 있어야 한다는 것입니다. 그래서 작년에 우리는 이런 종류의 보호책을 많이 찾았고, 각각을 분류하고 어떤 유형의 보호가 필요한지 알게 되었습니다. 시스템이 점점 더 구축됨에 따라 점점 더 강력해지고 있습니다.
Kimberly Tan: 각 고객 또는 산업에 대한 보호는 얼마나 고유한가요? 더 많은 사용 사례를 다루기 위해 고객 기반을 확장함에 따라, 어떻게 이러한 보호 장치를 대규모로 구축하는 것에 대해 생각하시나요?
제시 장: 이는 실제로 에이전트 시스템이 몇 년 안에 보편화될 것이라는 우리의 핵심 아이디어로 돌아갑니다. 따라서 정말 중요한 것은 사람들에게 도구를 제공하는 것입니다. 차세대 근로자, 예를 들어 에이전트 감독자에게 도구를 제공하여 에이전트 시스템을 구축하고 자체 보호 기능을 추가할 수 있도록 하는 것입니다. 우리가 그들을 위한 보호 기능을 정의하지는 않을 테니까요.
각 고객은 자체 보호 조치와 비즈니스 로직을 가장 잘 알고 있습니다. 따라서 우리의 임무는 실제로 에이전트 시스템을 구축할 수 있도록 도구와 인프라를 잘 구축하는 것입니다. 따라서 우리는 항상 다음을 강조해 왔습니다. 에이전트 시스템은 블랙박스가 되어서는 안 되며, 이러한 보호 기능, 규칙, 논리를 구축하는 방법을 제어할 수 있어야 합니다.
저는 그것이 지금까지 우리의 가장 차별화된 측면이라고 생각합니다. 우리는 이러한 도구에 많은 노력을 기울였고, 매우 기술적 배경이 없거나 AI 모델이 어떻게 작동하는지에 대한 깊은 이해가 없는 사람들이 AI가 수행하길 원하는 작업을 여전히 Agent 시스템에 입력할 수 있도록 하는 창의적인 방법을 생각해냈습니다.
저는 그것이 앞으로 몇 년 안에 점점 더 중요한 역량이 될 것이라고 생각합니다. 사람들이 비슷한 도구를 평가할 때 가장 중요한 기준 중 하나가 되어야 합니다. 시간이 지남에 따라 이러한 시스템을 지속적으로 최적화하고 개선할 수 있기를 원하기 때문입니다.
자연어로 구동되는 비즈니스 로직
데릭 해리스: 고객이나 기업은 모든 유형의 자동화, 특히 이 에이전트 시스템의 사용을 준비하기 위해 어떤 준비를 할 수 있습니까? 예를 들어, 이러한 시스템을 지원하기 위해 데이터 시스템, 소프트웨어 아키텍처 또는 비즈니스 로직을 어떻게 설계할 수 있습니까?
저는 AI 기술이 처음에는 참신하다고 생각하지만, 기존의 레거시 시스템과 접목하면 종종 많은 혼란에 부딪힌다고 생각합니다.
제시 장: 지금 누군가가 처음부터 구축하고 있다면, 여러분의 일을 더 쉽게 만들어 줄 수 있는 많은 모범 사례가 있습니다. 예를 들어, 지식 기반을 구성하는 방법입니다. 우리는 이러한 것들 중 일부에 대해 작성했고, AI가 정보를 더 쉽게 수집하고 정확도를 개선할 수 있는 몇 가지 방법을 소개했습니다. 구체적인 제안 중 하나는 여러 답변이 있는 하나의 큰 기사를 갖는 대신 지식 기반을 모듈식 부분으로 나누는 것입니다.
API를 설정할 때, Agent 시스템에 더 적합하게 만들고, Agent 시스템이 답을 찾기 위해 많은 계산을 하지 않고도 정보를 쉽게 수집할 수 있는 방식으로 권한과 출력을 설정할 수 있습니다. 이것들은 취할 수 있는 몇 가지 전술적 조치이지만, Agent 시스템을 사용하기 위해 반드시 해야 할 일이 있다고는 말할 수 없습니다.
데릭 해리스: 좋은 문서화는 항상 중요합니다. 근본적으로는 정보를 효과적으로 구성하는 것입니다.
Kimberly Tan: 사람들에게 고객 또는 특정 사용 사례에 가장 적합한 방식으로 에이전트 시스템을 작동하는 방법을 가르치려면 UI와 UX 디자인에 대한 많은 실험이 필요할 수 있고, 기존 소프트웨어와는 매우 다르기 때문에 완전히 새로운 분야에서 새로운 길을 개척해야 할 것입니다.
궁금한데, 어떻게 생각하시나요? 에이전트 중심 세계에서 UI와 UX는 어떻게 보여야 할까요? 앞으로 몇 년 안에 어떻게 바뀔 것 같나요?
제시 장: 우리가 이 문제를 해결했다고는 말할 수 없습니다. 현재 고객에게 효과적인 지역적 최적점을 찾았을 수도 있지만, 우리와 다른 많은 사람들에게는 여전히 진행 중인 연구 분야입니다.
핵심 문제는 앞서 언급한 내용으로 돌아가는데, 바로 에이전트 시스템이 있다는 것입니다. 첫째, 에이전트 시스템이 무엇을 하고 있는지, 어떻게 결정을 내리는지 어떻게 명확하게 볼 수 있을까요? 그런 다음 이 정보를 사용하여 무엇을 업데이트해야 하는지, AI에 어떤 피드백을 제공해야 하는지 어떻게 결정할 수 있을까요? 여기서 UI 요소가 결합되는데, 특히 두 번째 부분이 그렇습니다.
우리는 시간이 지남에 따라 UI와 UX가 점점 더 자연어 기반이 될 것이라고 생각합니다. 왜냐하면 그것이 바로 에이전트 시스템이 생각하는 방식이고, 기본적으로 대규모 언어 모델(LLM)을 훈련하는 기반이기 때문입니다.
극단적으로, 기본적으로 인간처럼 생각하는 초지능 에이전트가 있다면, 당신은 그 에이전트에게 무언가를 보여주고, 설명하고, 피드백을 줄 수 있고, 그 에이전트는 자신의 "마음"에서 업데이트할 것입니다. 매우 유능한 사람이 팀에 합류하여, 당신이 그에게 무언가를 가르치고, 그가 일을 시작하고, 계속해서 그에게 피드백을 주고, 새로운 것, 새로운 문서, 다이어그램 등을 보여줄 수 있다고 상상해 보세요.
극단적인 경우 이런 방향으로 발전할 것이라고 생각합니다. 사물이 더 대화적이고, 더 자연스러운 언어 기반이 되고, 사람들은 예전처럼 복잡한 의사결정 트리로 시스템을 구축하는 것을 멈추고, 원하는 것을 포착하지만, 이런 접근 방식은 쉽게 무너질 수 있습니다. 예전에는 LLM이 없어서 이렇게 해야 했지만, 지금은 에이전트 시스템이 점점 더 강력해지면서 UI와 UX가 더 대화적이 될 것입니다.
Kimberly Tan: 약 1년 반 전, Decagon이 처음 시작되었을 때 LLM이 많은 사용 사례에 매우 적용 가능하다는 일반적인 인식이 있었습니다. 하지만 실제로는 회사가 API를 통해 기본 모델을 호출하고 즉시 지원 문제를 해결할 수 있는 일종의 "GPT 래퍼"에 불과했습니다.
하지만 당연히 기업들이 직접 그 경로로 가는 대신 Decagon과 같은 솔루션을 사용하기로 선택함에 따라, 이는 사실이 아니라는 것이 밝혀졌습니다. 왜 그런지 설명해 주실 수 있을지 궁금했습니다. 내부적으로 구축하는 데 있어 무엇이 과제를 예상보다 더 복잡하게 만들었을까요? 그들은 그 개념에 대해 어떤 오해를 하고 있었을까요?
제시 장: "GPT 래퍼"가 되는 것에는 아무런 문제가 없습니다. Purcell을 AWS 래퍼라고 하거나 그런 식으로 말할 수 있습니다. 보통 사람들이 이 용어를 사용할 때는 경멸적인 의미를 갖습니다.
제 개인적인 견해로는 에이전트 시스템을 구축하는 경우 정의상 LLM을 도구로 사용하게 될 것입니다. 즉, AWS나 GCP에서 일반적으로 구축하는 것처럼 이미 존재하는 것 위에 실제로 구축하는 것입니다.
하지만 실제로 마주칠 수 있는 문제는 LLM을 기반으로 구축한 소프트웨어가 변화를 만들어낼 만큼 "무거우거나" 복잡하지 않다는 것입니다.
돌이켜보면, 우리가 판매하는 것은 기본적으로 소프트웨어입니다. 우리는 실제로 일반 소프트웨어 회사와 같지만, 소프트웨어의 일부이자 도구 중 하나로 LLM을 사용합니다. 하지만 사람들이 이런 종류의 제품을 구매할 때, 그들은 주로 소프트웨어 자체를 원합니다. 그들은 AI를 모니터링할 수 있는 도구, AI가 하는 모든 대화의 세부 사항을 깊이 파헤칠 수 있는 도구, 피드백을 제공할 수 있는 도구, 시스템을 지속적으로 구축하고 조정할 수 있는 도구를 원합니다.
그래서 그것이 우리 소프트웨어의 핵심입니다. 에이전트 시스템 자체에도 사람들이 겪는 문제는 데모를 하는 것은 멋지지만, 프로덕션에 적합하고 실제로 고객과 마주하게 하려면 "환상" 현상을 방지하고 혼란을 일으키려는 악의적인 행위자를 처리하는 것과 같은 많은 오래된 문제를 해결해야 한다는 것입니다. 또한 지연 시간이 충분히 낮고 톤이 적절한지 등을 확인해야 합니다.
우리는 많은 팀과 이야기를 나누었고, 그들은 몇 가지 실험을 했고, 예비 버전을 만들었고, 그런 다음 "아, 정말, 우리는 나중에 이런 세부 사항을 계속 만들고 싶지 않아."라는 것을 깨달았습니다. 그들은 또한 고객 서비스 팀에 새로운 논리를 계속 추가하는 사람이 되고 싶어하지 않았습니다. 그래서 이 시점에서는 다른 사람들과 협력하는 것을 선택하는 것이 더 적절해 보입니다.
킴벌리 탠: 나쁜 행위자들을 다루는 것 등 장기적인 문제에 대해 언급하셨는데요.AI Agent를 사용하는 것을 고려하는 많은 청취자는 LLM 도입 후 발생할 수 있는 새로운 보안 공격 경로나 Agent 시스템 도입 후 발생할 수 있는 새로운 보안 위험에 대해 걱정하고 있다고 생각합니다. 이러한 문제에 대해 어떻게 생각하십니까? 그리고 이러한 문제를 다룰 때 최고 수준의 엔터프라이즈 보안을 보장하기 위한 모범 사례는 무엇입니까? 대리인?
제시 장: 보안 측면에서, 제가 앞서 언급했듯이 취할 수 있는 몇 가지 명백한 조치가 있습니다. 예를 들어 보호 조치의 필요성입니다. 핵심 문제는 사람들이 LLM에 대해 우려하는 것이 결정적이지 않다는 것입니다.
하지만 좋은 소식은 대부분의 민감하고 복잡한 작업을 결정적 벽 뒤에 실제로 둘 수 있고, API를 호출할 때 계산이 그곳에서 이루어진다는 것입니다. 따라서 LLM에만 의존하여 처리하지 않아도 되고, 핵심적인 문제를 많이 피할 수 있습니다.
하지만 예를 들어 악의적인 행위자가 방해하거나 누군가가 시스템을 환각 상태로 만들려고 시도하는 상황이 여전히 있습니다. 우리가 협력하는 주요 고객 중 다수에서 보안 팀이 들어와 기본적으로 우리 제품에 대한 "레드팀" 테스트를 수행하여 수 주 동안 시스템에 대한 다양한 가능한 공격을 지속적으로 실행하여 취약점을 찾는 것을 관찰했습니다. AI Agent가 점점 더 인기를 얻으면서 이런 일이 점점 더 자주 발생할 수 있습니다. 이는 시스템이 효과적인지 테스트하는 가장 좋은 방법 중 하나이기 때문입니다. 레드팀 테스트를 통해 시스템에 무언가를 던져 방어를 뚫을 수 있는지 확인하는 것입니다.
또한 레드팀 도구를 개발하거나 사람들이 이런 종류의 테스트를 직접 할 수 있도록 하는 스타트업도 있는데, 이는 현재 우리가 보고 있는 추세입니다. 우리가 함께 일하는 많은 회사는 판매 주기의 후반 단계에서 보안 팀을 두거나 외부 팀과 협력하여 시스템에 스트레스 테스트를 실시합니다. 우리에게는 이런 종류의 테스트를 통과할 수 있는 것이 필수입니다. 그래서 궁극적으로 그것이 중요합니다.
데릭 해리스: 고객에게 권장하는 일인가요? AI 정책에 대해 이야기할 때 중요한 측면인 애플리케이션 계층을 언급하고 강조합니다. 의 모델 자체를 비난하기보다는 LLM 사용자와 애플리케이션을 실행하는 사람들에게 책임을 묻습니다. 즉, 고객은 OpenAI 또는 다른 회사에서 이미 설정한 보안 보호에 의존하기보다는 레드팀 테스트를 수행하고, 특정 사용 사례와 공격 경로를 식별하고, 어떤 취약성을 보호해야 하는지 결정해야 합니다.
제시 장: 저는 전적으로 동의합니다. 또한, 현재 모든 사람이 하고 있는 SOC 2 인증 및 HIPAA 인증과 유사한 새로운 알림 요구 사항이 등장할 수 있다고 생각합니다. 이는 다양한 산업에서 요구됩니다. 일반적으로 일반적인 SaaS 제품을 판매할 때 고객은 침투 테스트를 요구하고, 우리도 침투 테스트 보고서를 제공해야 합니다. AI Agent의 경우, 미래에 유사한 요구 사항이 있을 수 있으며, 누군가가 이름을 붙일 수도 있지만, 기본적으로 이것은 Agent 시스템이 충분히 강력한지 테스트하는 새로운 방법입니다.
Kimberly Tan: 흥미로운 점 하나는 모든 사람이 모든 대형 랩에서 도입하는 새로운 모델 혁신과 기술적 혁신에 대해 매우 흥분한다는 것입니다. AI 회사로서 여러분은 분명히 스스로 연구를 하지 않지만, 그 연구를 활용하고 이를 중심으로 많은 소프트웨어를 구축하여 최종 고객에게 제공합니다.
하지만 당신의 업무는 빠르게 변화하는 기술에 기반을 두고 있습니다. 응용 AI 회사로서 새로운 기술 변화에 발맞추고 회사에 어떤 영향을 미치는지 이해하면서 자체 제품 로드맵을 예측하고 사용자 요구를 구축하는 방법이 궁금합니다. 더 광범위하게 응용 AI 회사는 비슷한 상황에서 어떤 전략을 채택해야 할까요?
제시 장: 실제로 전체 스택을 여러 부분으로 나눌 수 있습니다. 예를 들어, 애플리케이션 계층을 보면 LLM이 맨 아래에 있습니다. 중간에 LLM을 관리하거나 평가 등을 하는 데 도움이 되는 도구가 있을 수 있습니다. 그런 다음 맨 위 부분은 기본적으로 우리가 만든 것인데, 실제로는 표준 SaaS와 같습니다.
그래서, 우리의 대부분 작업은 실제로 일반 소프트웨어와 크게 다르지 않습니다. 다만, 추가 연구 구성 요소가 있습니다. LLM은 너무 빨리 바뀝니다. 우리는 그들이 무엇을 할 수 있는지, 무엇에 능숙한지, 어떤 모델을 사용하여 특정 작업을 수행해야 하는지 연구해야 합니다. 이는 OpenAI와 Anthropic이 모두 새로운 기술을 출시하고 있고 Gemini도 점차 개선되고 있기 때문에 큰 문제입니다.
그러므로, 어떤 모델이 어떤 상황에서 사용하기에 적합한지 이해하기 위해서는 나만의 평가 메커니즘이 필요합니다. 때로는 미세 조정도 필요하지만, 문제는 언제 미세 조정을 해야 하는가입니다. 미세 조정이 가치 있는 때는 언제인가요? 이것들은 아마도 우리가 집중하고 있는 LLM과 관련된 주요 연구 문제일 것입니다. 하지만 적어도 지금까지는 SaaS가 빠르게 변화하고 있다고 느끼지 못합니다. 왜냐하면 우리는 중간 계층에 의존하지 않기 때문입니다. 그래서 기본적으로 변화하는 것은 LLM입니다. LLM은 자주 바뀌지 않으며, 바뀌더라도 대개 업그레이드입니다. 예를 들어, Claude 3.5 sonnet은 몇 달 전에 업데이트되었고, 그때 우리는 "좋아요, 이전 모델을 계속 사용하는 대신 새 모델로 전환해야 할까요?"라고 생각했습니다.
우리는 일련의 평가를 실행하기만 하면 되고, 새로운 모델로 전환한 후에는 더 이상 생각하지 않습니다. 왜냐하면 여러분이 이미 새로운 모델을 사용하고 있기 때문입니다. 그런 다음 o1 버전이 나왔고, 상황은 비슷했습니다. 어디에서 사용할 수 있는지 생각해보세요. 우리의 경우, o1은 대부분 고객 대면 사용 사례에 약간 느리기 때문에 일부 백그라운드 작업에 사용할 수 있습니다. 궁극적으로는 모델 연구를 위한 좋은 시스템이 필요합니다.
Kimberly Tan: 새 모델을 평가하고 교체 여부를 결정하는 빈도는 얼마나 되나요?
제시 장: 새로운 모델이 나올 때마다 평가합니다. 새로운 모델이 더 똑똑해졌더라도 이미 구축한 일부 사용 사례를 깨지 않도록 해야 합니다. 이런 일이 발생할 수 있습니다. 예를 들어, 새로운 모델이 전반적으로 더 똑똑해졌을 수 있지만 극단적인 경우 워크플로 중 하나에서 A/B 선택에서 성능이 좋지 않을 수 있습니다. 이것이 우리가 평가하는 것입니다.
전반적으로 우리가 가장 중요하게 여기는 지능 유형은 제가 "지시를 따르는 능력"이라고 부르는 것입니다. 우리는 모델이 지시를 따르는 데 점점 더 나아지기를 바랍니다. 만약 그렇다면, 그것은 분명히 우리에게 유익하고, 그것은 매우 좋습니다.
최근의 연구는 더 나은 프로그래밍과 더 나은 수학적 연산과 같은 추론을 포함하는 지능 유형에 더 집중한 것으로 보입니다. 이것도 우리에게 도움이 되지만, 지시에 따른 능력의 향상만큼 중요하지는 않습니다.
Kimberly Tan: 당신이 언급한 매우 흥미로운 점은 Decagon만의 독특한 점이라고 생각하는데, 제공하는 테스트 세트에서 각 모델이 어떻게 수행되는지 정확히 파악할 수 있도록 자체적으로 많은 평가 인프라를 구축했다는 점입니다.
이에 대해 자세히 설명해 주시겠습니까? 이 사내 평가 인프라는 얼마나 중요하며, 구체적으로 어떻게 귀하와 귀하의 고객에게 에이전트의 성과에 대한 확신을 제공합니까? 이러한 평가 중 일부는 고객 대면이기도 하기 때문입니다.
제시 장: 저는 이것이 매우 중요하다고 생각합니다. 이러한 평가 인프라가 없다면 우리가 신속하게 반복 작업을 진행하기가 매우 어려울 것이기 때문입니다.
모든 변경 사항이 무언가를 망칠 가능성이 높다고 느낀다면, 당신은 재빨리 변경하지 않을 것입니다. 하지만 평가 메커니즘이 있다면, 주요 변경 사항, 모델 업데이트 또는 새로운 것이 나올 때, 당신은 그것을 모든 평가 테스트와 직접 비교할 수 있습니다. 평가 결과가 좋다면, 당신은 "좋아, 우리가 개선했다"고 느낄 수 있거나, 너무 걱정하지 않고 자신 있게 릴리스할 수 있습니다.
그래서 우리 분야에서는, 평가에는 고객의 의견이 필요합니다. 고객이 무언가가 옳은지 그른지를 결정하기 때문입니다. 물론, 우리는 몇 가지 고수준의 문제를 확인할 수 있지만 일반적으로 고객은 구체적인 사용 사례를 제공하고 정답이 무엇인지, 혹은 무엇이어야 하는지, 어떤 톤을 유지해야 하는지, 무엇을 말해야 하는지 알려줍니다.
평가는 이를 기반으로 합니다. 따라서 우리는 우리의 평가 시스템이 충분히 견고한지 확인해야 합니다. 처음에는 우리가 직접 구축했고, 유지하기가 그렇게 어렵지 않습니다. 또한 평가 회사가 몇 개 있다는 것을 알고 있으며, 그 중 일부를 탐색했습니다. 언젠가는 채택할지 여부를 고려할 수도 있지만, 지금은 평가 시스템이 더 이상 우리에게 골치 아픈 일이 아닙니다.
Kimberly Tan: 오늘날 매우 인기 있는 주제는 멀티모달리티입니다. 즉, AI 에이전트는 텍스트, 비디오, 음성 등 오늘날 인간이 사용하는 모든 형태에서 상호 작용할 수 있어야 합니다. Decagon이 텍스트 기반으로 시작되었다는 것을 알고 있습니다. 당신의 관점에서 볼 때, 얼마나 중요한가요? 멀티모달리티다 AI 에이전트에게? 그것이 주류가 되거나 표준이 되는 데 걸리는 시간은 언제라고 생각하십니까?
제시 장: 중요한 일이며, 회사 관점에서 보면 새로운 모달리티를 추가하는 것은 특별히 어렵지 않습니다. 간단하지는 않지만 핵심은 다음과 같습니다. 예를 들어, 제가 언급한 것과 같은 다른 문제(예: AI 구축, 모니터링 및 올바른 논리)를 해결하면 새로운 모달리티를 추가하는 것이 가장 어려운 일은 아닙니다. 따라서 우리에게는 모든 모달리티를 갖는 것이 매우 합리적이며 시장을 확장합니다. 우리는 기본적으로 모달리티에 구애받지 않으며 각 모달리티에 대한 자체 에이전트를 구축합니다.
일반적으로 두 가지 제한 요소가 있습니다. 첫째, 고객이 새로운 모달리티를 채택할 준비가 되었는가? 텍스트로 시작하는 것이 매우 합리적이라고 생각합니다. 사람들이 가장 적극적으로 채택하는 방식이기 때문이며, 그들에게 덜 위험하고, 모니터링하기 쉽고, 이해하기 쉽습니다. 다른 큰 모달리티는 음성입니다. 분명히, 저는 시장에 여전히 여지가 있다고 생각하고, 음성에 대한 사용자 수용도는 여전히 개선되어야 한다고 생각합니다. 현재, 우리는 음성 에이전트를 채택하기 시작한 얼리어답터를 보고 있는데, 이는 매우 흥미로운 일입니다. 또 다른 측면은 기술적 과제입니다. 대부분의 사람들은 음성에 대한 기준이 더 높다는 데 동의할 것입니다. 전화로 누군가와 통화하는 경우 매우 짧은 음성 지연 시간이 필요합니다. 누군가를 방해하면 자연스럽게 응답해야 합니다.
음성의 지연 시간이 낮기 때문에 계산하는 방법에 더 영리해야 합니다. 채팅을 하고 있고 응답 시간이 5~8초라면 거의 눈치채지 못하고 매우 자연스럽게 느껴집니다. 하지만 전화로 응답하는 데 5~8초가 걸리면 약간 부자연스럽게 느껴집니다. 그래서 음성에는 더 많은 기술적 과제가 있습니다. 이러한 기술적 과제가 해결되고 시장에서 음성을 채택하려는 관심이 증가함에 따라 음성이 새로운 모달리티로 주류가 될 것입니다.
신뢰를 뛰어넘는 비즈니스 모델
Kimberly Tan: 계속하기 전에 AI Agent 비즈니스 모델에 대해 조금 더 이야기하고 싶습니다. 세워짐 AI 에이전트 또는 고객과 그들이 사용하는 시스템, 처리하는 데이터, 우려 사항에 대해 논의했을 때, 당신을 놀라게 한 것이 있었나요? Decagon이 기업 고객에게 더 나은 서비스를 제공하기 위해 해야 했던 비직관적이거나 놀라운 일에는 무엇이 있나요?
제시 장: 제 생각에 가장 놀라운 점은 우리가 처음 시작했을 때 사람들이 우리와 이야기할 의향이 얼마나 있었는지입니다. 결국 우리는 두 명뿐이었으니까요. 우리 둘 다 이전에 회사를 시작했기 때문에 많은 사람을 알고 있었지만, 그럼에도 불구하고 모든 기업가에게 추천 대화를 시작하고 싶을 때 말하는 내용이 특별히 설득력이 없다면 대화는 보통 꽤 미온적입니다.
하지만 우리가 이 사용 사례에 대해 이야기하기 시작했을 때, 사람들이 그것에 대해 이야기하는 데 얼마나 흥분하는지 정말 놀랍다는 것을 알게 되었습니다. 그 아이디어가 너무나 명백해 보였기 때문입니다. 너무나 명백한 아이디어이기 때문에 다른 누군가가 이미 그것을 했을 것이라고 생각할 수도 있고, 이미 해결책이 있을 것이라고 생각할 수도 있고, 다른 누군가가 이미 어떤 종류의 해결책을 내놓았을 것이라고 생각할 수도 있습니다. 하지만 저는 우리가 좋은 순간을 포착했다고 생각합니다. 그 사용 사례는 정말 크고 사람들이 정말 그것에 관심을 가지고 있습니다. 앞서 언급했듯이, 그 사용 사례는 AI Agent를 가져와서 프로덕션에 적용하기에 정말 적합합니다. 점진적으로 구현하고 ROI를 추적할 수 있기 때문입니다.
저에게는 기분 좋은 놀라움이었지만, 그 이후에는 해야 할 일이 많았습니다. 고객과 협력해야 하고, 제품을 만들어야 하고, 어떤 방향으로 가야 할지 알아내야 했습니다. 초기 단계에서는 정말 놀라운 발견이었습니다.
Derrick Harris: Kimberly, RPA에 대한 RIP라는 블로그 게시물을 언급해야 할 것 같습니다. 이 게시물은 많은 내용을 다루고 있습니다. 의 자동화 작업 및 스타트업.자동화된 작업이나 솔루션이 이상적이지 않아 사람들이 항상 더 나은 방법을 찾고 있는 현상이 있다고 생각하시나요?
킴벌리 탄: 네, 그렇게 생각합니다. 몇 가지 말씀드리고 싶습니다. 첫째, 아이디어가 모든 사람에게 명백하지만, 그것을 해결할 명확한 회사가 없거나, 아무도 회사를 가리키며 "이걸 사용해야 합니다"라고 말하지 않는다면, 그 문제는 실제로 해결되지 않았다는 것을 의미합니다.
어떤 의미에서, 그것은 회사가 솔루션을 개발할 수 있는 완전히 열린 기회입니다. 당신이 말했듯이, 우리는 처음부터 투자자로서 Decagon을 따라왔기 때문입니다. 우리는 그들이 창의적인 미로를 헤쳐 나가는 것을 지켜보았고, 그들이 이 방향으로 가기로 결정하고 고객과 대화를 시작했을 때, 모든 고객이 어떤 종류의 네이티브 AI 지원 솔루션을 간절히 원한다는 것이 분명해졌습니다. 이것은 제가 앞서 언급한 문제 중 하나이며, 많은 사람들이 그것이 단지 GPT 래퍼라고 생각합니다. 하지만 Decagon이 처음부터 받은 고객 관심 덕분에 우리는 이러한 문제 중 많은 것이 사람들이 예상하는 것보다 훨씬 더 복잡하다는 것을 일찍 깨닫게 되었습니다.
저는 이런 현상이 고객 서비스든 특정 수직 분야의 전문 자동화든 모든 산업에서 일어나고 있다고 생각합니다. 제시가 앞서 언급했듯이, 과소평가된 점 중 하나는 작업 자동화의 투자 수익률(ROI)을 명확하게 측정할 수 있다는 것입니다. 왜냐하면, 누군가에게 AI 에이전트를 받아들이게 하려면 실제로 어느 정도 "신앙의 도약"을 해야 하기 때문입니다. 많은 사람들에게 이는 매우 생소한 영역이기 때문입니다.
수익 창출이 확실한 프로세스이거나 이전에 비즈니스에 병목 현상을 일으켰던 프로세스이거나 고객 증가 또는 수익 증가에 따라 선형적으로 증가하는 주요 비용 센터인 매우 구체적인 프로세스를 자동화할 수 있다면 AI 에이전트의 수용을 더 쉽게 얻을 수 있습니다. 이런 문제를 기존 소프트웨어처럼 확장 가능한, 보다 생산적인 프로세스로 전환하는 능력은 매우 매력적입니다.
Kimberly Tan: 계속하기 전에 마지막 질문이 하나 있습니다. 제시가 이전 토론에서 소프트웨어나 AI 에이전트를 도입하는 기업의 가장 큰 과제는 환각이라고 항상 말했던 걸 기억합니다. 하지만 당신은 이게 사실 가장 큰 문제가 아니라고 말씀하신 적이 있습니다. 환각에 대한 인식이 다소 오해의 소지가 있는 이유와 사람들이 실제로 더 우려하는 것이 무엇인지 자세히 설명해 주시겠습니까?
제시 장: 저는 사람들이 환각에 대해 신경을 쓴다고 생각하지만, 그들은 환각이 제공할 수 있는 가치에 대해 더 걱정합니다. 우리가 함께 일하는 거의 모든 회사는 거의 정확히 같은 몇 가지 문제에 초점을 맞춥니다. 대화의 몇 퍼센트를 해결할 수 있습니까? 내 고객은 얼마나 만족합니까? 그런 다음 환각 문제는 세 번째 범주, 즉 얼마나 정확한가로 분류될 수 있습니다. 일반적으로 평가할 때 처음 두 가지 요소가 더 중요합니다.
새로운 사업체와 이야기를 나누고 있다고 가정해 보겠습니다. 처음 두 가지 요인에서 정말 좋은 성과를 거두었고, 경영진과 팀원 모두로부터 많은 지원을 받았다고 합시다. 그들은 "맙소사, 우리의 고객 경험이 달라졌어요. 이제 모든 고객이 언제든지 저희에게 연락할 수 있는 개인 비서를 갖게 됐어요. 저희는 고객에게 훌륭한 답변을 제공했고, 고객은 매우 만족스러워했고, 다국어로 24시간 연중무휴로 이용할 수 있어요."라고 말합니다. 그것은 일부에 불과하며, 많은 비용도 절약했습니다.
따라서 목표를 달성하면 많은 지원과 많은 추진력을 얻어 작업을 추진할 수 있습니다. 물론 환상 문제는 궁극적으로 해결해야 하지만, 그들이 가장 걱정하는 것은 아닙니다. 환상을 해결하는 방법은 제가 이전에 언급한 것과 같습니다. 사람들이 당신을 시험할 것입니다. 실제로 대화를 진행하고 팀원이 정확성을 모니터링하고 확인하는 개념 증명 단계가 있을 수 있습니다. 잘 진행되면 보통 통과합니다.
또한, 앞서 언급했듯이 민감한 정보에 대한 엄격한 보호 조치를 설정할 수 있습니다. 예를 들어 민감한 콘텐츠를 반드시 일반화할 필요는 없습니다. 따라서 환상 문제는 대부분의 거래에서 논의되는 주제입니다. 중요하지 않은 주제는 아닙니다. 이 과정을 거치게 되겠지만 대화의 초점은 절대 아닙니다.
Kimberly Tan: 이제 AI Agent의 비즈니스 모델로 넘어가겠습니다. 오늘은 이러한 AI Agent의 가격을 책정하는 방법에 대한 큰 주제가 있습니다.
역사적으로 많은 SaaS 소프트웨어는 개별 직원을 대상으로 하는 워크플로 소프트웨어이고 직원 생산성을 개선하는 데 사용되기 때문에 좌석 수에 따라 가격이 책정되었습니다. 그러나 AI Agent는 기존 소프트웨어처럼 개별 직원의 생산성과 연결되어 있지 않습니다.
좌석 수에 따른 가격 책정 방식이 더 이상 적용되지 않을 수 있다고 생각하는 사람이 너무 많습니다. 저는 궁금합니다. 어떻게 당신은 초기에 이 딜레마에 대해 생각했고 어떻게 Decagon의 가격을 책정하기로 결정했는지요. 또한 AI Agent가 점점 더 보편화됨에 따라 소프트웨어 가격 책정의 미래 추세는 무엇이라고 생각하십니까?
제시 장: 이 문제에 대한 우리의 견해는 과거에는 소프트웨어 가격이 사용자 수에 따라 결정되었기 때문에 시트당 가격이 매겨졌다는 것입니다. 하지만 대부분 AI 에이전트의 경우, 제공하는 가치는 그것을 유지하는 사람의 수에 따라 달라지지 않고, 오히려 생산된 작업량에 따라 달라집니다. 이는 제가 앞서 언급한 요점과 일맥상통합니다. 투자 수익률(ROI)이 매우 측정 가능하다면 작업 산출 수준도 매우 명확합니다.
저희는 좌석 수에 따른 가격 책정은 확실히 적용되지 않는다고 생각합니다. 작업의 결과에 따라 가격을 책정할 수 있습니다. 따라서 제공하는 가격 책정 모델은 작업이 많을수록 더 많이 지불해야 합니다.
우리에게는 가격을 책정하는 두 가지 명확한 방법이 있습니다. 대화에 가격을 책정하거나 AI가 실제로 해결하는 대화에 가격을 책정할 수 있습니다. 우리가 얻은 흥미로운 교훈 중 하나는 대부분의 사람들이 대화 가격 책정 모델을 선택했다는 것입니다. 그 이유는 솔루션에 따라 가격을 책정하는 주요 이점은 무엇을 지불해야 하는지에 대한 비용을 지불한다는 것입니다. 의 AI는 그렇습니다.
하지만 이어지는 질문은, 무엇이 "해결책"으로 간주되는가입니다. 우선, 아무도 이 문제를 깊이 있게 다루고 싶어하지 않습니다. "누군가가 화가 나서 들어와서 당신이 그들을 내쫓는다면, 왜 우리가 그 비용을 지불해야 합니까?"가 되기 때문입니다.
이는 어색한 상황을 만들고 AI 제공자의 인센티브를 약간 이상하게 만듭니다. 솔루션별 청구는 "가능한 한 많은 대화를 해결하고 일부 사람들을 밀어내면 됩니다."라는 의미이기 때문입니다. 하지만 문제를 그냥 밀어내는 것보다 에스컬레이션하는 것이 더 나은 경우가 많고, 고객은 이런 종류의 처리를 좋아하지 않습니다. 따라서 대화별 청구는 더 단순하고 예측 가능합니다.
Kimberly Tan: 미래의 가격 책정 모델은 얼마나 오래 지속될 것으로 생각하시나요?지금 ROI를 언급할 때, 일반적으로 노동 비용을 충당하는 데 사용되었을 수 있는 과거 지출에 기반을 둡니다. AI 에이전트가 더 흔해짐에 따라 장기적으로 AI가 노동 비용과 비교될 것이며 이것이 적절한 벤치마크라고 생각하십니까? 그렇지 않다면 노동 비용을 넘어서는 장기적 가격 책정을 어떻게 생각하십니까?
제시 장: 장기적으로 볼 때 AI 에이전트 가격은 여전히 주로 인건비에 연동될 가능성이 있다고 생각합니다. 그게 바로 에이전트의 장점이죠. 이전에 서비스에 지출했던 비용을 이제 소프트웨어로 전환할 수 있거든요.
이 지출의 일부는 소프트웨어 지출의 10~100배가 될 수 있으므로 많은 비용이 소프트웨어로 전환됩니다. 따라서 노동 비용은 자연스럽게 벤치마크가 됩니다. 고객에게 ROI는 매우 명확합니다. 노동 비용을 X백만 달러 절감할 수 있다면 이 솔루션을 채택하는 것이 합리적입니다. 하지만 장기적으로는 중간 지점일 수 있습니다.
왜냐하면 우리의 에이전트만큼 좋지 않은 제품조차도 더 낮은 가격을 받아들일 것이기 때문입니다. 이는 모든 사람이 시장 점유율을 위해 경쟁하는 전형적인 SaaS 상황과 같습니다.
Kimberly Tan: 현재 SaaS 기업의 미래는 어떻게 될 것으로 생각하시나요? 특히 제품이 기본적으로 AI에 맞춰 구축되지 않았거나, 시트당 가격이 책정되어 결과 중심 가격 책정 모델에 적응할 수 없는 기업의 미래는 어떻게 될 것으로 생각하시나요?
제시 장: 일부 기존 회사의 경우, AI 에이전트 제품을 출시하려고 하면 실제로 약간 까다로울 수 있습니다. 시트 모델을 사용하여 가격을 책정할 수 없기 때문입니다. 더 이상 많은 에이전트가 필요하지 않으면 기존 제품으로 수익을 유지하기 어렵습니다. 이는 기존 회사의 문제이지만 말하기 어렵습니다. 기존 회사는 항상 유통 채널의 이점이 있습니다. 제품이 새 회사만큼 좋지 않더라도 사람들은 80%의 품질만 가진 새로운 공급업체를 받아들이기 위해 노력하는 것을 꺼립니다.
따라서 첫째, 저희와 같은 스타트업이라면 제품이 기존 제품보다 3배 더 뛰어나야 합니다. 둘째, 이는 기존 기업과 스타트업 간의 전형적인 경쟁입니다. 기존 기업은 고객이 많기 때문에 자연스럽게 위험 감수성이 낮습니다. 빠른 반복에서 실수를 하면 막대한 손실을 입게 됩니다. 그러나 스타트업은 더 빨리 반복할 수 있으므로 반복 프로세스 자체가 더 나은 제품으로 이어질 수 있습니다. 이는 일반적인 사이클입니다. 저희는 항상 납품 속도, 제품 품질 및 팀의 실행을 자랑스러워했습니다. 이것이 저희가 현재 거래를 이긴 이유입니다.
Kimberly Tan: 직장에서 AI의 미래에 대한 예측을 할 수 있나요? 예를 들어, 직원의 요구나 역량이 어떻게 바뀔지, 또는 인간 직원과 AI 에이전트가 어떻게 상호 작용할지에 대해 말씀해 주시겠어요?AI 에이전트가 더욱 널리 보급됨에 따라 직장에서 표준이 될 새로운 모범 사례 또는 규범은 무엇이라고 생각하십니까?
제시 장: 첫 번째이자 가장 중요한 변화는 미래에 직원들이 직장에서 AI 에이전트를 구축하고 관리하는 데 더 많은 시간을 할애하게 될 것이라는 확신입니다. 마치 AI 감독자의 역할과 비슷합니다. 공식적으로 "AI 감독자"가 아니더라도 과거에는 업무를 수행하는 데 사용하던 시간의 상당 부분이 이러한 에이전트를 관리하는 데 전환될 것입니다. 에이전트는 여러분에게 많은 영향력을 줄 수 있기 때문입니다.
우리는 한때 팀 리더였던 사람들이 이제는 AI를 모니터링하는 데 많은 시간을 보내는 많은 배포에서 이를 보았습니다. 예를 들어, 문제가 없는지 확인하거나 조정하기 위해서입니다. 그들은 전반적인 성과를 모니터링하여 주의가 필요한 특정 영역이 있는지, AI가 더 나아질 수 있도록 도울 수 있는 지식 기반에 격차가 있는지, 그리고 AI가 그 격차를 메울 수 있는지 확인합니다.
에이전트와 함께 일하는 데 따르는 업무는 미래에 직원들이 AI 에이전트와 상호 작용하는 데 상당한 시간을 보낼 것이라는 인상을 줍니다. 이는 앞서 언급했듯이 우리 회사의 핵심 개념입니다. 따라서 우리의 전체 제품은 사람들에게 도구, 시각화, 해석 가능성, 제어 기능을 제공하는 데 중점을 두고 구축되었습니다. 저는 1년 안에 이것이 거대한 트렌드가 될 거라고 생각해요.
Kimberly Tan: 매우 타당합니다. 미래에 AI 감독자에게 어떤 역량이 필요하다고 생각하십니까? 이 역할에 필요한 기술 세트는 무엇입니까?
제시 장: 두 가지 측면이 있습니다. 하나는 관찰 가능성과 해석 가능성, 즉 AI가 무엇을 하고 있는지, 어떻게 결정을 내리는지 빠르게 이해하는 능력입니다. 다른 하나는 의사 결정 능력, 즉 피드백을 제공하고 새로운 논리를 구축하는 방법을 구축하는 부분입니다. 저는 이 둘이 같은 동전의 양면이라고 생각합니다.
Kimberly Tan: 중장기적으로 AI 에이전트의 역량을 벗어나는 작업 중 인간이 올바르게 관리하고 수행해야 할 작업은 무엇이라고 생각하십니까?
제시 장: 저는 그것이 제가 앞서 언급한 "완벽함"에 대한 요구 사항에 주로 달려 있다고 생각합니다. 오류에 대한 허용 범위가 매우 낮은 작업이 많이 있습니다. 이런 경우 모든 AI 도구는 완전한 에이전트라기보다는 보조 도구에 가깝습니다.
예를 들어, 헬스케어나 보안과 같이 거의 완벽해야 하는 민감한 산업의 경우, 이러한 분야에서 AI 에이전트는 덜 자율적이 될 수 있지만, 그렇다고 해서 쓸모가 없다는 것은 아닙니다. 스타일이 다를 것이라고 생각합니다. 저희와 같은 플랫폼에서는 실제로 이러한 에이전트를 배포하여 전체 작업을 자동화하게 됩니다.
데릭 해리스: 이번 에피소드는 여기까지입니다. 이 주제가 흥미롭거나 영감을 주었다면, 저희 팟캐스트를 평가하고 더 많은 사람들과 공유해 주세요.연말 전에 마지막 에피소드를 공개할 예정이며 새해를 위해 콘텐츠를 재정비할 예정입니다. 들어주셔서 감사하고 즐거운 명절 보내세요(명절 때 들으시는 경우).
원본 영상: Al 에이전트가 마침내 고객 지원을 수정할 수 있습니까??
