Điểm nổi bật
- Điều kỳ diệu của LLM là chúng rất linh hoạt, có thể thích nghi với nhiều tình huống khác nhau và có trí thông minh cơ bản.
- Chúng tôi tin rằng theo thời gian, UI và UX sẽ ngày càng dựa trên ngôn ngữ tự nhiên hơn, vì đây là cách hệ thống Agent suy nghĩ hoặc về cơ bản là cơ sở đào tạo cho các mô hình ngôn ngữ lớn (LLM).
- Nếu bạn muốn ai đó chấp nhận một Đặc vụ AI, thực ra họ đang thực hiện một "bước nhảy vọt về đức tin" vì đối với nhiều người, đây là một lĩnh vực rất xa lạ.
AI Agent định hình lại trải nghiệm của khách hàng
Jesse Trương: Một Agent thực sự được xây dựng như thế nào? Quan điểm của chúng tôi là theo thời gian, nó sẽ ngày càng giống một Agent dựa trên ngôn ngữ tự nhiên hơn vì đó là cách các mô hình ngôn ngữ lớn (LLM) được đào tạo.
Về lâu dài, nếu bạn có một tác nhân siêu thông minh thực sự giống như con người, bạn có thể cho nó xem mọi thứ, giải thích cho nó, cung cấp phản hồi và nó sẽ cập nhật thông tin trong tâm trí nó.
Bạn có thể tưởng tượng có một thành viên nhóm người rất có năng lực. Khi họ mới tham gia, bạn dạy họ một điều gì đó, họ bắt đầu làm việc, sau đó bạn cung cấp cho họ phản hồi và chỉ cho họ thông tin mới.
Cuối cùng, nó sẽ phát triển theo hướng này – nó sẽ trở nên mang tính đàm thoại hơn và dựa nhiều hơn vào ngôn ngữ tự nhiên, và cách mọi người giao tiếp với nhau sẽ trở nên tự nhiên hơn. Và mọi người sẽ không còn sử dụng những cây quyết định phức tạp đó để nắm bắt các yêu cầu, vốn có thể hiệu quả nhưng dễ bị sụp đổ.
Trước đây, chúng tôi phải làm điều này vì chúng tôi không có mô hình ngôn ngữ lớn. Nhưng bây giờ, với sự tiến bộ liên tục của Agent, trải nghiệm người dùng (UX) và giao diện người dùng (UI) sẽ trở nên mang tính đàm thoại hơn.
Derrick Harris: Xin chào mọi người, chào mừng đến với Podcast AI A16z. Tôi là Derrick Harris, và hôm nay tôi sẽ tham gia cùng Jesse Zhang, đồng sáng lập kiêm CEO của Decagon, và Kimberly Tan, đối tác tại a16z. Kimberly sẽ điều phối cuộc thảo luận và Jesse sẽ chia sẻ kinh nghiệm xây dựng Decagon và các sản phẩm của công ty.
Nếu bạn chưa biết nhiều về nó, Decagon là một công ty khởi nghiệp cung cấp các tác nhân AI cho các doanh nghiệp để hỗ trợ dịch vụ khách hàng. Các tác nhân này không phải là chatbot hay trình bao bọc LLM cho một lệnh gọi API duy nhất, mà là các tác nhân tiên tiến được tùy chỉnh cao có thể xử lý các quy trình công việc phức tạp dựa trên nhu cầu cụ thể của công ty.
Ngoài việc giải thích lý do tại sao họ tạo ra Decagon và cách nó được thiết kế để xử lý các môi trường LLM và khách hàng khác nhau, Jesse còn nói về những lợi ích của mô hình kinh doanh tính phí theo cuộc trò chuyện và cách AI Agents sẽ thay đổi các kỹ năng cần thiết của những người đứng đầu bộ phận hỗ trợ khách hàng.
Cũng đáng nói đến là Kimberly gần đây đã viết một bài đăng trên blog có tiêu đề “RIP to RPA, The Rise of Intelligent Automation” (Chuyển đổi từ RPA sang Tự động hóa thông minh), mà chúng ta sẽ thảo luận ngắn gọn trong tập này.
Đây là điểm khởi đầu tuyệt vời để hiểu cách tự động hóa đang diễn ra trong các quy trình kinh doanh và chúng tôi sẽ cung cấp liên kết trong ghi chú chương trình. Cuối cùng, để nhắc lại, nội dung của bài viết này chỉ nhằm mục đích cung cấp thông tin và không được coi là lời khuyên về pháp lý, kinh doanh, thuế hoặc đầu tư, cũng không được sử dụng để đánh giá bất kỳ khoản đầu tư hoặc chứng khoán nào và không hướng đến bất kỳ nhà đầu tư quỹ a16z hoặc nhà đầu tư tiềm năng nào.
Jesse Trương: Giới thiệu sơ lược về bản thân. Tôi sinh ra và lớn lên ở Boulder, và tôi đã tham gia rất nhiều cuộc thi toán học và những thứ tương tự khi còn nhỏ. Tôi học khoa học máy tính tại Harvard, và sau đó thành lập một công ty cũng được a16z hỗ trợ. Cuối cùng chúng tôi đã được Niantic mua lại.
Sau đó chúng tôi bắt đầu xây dựng Decagon. Hoạt động kinh doanh của chúng tôi là xây dựng AI Agents cho dịch vụ khách hàng. Lúc đầu, chúng tôi làm điều này vì chúng tôi muốn làm điều gì đó rất gần gũi với trái tim mình.
Tất nhiên, không ai cần được dạy về vai trò của AI Agents trong dịch vụ khách hàng, đúng không? Chúng ta đều đã từng gọi điện cho các hãng hàng không, khách sạn, v.v. và chờ đợi. Vì vậy, ý tưởng này xuất phát từ đó.
Chúng tôi đã trao đổi với nhiều khách hàng để tìm ra chính xác loại sản phẩm nào chúng tôi nên xây dựng. Một điều nổi bật đối với chúng tôi là khi chúng tôi tìm hiểu thêm về AI Agents, chúng tôi bắt đầu nghĩ về tương lai sẽ như thế nào khi có rất nhiều AI Agents. Tôi nghĩ mọi người đều tin rằng sẽ có rất nhiều AI Agents trong tương lai.
Điều chúng ta nghĩ đến là những nhân viên làm việc xung quanh các tác nhân AI sẽ làm gì? Họ sẽ có những loại công cụ nào? Họ sẽ kiểm soát hoặc xem các tác nhân mà họ làm việc cùng hoặc quản lý như thế nào?
Vậy đây là cốt lõi của cách chúng tôi xây dựng công ty xung quanh câu hỏi này. Tôi nghĩ đây cũng là điều khiến chúng tôi khác biệt ngay lúc này, vì chúng tôi cung cấp cho các tác nhân AI này nhiều công cụ khác nhau để giúp những người chúng tôi làm việc cùng xây dựng và định cấu hình các tác nhân này để chúng không còn là "hộp đen" nữa. Đây là cách chúng tôi xây dựng thương hiệu của mình.
Derrick Harris: Điều gì đã truyền cảm hứng cho anh chuyển sang lĩnh vực phần mềm doanh nghiệp, vì công ty trước của anh chỉ là một công ty video hướng tới người tiêu dùng?
Jesse Trương: Câu hỏi tuyệt vời. Tôi nghĩ những người sáng lập thường "không thiên vị chủ đề" khi nói đến việc chọn chủ đề, bởi vì trên thực tế, khi bạn tiếp cận một lĩnh vực mới, bạn thường khá ngây thơ. Vì vậy, có một lợi thế khi nhìn nhận mọi thứ theo một góc nhìn mới. Vì vậy, khi chúng tôi suy nghĩ về điều đó, hầu như không có hạn chế nào về chủ đề.
Tôi nghĩ đó là một mô hình rất phổ biến đối với những người có nền tảng định lượng hơn, bao gồm cả tôi. Sau khi thử các sản phẩm tiêu dùng, bạn có xu hướng hướng nhiều hơn đến phần mềm doanh nghiệp vì phần mềm doanh nghiệp có nhiều vấn đề cụ thể hơn.
Bạn có những khách hàng thực tế với nhu cầu và ngân sách thực tế và những thứ tương tự như vậy, và bạn có thể tối ưu hóa và giải quyết các vấn đề cho những nhu cầu và ngân sách đó. Thị trường tiêu dùng cũng rất hấp dẫn, nhưng nó dựa nhiều vào trực giác hơn là dựa trên thử nghiệm. Đối với cá nhân tôi, phần mềm doanh nghiệp phù hợp hơn.
Kimberly Tan: Trước tiên, chúng ta có thể bắt đầu bằng câu hỏi này: Các danh mục hỗ trợ phổ biến nhất mà Decagon xử lý hiện nay là gì? Bạn có thể giải thích thêm về cách bạn sử dụng các mô hình ngôn ngữ lớn (LLM) để giải quyết các vấn đề này và những gì bạn có thể làm mà trước đây bạn không thể làm được không?
Jesse Trương: Nếu bạn nhìn lại quá trình tự động hóa trước đây, bạn có thể đã sử dụng cây quyết định để làm một việc đơn giản, để xác định con đường nào cần đi. Nhưng tất cả chúng ta đều đã sử dụng chatbot và đó là một trải nghiệm khá bực bội.
Thường thì câu hỏi của bạn không thể được trả lời đầy đủ bằng một cây quyết định. Vì vậy, cuối cùng bạn sẽ được hướng dẫn theo một đường dẫn câu hỏi có liên quan đến câu hỏi nhưng không khớp chính xác với câu hỏi đó. Bây giờ, chúng ta có các mô hình ngôn ngữ lớn (LLM). Điều kỳ diệu của LLM là chúng rất linh hoạt, có thể thích ứng với nhiều tình huống khác nhau và có trí thông minh cơ bản.
Khi bạn áp dụng điều này vào dịch vụ hỗ trợ khách hàng hoặc khi khách hàng đặt câu hỏi, bạn có thể cung cấp dịch vụ được cá nhân hóa hơn. Đây là điểm đầu tiên, mức độ cá nhân hóa đã được cải thiện đáng kể. Điều này mở ra các số liệu cao hơn. Bạn có thể giải quyết nhiều vấn đề hơn, khách hàng hài lòng hơn và sự hài lòng của khách hàng tăng lên.
Bước tự nhiên tiếp theo là: nếu bạn có trí thông minh này, bạn sẽ có thể làm nhiều việc hơn mà con người có thể làm. Những việc mà con người có thể làm là họ có thể lấy dữ liệu theo thời gian thực, họ có thể hành động và họ có thể lý luận qua nhiều bước. Nếu khách hàng hỏi một câu hỏi tương đối phức tạp, có thể là "Tôi muốn làm điều này và điều kia", và AI chỉ được chuẩn bị để xử lý câu hỏi đầu tiên. LLM đủ thông minh để nhận ra rằng có hai câu hỏi ở đây. Đầu tiên, nó sẽ giải quyết vấn đề đầu tiên, và sau đó giúp bạn giải quyết vấn đề thứ hai.
Trước khi LLM xuất hiện, điều này về cơ bản là không thể. Vì vậy, hiện nay chúng ta đang chứng kiến một bước thay đổi trong những gì công nghệ có thể làm được, và đó là nhờ LLM.
Kimberly Tan: Trong bối cảnh này, bạn định nghĩa thế nào về một AI Agent? Vì từ “Agent” được sử dụng rộng rãi, tôi tò mò muốn biết nó thực sự có nghĩa là gì trong bối cảnh của Decagon.
Jesse Trương: Tôi muốn nói rằng Agent đề cập nhiều hơn đến một hệ thống mà nhiều hệ thống LLM (mô hình ngôn ngữ lớn) hoạt động cùng nhau. Bạn có một lệnh gọi LLM, về cơ bản bao gồm việc gửi lời nhắc và nhận phản hồi. Đối với một Agent, bạn muốn có thể kết nối nhiều lệnh gọi như vậy, thậm chí có thể là đệ quy.
Ví dụ, bạn có một lệnh gọi LLM xác định cách xử lý tin nhắn, sau đó nó có thể kích hoạt các lệnh gọi khác để thu thập thêm dữ liệu, thực hiện các hành động và lặp lại những gì người dùng đã nói, thậm chí có thể đặt các câu hỏi tiếp theo. Vì vậy, đối với chúng tôi, một Agent có thể được hiểu là một mạng lưới các lệnh gọi LLM, lệnh gọi API hoặc logic khác hoạt động cùng nhau để mang lại trải nghiệm tốt hơn.
Kimberly Tan: Về chủ đề này, có lẽ chúng ta có thể nói nhiều hơn về cơ sở hạ tầng Agent mà bạn thực sự đã xây dựng. Tôi nghĩ một điểm rất thú vị là có rất nhiều bản trình diễn về AI Agent trên thị trường, nhưng tôi nghĩ có rất ít ví dụ về chúng thực sự có thể chạy ổn định trong môi trường sản xuất. Và rất khó để biết từ bên ngoài đâu là thật và đâu là không.
Vậy theo ý kiến của bạn, khía cạnh nào của AI Agent ngày nay đang hoạt động tốt và khía cạnh nào vẫn cần đột phá về công nghệ để khiến chúng mạnh mẽ và đáng tin cậy hơn?
Jesse Trương: Quan điểm của tôi thực sự hơi khác một chút. Sự khác biệt giữa việc xác định một AI Agent chỉ là bản demo hay "thực sự hoạt động" không hoàn toàn nằm ở ngăn xếp công nghệ, vì tôi nghĩ hầu hết mọi người có thể đang sử dụng cùng một công nghệ. Tôi nghĩ rằng khi bạn đã tiến xa hơn trong quá trình phát triển công ty của mình, ví dụ, công ty của chúng tôi đã được thành lập hơn một năm, bạn sẽ tạo ra thứ gì đó rất cụ thể phù hợp với trường hợp sử dụng của mình.
Nhưng xét cho cùng, mọi người đều có thể tiếp cận cùng một mô hình và sử dụng công nghệ tương tự. Tôi nghĩ rằng yếu tố tạo nên sự khác biệt lớn nhất về khả năng hoạt động hiệu quả của một tác nhân AI thực chất nằm ở dạng trường hợp sử dụng. Thật khó để biết điều này lúc đầu, nhưng nhìn lại, bạn sẽ thấy có hai thuộc tính rất quan trọng để một tác nhân AI có thể vượt ra ngoài phạm vi trình diễn và đi vào ứng dụng thực tế.
Đầu tiên là trường hợp sử dụng mà bạn giải quyết phải có ROI (lợi tức đầu tư) có thể định lượng được. Điều này rất quan trọng, vì nếu ROI không thể định lượng được, sẽ rất khó để thuyết phục mọi người thực sự sử dụng sản phẩm của bạn và trả tiền cho nó. Trong trường hợp của chúng tôi, chỉ số định lượng là: bạn giải quyết được bao nhiêu phần trăm yêu cầu hỗ trợ? Vì con số này rõ ràng, mọi người có thể hiểu được – ồ, được thôi, nếu bạn giải quyết nhiều hơn, tôi có thể so sánh kết quả này với chi phí và thời gian hiện tại của tôi. Vì vậy, nếu có chỉ số này, một chỉ số khác rất quan trọng đối với chúng tôi là sự hài lòng của khách hàng. Vì ROI có thể dễ dàng định lượng được, mọi người sẽ thực sự chấp nhận nó.
Yếu tố thứ hai là các trường hợp sử dụng phải ngày càng khó khăn hơn. Sẽ rất khó khăn nếu bạn cần một Agent trở thành siêu nhân ngay từ đầu, giải quyết gần 100% các trường hợp sử dụng. Bởi vì như chúng ta đã biết, LLM không mang tính xác định, bạn phải có một số loại kế hoạch dự phòng. May mắn thay, có một tính năng tuyệt vời của các trường hợp sử dụng hỗ trợ, đó là bạn luôn có thể chuyển sang con người. Ngay cả khi bạn chỉ có thể giải quyết một nửa số vấn đề, thì nó vẫn rất có giá trị đối với mọi người.
Vì vậy, tôi nghĩ rằng hỗ trợ có đặc điểm này khiến nó rất phù hợp với AI Agent. Tôi nghĩ rằng có nhiều lĩnh vực khác mà mọi người có thể tạo ra các bản demo ấn tượng mà bạn thậm chí không cần phải xem xét kỹ để hiểu tại sao AI Agent lại hữu ích. Nhưng nếu nó phải hoàn hảo ngay từ đầu, thì sẽ rất khó. Nếu đúng như vậy, hầu như không ai muốn thử hoặc sử dụng nó vì hậu quả của sự không hoàn hảo của nó có thể rất nghiêm trọng - ví dụ, về mặt bảo mật.
Ví dụ, khi mọi người thực hiện mô phỏng, họ luôn có suy nghĩ kinh điển này: "Ồ, thật tuyệt nếu LLM có thể đọc được điều này". Nhưng thật khó để tưởng tượng ai đó nói rằng, "Được rồi, AI Agent, hãy làm đi. Tôi tin là bạn có thể làm được". Bởi vì nếu mắc lỗi, hậu quả có thể rất nghiêm trọng.
Jesse Trương: Điều này thường do khách hàng của chúng tôi quyết định và trên thực tế, chúng tôi thấy có rất nhiều sự khác biệt. Ở một thái cực, một số người thực sự làm cho Agent của họ trông giống như một con người, vì vậy có một hình đại diện là con người, một cái tên là con người và các phản hồi rất tự nhiên. Mặt khác, Agent chỉ đơn giản tuyên bố rằng nó là AI và làm rõ điều này với người dùng. Tôi nghĩ rằng các công ty khác nhau mà chúng tôi hợp tác có các vị trí khác nhau về vấn đề này.
Thông thường, nếu bạn đang làm việc trong một ngành được quản lý, bạn phải làm rõ điều này. Điều tôi thấy thú vị hiện nay là hành vi của khách hàng đang thay đổi. Bởi vì nhiều khách hàng của chúng tôi đang nhận được rất nhiều phản hồi trên phương tiện truyền thông xã hội, như là, "Ôi trời, đây là trải nghiệm trò chuyện đầu tiên mà tôi từng thử mà thực sự có cảm giác như vậy" hoặc "Đây chỉ là phép thuật". Và điều đó thật tuyệt vời đối với họ, bởi vì bây giờ khách hàng của họ đang học được rằng, nếu đó là trải nghiệm AI, thì nó thực sự có thể tốt hơn con người. Trước đây thì không như vậy, bởi vì hầu hết chúng ta đều đã có trải nghiệm dịch vụ khách hàng qua điện thoại như vậy trong quá khứ: "Được rồi, AI, AI, AI..."
Kimberly Tan: Bạn đã đề cập đến khái niệm cá nhân hóa một vài lần. Mọi người đều sử dụng cùng một kiến trúc công nghệ cơ bản, nhưng họ có nhu cầu cá nhân hóa khác nhau về mặt dịch vụ hỗ trợ. Bạn có thể nói về điều này không? Cụ thể, bạn đạt được cá nhân hóa như thế nào để mọi người có thể nói trực tuyến rằng, "Ôi trời, đây là trải nghiệm hỗ trợ tốt nhất mà tôi từng có"?
Jesse Trương: Đối với chúng tôi, cá nhân hóa xuất phát từ việc tùy chỉnh cho người dùng. Bạn cần hiểu thông tin cơ bản của người dùng, đây là bối cảnh bổ sung cần thiết. Thứ hai, bạn cũng cần hiểu logic kinh doanh của khách hàng.Nếu bạn kết hợp cả hai, bạn có thể mang lại trải nghiệm khá tốt.
Rõ ràng, điều này nghe có vẻ đơn giản, nhưng trên thực tế, rất khó để có được tất cả bối cảnh cần thiết. Do đó, phần lớn công việc của chúng tôi là về cách xây dựng các thành phần nguyên thủy phù hợp để khi khách hàng triển khai hệ thống của chúng tôi, họ có thể dễ dàng quyết định, "Được rồi, đây là logic kinh doanh mà chúng tôi muốn". Ví dụ, trước tiên bạn cần thực hiện bốn bước này và nếu bước ba không thành công, bạn cần chuyển sang bước năm.
Bạn muốn có thể dạy AI điều này một cách dễ dàng, nhưng cũng cung cấp cho nó quyền truy cập vào thông tin như, "Đây là thông tin chi tiết về tài khoản của người dùng. Nếu bạn cần thêm thông tin, bạn có thể gọi các API này." Các lớp này là lớp phối hợp trên mô hình và theo một cách nào đó, chúng làm cho Agent thực sự hữu ích.
Kimberly Tan: Nghe có vẻ như trong trường hợp này, bạn cần rất nhiều quyền truy cập vào hệ thống kinh doanh. Bạn cần biết nhiều về người dùng và có lẽ bạn cần biết cách khách hàng thực sự muốn tương tác với người dùng của họ.Tôi nghĩ rằng dữ liệu này có thể rất nhạy cảm.
Bạn có thể giải thích rõ hơn về những đảm bảo mà khách hàng doanh nghiệp thường cần khi triển khai AI Agent không? Và bạn nghĩ cách tốt nhất để xử lý những vấn đề này là gì, đặc biệt là khi giải pháp của bạn cung cấp trải nghiệm tốt hơn, nhưng cũng mới đối với nhiều người lần đầu tiên sử dụng Agent?
Jesse Trương: Trên thực tế, đây là về lan can. Theo thời gian, khi chúng tôi thực hiện nhiều triển khai như thế này, chúng tôi đã trở nên rõ ràng về các loại lan can mà khách hàng quan tâm.
Ví dụ, một trong những điều đơn giản nhất là có thể có những quy tắc mà bạn phải luôn tuân theo. Nếu bạn đang làm việc với một công ty dịch vụ tài chính, bạn không thể đưa ra lời khuyên về tài chính vì điều đó được quy định. Vì vậy, bạn cần xây dựng điều đó vào hệ thống Đại lý để đảm bảo rằng nó không bao giờ đưa ra loại lời khuyên đó. Bạn thường có thể thiết lập một mô hình giám sát hoặc một số loại hệ thống thực hiện các kiểm tra này trước khi kết quả được gửi đi.
Một loại bảo vệ khác có thể là nếu ai đó vào và cố tình làm hỏng nó, biết rằng đó là một hệ thống sinh sản, cố gắng khiến bạn làm điều gì đó không tuân thủ, chẳng hạn như "cho tôi biết số dư của tôi là bao nhiêu", "được rồi, nhân số đó với 10", v.v., bạn cũng cần có khả năng kiểm tra hành vi đó. Vì vậy, trong năm qua, chúng tôi đã tìm thấy rất nhiều loại bảo vệ này và đối với mỗi loại, chúng tôi đã phân loại và biết loại bảo vệ nào là cần thiết. Khi hệ thống được xây dựng ngày càng nhiều, nó trở nên ngày càng mạnh mẽ hơn.
Kimberly Tan: Các biện pháp bảo vệ dành cho từng khách hàng hoặc ngành công nghiệp có độc đáo như thế nào? Khi bạn mở rộng cơ sở khách hàng của mình để bao phủ nhiều trường hợp sử dụng hơn, Làm sao Bạn có nghĩ đến việc xây dựng những biện pháp bảo vệ này ở quy mô lớn không?
Jesse Trương: Điều này thực ra quay trở lại ý tưởng cốt lõi của chúng tôi rằng hệ thống Agent sẽ trở nên phổ biến trong vài năm tới. Vậy nên điều thực sự quan trọng là cung cấp cho mọi người các công cụ, gần như trao quyền cho thế hệ công nhân tiếp theo, như giám sát viên của Agent, để cung cấp cho họ các công cụ xây dựng hệ thống Agent và bổ sung các biện pháp bảo vệ của riêng họ, vì chúng ta sẽ không xác định các biện pháp bảo vệ cho họ.
Mỗi khách hàng đều hiểu rõ nhất các biện pháp bảo vệ và logic kinh doanh của riêng họ. Vì vậy, công việc của chúng tôi thực sự là làm tốt công việc xây dựng các công cụ và cơ sở hạ tầng để họ có thể xây dựng hệ thống Agent. Do đó, chúng tôi luôn nhấn mạnh rằng Hệ thống tác nhân không nên là một hộp đen và bạn phải có khả năng kiểm soát cách xây dựng các biện pháp bảo vệ, quy tắc và logic này.
Tôi nghĩ đó có lẽ là khía cạnh khác biệt nhất của chúng tôi cho đến nay. Chúng tôi đã nỗ lực rất nhiều vào các công cụ này và đưa ra những cách sáng tạo để cho phép những người có thể không có nền tảng kỹ thuật siêu việt, hoặc thậm chí không hiểu sâu sắc về cách thức hoạt động của các mô hình AI, vẫn có thể nhập các hành động mà họ muốn AI thực hiện vào hệ thống Agent.
Tôi nghĩ rằng điều đó sẽ trở thành một khả năng ngày càng quan trọng trong vài năm tới. Đó sẽ là một trong những tiêu chí quan trọng nhất khi mọi người đánh giá các công cụ tương tự, vì bạn muốn có thể liên tục tối ưu hóa và cải thiện các hệ thống này theo thời gian.
Logic kinh doanh được thúc đẩy bởi ngôn ngữ tự nhiên
Derrick Harris: Khách hàng hoặc doanh nghiệp có thể chuẩn bị những gì để chuẩn bị cho bất kỳ loại tự động hóa nào, và đặc biệt là việc sử dụng hệ thống Agent này? Ví dụ, họ có thể thiết kế hệ thống dữ liệu, kiến trúc phần mềm hoặc logic kinh doanh của mình như thế nào để hỗ trợ các hệ thống như vậy?
Bởi vì tôi cảm thấy rằng nhiều công nghệ AI lúc đầu còn mới mẻ, nhưng khi áp dụng vào các hệ thống cũ hiện có thì thường gặp phải rất nhiều hỗn loạn.
Jesse Trương: Nếu ai đó đang xây dựng từ đầu, có rất nhiều phương pháp hay nhất có thể giúp công việc của bạn dễ dàng hơn. Ví dụ, cách cấu trúc cơ sở kiến thức của bạn. Chúng tôi đã viết về một số phương pháp này và giới thiệu một số phương pháp có thể giúp AI dễ dàng tiếp nhận thông tin và cải thiện độ chính xác của thông tin. Một gợi ý cụ thể là chia cơ sở kiến thức thành các phần mô-đun, thay vì có một bài viết lớn với nhiều câu trả lời.
Khi thiết lập API, bạn có thể làm cho chúng phù hợp hơn với hệ thống Agent, và thiết lập quyền và đầu ra theo cách giúp hệ thống Agent dễ dàng tiếp nhận thông tin mà không cần phải thực hiện nhiều phép tính để tìm ra câu trả lời. Đây là một số biện pháp chiến thuật có thể thực hiện, nhưng tôi không nói rằng có bất kỳ điều gì phải thực hiện để sử dụng hệ thống Agent.
Derrick Harris: Việc ghi chép tốt luôn quan trọng, về cơ bản là về việc sắp xếp thông tin một cách hiệu quả.
Kimberly Tan: Nghe có vẻ như nếu bạn cố dạy mọi người cách chỉ đạo hệ thống Agent hoạt động theo cách phù hợp nhất với khách hàng hoặc các trường hợp sử dụng cụ thể, thì có thể cần phải thử nghiệm rất nhiều với thiết kế UI và UX hoặc bạn phải mở đường mới trong lĩnh vực hoàn toàn mới này vì nó rất khác so với phần mềm truyền thống.
Tôi tò mò, bạn nghĩ sao về điều này? Giao diện người dùng và trải nghiệm người dùng (UI) nên trông như thế nào trong thế giới ưu tiên Agent? Bạn nghĩ nó sẽ thay đổi như thế nào trong vài năm tới?
Jesse Trương: Tôi không nói rằng chúng tôi đã giải quyết được vấn đề này. Tôi nghĩ chúng tôi có thể đã tìm ra giải pháp tối ưu cục bộ phù hợp với khách hàng hiện tại của mình, nhưng đây vẫn là lĩnh vực nghiên cứu đang tiếp diễn đối với chúng tôi và nhiều người khác.
Vấn đề cốt lõi quay trở lại với những gì chúng ta đã đề cập trước đó, đó là bạn có một hệ thống Agent. Đầu tiên, làm sao bạn có thể thấy rõ nó đang làm gì và nó đang đưa ra quyết định như thế nào? Sau đó, làm sao bạn có thể sử dụng thông tin này để quyết định những gì cần cập nhật và phản hồi nào nên được cung cấp cho AI? Đây là nơi các thành phần UI kết hợp lại với nhau, đặc biệt là phần thứ hai.
Chúng tôi cho rằng theo thời gian, UI và UX sẽ ngày càng dựa trên ngôn ngữ tự nhiên hơn, vì đó là cách hệ thống Agent suy nghĩ hoặc về cơ bản là cơ sở để đào tạo các mô hình ngôn ngữ lớn (LLM).
Trong trường hợp cực đoan, nếu bạn có một tác nhân siêu thông minh về cơ bản suy nghĩ giống như con người, bạn có thể cho nó xem mọi thứ, giải thích mọi thứ cho nó, cung cấp cho nó phản hồi và nó sẽ cập nhật trong "tâm trí" của chính nó. Bạn có thể tưởng tượng có một người rất có năng lực tham gia nhóm của bạn, bạn dạy anh ta điều gì đó, anh ta bắt đầu làm việc, và sau đó bạn tiếp tục cung cấp cho anh ta phản hồi, bạn có thể cho anh ta xem những điều mới, tài liệu mới, sơ đồ, v.v.
Tôi nghĩ trong trường hợp cực đoan, nó sẽ phát triển theo hướng này: mọi thứ trở nên mang tính đàm thoại hơn, dựa trên ngôn ngữ tự nhiên hơn và mọi người ngừng xây dựng các hệ thống với cây quyết định phức tạp như trước đây, nắm bắt những gì bạn muốn, nhưng cách tiếp cận này có thể dễ dàng bị phá vỡ. Chúng tôi đã từng phải làm điều này vì khi đó không có LLM, nhưng bây giờ khi các hệ thống Agent ngày càng mạnh mẽ hơn, UI và UX sẽ trở nên mang tính đàm thoại hơn.
Kimberly Tan: Khoảng một năm rưỡi trước, khi Decagon mới bắt đầu, mọi người đều cho rằng LLM có thể áp dụng được cho nhiều trường hợp sử dụng, nhưng thực tế nó chỉ là một loại "trình bao bọc GPT", nơi các công ty có thể gọi một mô hình cơ bản thông qua API và giải quyết ngay lập tức các vấn đề hỗ trợ của họ.
Nhưng rõ ràng là, khi các công ty chọn sử dụng các giải pháp như Decagon thay vì đi theo con đường đó trực tiếp, thì hóa ra không phải vậy. Tôi tự hỏi liệu bạn có thể giải thích tại sao lại như vậy không. Chính xác thì điều gì khiến những thách thức trong quá trình xây dựng nội bộ trở nên phức tạp hơn dự kiến? Họ đã có những quan niệm sai lầm nào về khái niệm này?
Jesse Trương: Không có gì sai khi là "GPT wrapper", bạn có thể nói rằng Purcell là AWS wrapper hoặc đại loại như vậy. Thông thường, khi mọi người sử dụng thuật ngữ này, nó có nghĩa là một điều gì đó xúc phạm.
Quan điểm cá nhân của tôi là nếu bạn đang xây dựng một hệ thống đại lý, theo định nghĩa, bạn chắc chắn sẽ sử dụng LLM như một công cụ. Vì vậy, bạn thực sự đang xây dựng trên một cái gì đó đã tồn tại, giống như bạn thường xây dựng trên AWS hoặc GCP.
Nhưng vấn đề thực sự bạn có thể gặp phải là nếu phần mềm bạn xây dựng trên LLM không đủ "nặng" hoặc phức tạp để tạo nên sự khác biệt.
Nhìn lại, đối với chúng tôi, những gì chúng tôi bán về cơ bản là phần mềm. Chúng tôi thực sự giống như một công ty phần mềm thông thường, ngoại trừ việc chúng tôi sử dụng LLM như một phần của phần mềm và như một trong những công cụ. Nhưng khi mọi người mua loại sản phẩm này, họ chủ yếu muốn bản thân phần mềm. Họ muốn các công cụ có thể giám sát AI, có thể đào sâu vào chi tiết của mọi cuộc trò chuyện mà AI có, có thể cung cấp phản hồi, có thể liên tục xây dựng và điều chỉnh hệ thống.
Vậy đó là cốt lõi của phần mềm của chúng tôi. Ngay cả với hệ thống Agent, vấn đề mà mọi người gặp phải là việc thực hiện bản demo thì rất tuyệt, nhưng nếu bạn muốn đưa nó vào sản xuất và thực sự hướng đến khách hàng, bạn phải giải quyết rất nhiều vấn đề tồn tại lâu dài, chẳng hạn như ngăn chặn hiện tượng "ảo tưởng" và đối phó với những kẻ xấu cố gắng gây ra sự hỗn loạn. Chúng tôi cũng phải đảm bảo rằng độ trễ đủ thấp, tông giọng phù hợp, v.v.
Chúng tôi đã trao đổi với nhiều nhóm, và họ đã thực hiện một số thử nghiệm, xây dựng phiên bản sơ bộ, và sau đó họ nhận ra rằng, "Ồ, thực sự, chúng tôi không muốn là những người tiếp tục xây dựng những chi tiết này ở các giai đoạn sau". Họ cũng không muốn là những người tiếp tục thêm logic mới vào nhóm dịch vụ khách hàng. Vì vậy, tại thời điểm này, có vẻ như việc lựa chọn hợp tác với những người khác là phù hợp hơn.
Kimberly Tan: Bạn đã đề cập đến một số vấn đề dài hạn, chẳng hạn như nhu cầu phải giải quyết những kẻ xấu, v.v.Tôi tin rằng nhiều người nghe đang cân nhắc sử dụng AI Agent đang lo lắng về các đường tấn công bảo mật mới có thể phát sinh sau khi giới thiệu LLM hoặc các rủi ro bảo mật mới có thể phát sinh sau khi giới thiệu hệ thống Agent. Bạn nghĩ gì về những vấn đề này? Và những biện pháp thực hành tốt nhất để đảm bảo an ninh doanh nghiệp hàng đầu khi xử lý Đại lý?
Jesse Trương: Về mặt an ninh, có một số biện pháp rõ ràng có thể thực hiện, mà tôi đã đề cập trước đó, chẳng hạn như nhu cầu về các biện pháp bảo vệ. Vấn đề cốt lõi là mối quan tâm của mọi người về LLM là chúng không mang tính quyết định.
Nhưng tin tốt là bạn thực sự có thể đặt hầu hết các hoạt động nhạy cảm và phức tạp sau một bức tường xác định, và tính toán diễn ra ở đó khi nó gọi API. Vì vậy, bạn không hoàn toàn dựa vào LLM để xử lý nó, và điều đó tránh được rất nhiều vấn đề cốt lõi.
Nhưng vẫn có những tình huống mà, ví dụ, một tác nhân xấu can thiệp hoặc ai đó cố gắng khiến hệ thống trở nên ảo giác. Chúng tôi đã quan sát thấy rằng ở nhiều khách hàng lớn mà chúng tôi làm việc cùng, nhóm bảo mật của họ sẽ vào và về cơ bản thực hiện một bài kiểm tra "đội đỏ" trên các sản phẩm của chúng tôi, dành nhiều tuần liên tục tung ra nhiều cuộc tấn công có thể xảy ra vào hệ thống để cố gắng tìm ra lỗ hổng. Khi AI Agent ngày càng trở nên phổ biến, chúng ta có thể thấy điều này xảy ra ngày càng thường xuyên hơn, vì đây là một trong những cách tốt nhất để kiểm tra xem hệ thống có hiệu quả hay không. Đó là ném một thứ gì đó vào hệ thống thông qua bài kiểm tra đội đỏ và xem liệu nó có thể vượt qua được các biện pháp phòng thủ hay không.
Ngoài ra còn có các công ty khởi nghiệp đang phát triển các công cụ nhóm đỏ hoặc cho phép mọi người tự thực hiện các loại thử nghiệm này, đây là xu hướng mà chúng tôi đang thấy hiện nay. Rất nhiều công ty mà chúng tôi làm việc cùng, ở giai đoạn sau của chu kỳ bán hàng, sẽ có nhóm bảo mật của họ hoặc làm việc với một nhóm bên ngoài, kiểm tra ứng suất hệ thống. Đối với chúng tôi, việc có thể vượt qua các loại thử nghiệm đó là điều bắt buộc. Vì vậy, cuối cùng, đó là những gì nó đi đến.
Derrick Harris: Đây có phải là điều bạn khuyến khích khách hàng của mình làm không? Bởi vì khi chúng tôi nói về chính sách AI, chúng tôi đề cập đến một khía cạnh quan trọng, đó là lớp ứng dụng và chúng tôi nhấn mạnh việc đưa cái trách nhiệm thuộc về người dùng LLM và những người chạy ứng dụng, thay vì chỉ đổ lỗi cho chính mô hình. Nghĩa là, khách hàng nên tiến hành thử nghiệm nhóm đỏ, xác định các trường hợp sử dụng và đường dẫn tấn công cụ thể, và xác định lỗ hổng nào cần được bảo vệ, thay vì chỉ dựa vào biện pháp bảo vệ an ninh đã được OpenAI hoặc các công ty khác thiết lập.
Jesse Trương: Tôi hoàn toàn đồng ý. Tôi cũng nghĩ rằng có thể có một làn sóng yêu cầu thông báo mới nổi lên, tương tự như chứng nhận SOC 2 và chứng nhận HIPAA mà mọi người đang thực hiện hiện nay, là yêu cầu bắt buộc trong các ngành khác nhau. Thông thường, khi bạn bán một sản phẩm SaaS chung, khách hàng sẽ yêu cầu kiểm tra thâm nhập và chúng tôi cũng phải cung cấp báo cáo kiểm tra thâm nhập của mình. Đối với AI Agent, có thể có những yêu cầu tương tự trong tương lai và ai đó có thể nêu tên, nhưng về cơ bản đây là một cách mới để kiểm tra xem hệ thống Agent có đủ mạnh hay không.
Kimberly Tan: Một điều thú vị là rõ ràng là mọi người đều rất hào hứng với những đột phá về mô hình mới và những đột phá về công nghệ đang được giới thiệu bởi tất cả các phòng thí nghiệm lớn. Là một công ty AI, rõ ràng là bạn không tự mình nghiên cứu, nhưng bạn tận dụng nghiên cứu đó và xây dựng nhiều phần mềm xung quanh nó để cung cấp cho khách hàng cuối.
Nhưng công việc của bạn dựa trên công nghệ thay đổi nhanh chóng. Tôi tò mò, với tư cách là một công ty AI ứng dụng, làm thế nào bạn theo kịp những thay đổi công nghệ mới và hiểu cách chúng ảnh hưởng đến công ty trong khi vẫn có thể dự đoán lộ trình sản phẩm của riêng bạn và xây dựng nhu cầu của người dùng? Nói rộng hơn, các công ty AI ứng dụng nên áp dụng những chiến lược nào trong những tình huống tương tự?
Jesse Trương: Trên thực tế, bạn có thể chia toàn bộ ngăn xếp thành các phần khác nhau. Ví dụ, LLM nằm ở dưới cùng nếu bạn nhìn vào lớp ứng dụng. Bạn có thể có một số công cụ ở giữa giúp bạn quản lý LLM hoặc thực hiện một số đánh giá và những thứ tương tự như vậy. Sau đó, phần trên cùng về cơ bản là những gì chúng tôi đã xây dựng, thực sự giống như một SaaS tiêu chuẩn.
Vì vậy, hầu hết công việc của chúng tôi thực sự không khác nhiều so với phần mềm thông thường, ngoại trừ việc chúng tôi có thêm một thành phần nghiên cứu – LLM thay đổi quá nhanh. Chúng tôi cần nghiên cứu xem chúng có thể làm gì, chúng giỏi ở điểm nào và nên sử dụng mô hình nào để thực hiện một nhiệm vụ nhất định. Đây là một vấn đề lớn vì cả OpenAI và Anthropic đều đang tung ra các công nghệ mới và Gemini cũng đang dần cải thiện.
Vì thế, bạn phải có cơ chế đánh giá riêng để hiểu mô hình nào phù hợp để sử dụng trong tình huống nào. Đôi khi bạn cũng cần tinh chỉnh, nhưng câu hỏi là: khi nào thì tinh chỉnh? Khi nào thì tinh chỉnh là đáng giá? Đây có lẽ là những vấn đề nghiên cứu chính liên quan đến LLM mà chúng tôi đang tập trung vào. Nhưng ít nhất cho đến nay, chúng tôi không cảm thấy SaaS đang thay đổi nhanh chóng, vì chúng tôi không phụ thuộc vào lớp trung gian. Vì vậy, về cơ bản, chính LLM đang thay đổi. Chúng không thay đổi thường xuyên và khi chúng thay đổi, thì thường là nâng cấp. Ví dụ, Claude 3.5 sonnet đã được cập nhật cách đây vài tháng và lúc đó chúng tôi nghĩ, "Được rồi, chúng ta có nên chuyển sang mô hình mới thay vì tiếp tục sử dụng mô hình cũ không?"
Chúng ta chỉ cần chạy một loạt các đánh giá, và sau khi chuyển sang mô hình mới, chúng ta không nghĩ về nó nữa vì bạn đã sử dụng mô hình mới. Sau đó, phiên bản o1 ra mắt và tình hình cũng tương tự. Hãy nghĩ về nơi có thể sử dụng nó. Trong trường hợp của chúng ta, o1 hơi chậm đối với hầu hết các trường hợp sử dụng hướng đến khách hàng, vì vậy chúng ta có thể sử dụng nó cho một số công việc nền tảng. Cuối cùng, chúng ta chỉ cần có một hệ thống tốt để nghiên cứu mô hình.
Kimberly Tan: Bạn thường đánh giá một mẫu máy mới và quyết định có nên thay thế nó hay không như thế nào?
Jesse Trương: Chúng tôi đánh giá mỗi lần một mô hình mới ra mắt. Bạn phải đảm bảo rằng mặc dù mô hình mới thông minh hơn, nhưng nó không phá vỡ một số trường hợp sử dụng mà bạn đã xây dựng. Điều này có thể xảy ra. Ví dụ, mô hình mới có thể thông minh hơn về tổng thể, nhưng trong một số trường hợp cực đoan, nó hoạt động kém trên một lựa chọn A/B trong một trong các quy trình làm việc của bạn. Đó là lý do chúng tôi đánh giá.
Tôi nghĩ nhìn chung, loại trí thông minh mà chúng ta quan tâm nhất là thứ mà tôi gọi là "khả năng tuân theo hướng dẫn". Chúng ta muốn mô hình ngày càng tuân theo hướng dẫn tốt hơn. Nếu đúng như vậy, thì chắc chắn là có lợi cho chúng ta, và điều đó rất tốt.
Có vẻ như nghiên cứu gần đây tập trung nhiều hơn vào loại trí thông minh liên quan đến lý luận, chẳng hạn như lập trình tốt hơn và các phép toán tốt hơn. Điều này cũng giúp chúng ta, nhưng không quan trọng bằng việc cải thiện khả năng hướng dẫn sau.
Kimberly Tan: Một điểm rất thú vị mà bạn đã đề cập, và tôi nghĩ nó cũng rất độc đáo đối với Decagon, là bạn đã xây dựng rất nhiều cơ sở hạ tầng đánh giá nội bộ để đảm bảo bạn biết chính xác hiệu suất của từng mô hình trong bộ thử nghiệm mà bạn cung cấp.
Bạn có thể giải thích rõ hơn về vấn đề này không? Cơ sở hạ tầng đánh giá nội bộ này quan trọng như thế nào và cụ thể là nó giúp bạn và khách hàng của bạn tin tưởng vào hiệu suất của Agent như thế nào? Bởi vì một số đánh giá này cũng hướng đến khách hàng.
Jesse Trương: Tôi nghĩ điều này rất quan trọng, vì nếu không có cơ sở hạ tầng đánh giá này, chúng ta sẽ rất khó có thể lặp lại một cách nhanh chóng.
Nếu bạn cảm thấy rằng mọi thay đổi đều có khả năng cao làm hỏng một cái gì đó, thì bạn sẽ không thực hiện thay đổi nhanh chóng. Nhưng nếu bạn có một cơ chế đánh giá, thì khi có một thay đổi lớn, một bản cập nhật mô hình hoặc một cái gì đó mới xuất hiện, bạn có thể trực tiếp so sánh nó với tất cả các bài kiểm tra đánh giá. Nếu kết quả đánh giá tốt, bạn có thể cảm thấy: được rồi, chúng tôi đã cải thiện, hoặc bạn có thể phát hành nó một cách tự tin mà không cần lo lắng quá nhiều.
Vì vậy, trong lĩnh vực của chúng tôi, đánh giá đòi hỏi phải có ý kiến đóng góp từ khách hàng, vì khách hàng là người quyết định điều gì đó là đúng hay không. Tất nhiên, chúng ta có thể kiểm tra một số vấn đề cấp cao, nhưng thông thường khách hàng sẽ cung cấp các trường hợp sử dụng cụ thể và cho chúng ta biết câu trả lời đúng là gì, hoặc phải như thế nào, phải giữ giọng điệu như thế nào, phải nói gì.
Đánh giá dựa trên điều này. Vì vậy, chúng tôi phải đảm bảo rằng hệ thống đánh giá của chúng tôi đủ mạnh mẽ. Lúc đầu, chúng tôi tự xây dựng nó và không quá khó để duy trì. Chúng tôi cũng biết rằng có một số công ty đánh giá và chúng tôi đã khám phá một số công ty trong số đó. Có thể tại một thời điểm nào đó, chúng tôi sẽ cân nhắc xem có nên áp dụng chúng hay không, nhưng hiện tại, hệ thống đánh giá không còn là điểm khó khăn đối với chúng tôi nữa.
Kimberly Tan: Một chủ đề rất phổ biến hiện nay là đa phương thức, nghĩa là các tác nhân AI phải có khả năng tương tác trên tất cả các hình thức mà con người sử dụng ngày nay, cho dù đó là văn bản, video, giọng nói, v.v. Tôi biết rằng Decagon ban đầu dựa trên văn bản. Theo quan điểm của bạn, tầm quan trọng của là đa phương thức cho các tác nhân AI? Bạn nghĩ khung thời gian để nó trở nên phổ biến hoặc thậm chí là tiêu chuẩn là bao lâu?
Jesse Trương: Điều này rất quan trọng và theo quan điểm của công ty, việc thêm một phương thức mới không phải là điều đặc biệt khó khăn. Nó không đơn giản, nhưng cốt lõi là: nếu bạn giải quyết các vấn đề khác, chẳng hạn như những vấn đề tôi đã đề cập - ví dụ, xây dựng AI, giám sát nó và có logic phù hợp - thì việc thêm một phương thức mới không phải là điều khó khăn nhất. Vì vậy, đối với chúng tôi, việc có tất cả các phương thức có ý nghĩa rất lớn và nó mở rộng thị trường của chúng tôi. Về cơ bản, chúng tôi không thiên vị phương thức và chúng tôi xây dựng Agent của riêng mình cho từng phương thức.
Nhìn chung, có hai yếu tố hạn chế: Đầu tiên, khách hàng đã sẵn sàng áp dụng phương thức mới chưa? Tôi nghĩ rằng bắt đầu bằng văn bản là rất hợp lý, vì đó là cách mọi người áp dụng tích cực nhất, và nó ít rủi ro hơn đối với họ, dễ theo dõi hơn và dễ hiểu hơn. Phương thức lớn khác là giọng nói. Rõ ràng, tôi nghĩ rằng vẫn còn chỗ trên thị trường và sự chấp nhận giọng nói của người dùng vẫn cần được cải thiện. Hiện tại, chúng tôi đang thấy một số người dùng sớm bắt đầu áp dụng Voice Agent, điều này rất thú vị. Một khía cạnh khác là những thách thức về mặt kỹ thuật. Hầu hết mọi người đều đồng ý rằng tiêu chuẩn được đặt ra cao hơn đối với giọng nói. Nếu bạn đang nói chuyện với ai đó qua điện thoại, bạn cần độ trễ giọng nói rất ngắn. Nếu bạn ngắt lời ai đó, họ cần phải phản hồi một cách tự nhiên.
Vì độ trễ của lời nói thấp hơn, bạn phải thông minh hơn trong cách tính toán. Nếu bạn đang trò chuyện và thời gian phản hồi là năm đến tám giây, bạn hầu như không nhận thấy điều đó và cảm thấy rất tự nhiên. Nhưng nếu mất năm đến tám giây để phản hồi trên điện thoại, cảm thấy hơi không tự nhiên. Vì vậy, có nhiều thách thức kỹ thuật hơn với lời nói. Khi những thách thức kỹ thuật này được giải quyết và sự quan tâm đến việc áp dụng lời nói tăng lên trên thị trường, lời nói như một phương thức mới sẽ trở nên phổ biến.
Một mô hình kinh doanh vượt qua sự tin tưởng
Kimberly Tan: Trước khi tiếp tục, tôi muốn nói thêm một chút về mô hình kinh doanh của AI Agent. Khi bạn lần đầu tiên được xây dựng AI Agent hoặc thảo luận với khách hàng về hệ thống họ sử dụng, dữ liệu họ xử lý và mối quan tâm của họ, có điều gì khiến bạn ngạc nhiên không? Một số điều không trực quan hoặc đáng ngạc nhiên mà Decagon phải làm để phục vụ khách hàng doanh nghiệp tốt hơn là gì?
Jesse Trương: Tôi nghĩ điều đáng ngạc nhiên nhất là mức độ mọi người sẵn sàng nói chuyện với chúng tôi khi chúng tôi mới bắt đầu. Sau cùng, chỉ có hai chúng tôi. Cả hai chúng tôi đều đã từng khởi nghiệp trước đó, vì vậy chúng tôi biết rất nhiều người, nhưng ngay cả như vậy, đối với mọi doanh nhân, khi bạn muốn bắt đầu một cuộc trò chuyện giới thiệu, nếu những gì bạn nói không thực sự hấp dẫn, cuộc trò chuyện thường khá hờ hững.
Nhưng khi chúng tôi bắt đầu nói về trường hợp sử dụng này, tôi thực sự thấy khá ngạc nhiên khi mọi người hào hứng nói về nó như vậy. Bởi vì ý tưởng có vẻ quá hiển nhiên. Bạn có thể nghĩ rằng vì đó là một ý tưởng quá hiển nhiên, nên người khác hẳn đã làm rồi, hoặc hẳn đã có giải pháp, hoặc hẳn đã có giải pháp nào đó. Nhưng tôi nghĩ chúng tôi đã nắm bắt được một khoảnh khắc tuyệt vời, trường hợp sử dụng đó thực sự lớn và mọi người thực sự quan tâm đến nó. Như tôi đã đề cập trước đó, trường hợp sử dụng đó thực sự phù hợp để đưa AI Agent vào sản xuất, vì bạn có thể triển khai nó từng bước và có thể theo dõi ROI.
Đó là một bất ngờ thú vị đối với tôi, nhưng rõ ràng là có rất nhiều việc phải làm sau đó, bạn phải làm việc với khách hàng, bạn phải xây dựng sản phẩm, bạn phải tìm ra cách để đi. Trong giai đoạn đầu, đó thực sự là một khám phá đáng ngạc nhiên.
Derrick Harris: Kimberly, tôi cảm thấy mình nên đề cập đến bài đăng trên blog mà bạn đã viết, RIP to RPA, trong đó đề cập đến rất nhiều cái nhiệm vụ tự động hóa và khởi nghiệp.Bạn có nghĩ rằng có hiện tượng nào đó mà các tác vụ hoặc giải pháp tự động này không lý tưởng đến mức mọi người luôn tìm kiếm một cách tốt hơn không?
Kimberly Tan: Vâng, tôi nghĩ vậy. Tôi muốn nói một vài điều. Đầu tiên, nếu một ý tưởng là hiển nhiên với mọi người, nhưng không có công ty rõ ràng nào giải quyết nó, hoặc không ai chỉ vào một công ty và nói rằng, "Bạn nên sử dụng cái này", thì điều đó có nghĩa là vấn đề thực sự chưa được giải quyết.
Theo một nghĩa nào đó, đây là một cơ hội hoàn toàn mở cho một công ty để phát triển một giải pháp. Bởi vì, như bạn đã nói, chúng tôi đã theo dõi Decagon với tư cách là một nhà đầu tư ngay từ đầu. Chúng tôi đã theo dõi họ điều hướng mê cung sáng tạo và khi họ quyết định đi theo hướng này và bắt đầu nói chuyện với khách hàng, thì rõ ràng là tất cả khách hàng đều rất cần một số loại giải pháp hỗ trợ AI gốc. Đây là một trong những vấn đề mà tôi đã đề cập trước đó, khi nhiều người nghĩ rằng đó chỉ là một trình bao bọc GPT. Nhưng sự quan tâm của khách hàng mà Decagon nhận được ngay từ đầu đã khiến chúng tôi nhận ra ngay từ đầu rằng nhiều vấn đề trong số này phức tạp hơn nhiều so với những gì mọi người mong đợi.
Tôi nghĩ hiện tượng này đang xảy ra trên khắp các ngành, cho dù đó là dịch vụ khách hàng hay tự động hóa chuyên nghiệp trong một số ngành dọc nhất định. Tôi nghĩ một trong những điểm bị đánh giá thấp là, như Jesse đã đề cập trước đó, khả năng đo lường rõ ràng lợi tức đầu tư (ROI) của việc tự động hóa các tác vụ. Bởi vì, nếu bạn muốn ai đó chấp nhận một tác nhân AI, thì thực ra họ đang thực hiện một "bước nhảy vọt về đức tin" vì đây là một lĩnh vực rất xa lạ với nhiều người.
Nếu bạn có thể tự động hóa một quy trình rất cụ thể vốn là quy trình tạo ra doanh thu rõ ràng hoặc quy trình trước đây là nút thắt cổ chai trong doanh nghiệp hoặc là trung tâm chi phí chính tăng tuyến tính theo sự tăng trưởng của khách hàng hoặc tăng trưởng doanh thu, thì sẽ dễ dàng hơn để được chấp nhận cho AI Agent. Khả năng biến những vấn đề như vậy thành một quy trình sản xuất có thể mở rộng như phần mềm truyền thống là rất hấp dẫn.
Kimberly Tan: Tôi có một câu hỏi cuối cùng trước khi chúng ta tiếp tục. Tôi nhớ Jesse, trong các cuộc thảo luận trước đây của chúng ta, luôn nói rằng thách thức lớn nhất đối với các công ty áp dụng phần mềm hoặc AI Agents sẽ là ảo giác. Nhưng bạn đã từng nói với tôi rằng đây thực sự không phải là vấn đề chính. Bạn có thể giải thích thêm tại sao nhận thức về ảo giác lại có phần gây hiểu lầm và mọi người thực sự quan tâm đến điều gì hơn không?
Jesse Trương: Tôi nghĩ mọi người quan tâm đến ảo giác, nhưng họ quan tâm nhiều hơn đến giá trị mà chúng có thể mang lại. Hầu như tất cả các công ty mà chúng tôi làm việc cùng đều tập trung vào cùng một số vấn đề, gần như chính xác như nhau: bạn có thể giải quyết được bao nhiêu phần trăm các cuộc trò chuyện? Khách hàng của tôi hài lòng như thế nào? Sau đó, vấn đề ảo giác có thể được phân loại thành loại thứ ba, cụ thể là độ chính xác của nó. Nói chung, hai yếu tố đầu tiên quan trọng hơn khi đánh giá.
Giả sử bạn đang nói chuyện với một doanh nghiệp mới và bạn đã làm rất tốt hai yếu tố đầu tiên, và bạn nhận được rất nhiều sự hỗ trợ từ ban lãnh đạo và mọi người trong nhóm. Họ kiểu như, "Ôi trời, trải nghiệm khách hàng của chúng tôi khác biệt. Mỗi khách hàng hiện có trợ lý cá nhân riêng có thể liên hệ với chúng tôi bất cứ lúc nào. Chúng tôi đã cung cấp cho họ những câu trả lời tuyệt vời, họ rất hài lòng, và nó đa ngôn ngữ và có sẵn 24/7." Đó chỉ là một phần của nó, và bạn cũng đã tiết kiệm được rất nhiều tiền.
Vì vậy, một khi bạn đạt được những mục tiêu đó, bạn sẽ nhận được rất nhiều sự hỗ trợ và rất nhiều động lực để thúc đẩy công việc. Tất nhiên, vấn đề ảo tưởng cuối cùng cần phải được giải quyết, nhưng đó không phải là điều mà họ quan tâm nhất. Cách giải quyết ảo tưởng cũng giống như cách tôi đã đề cập trước đó – mọi người sẽ kiểm tra bạn. Có thể có một giai đoạn chứng minh khái niệm, trong đó bạn thực sự chạy các cuộc trò chuyện thực tế và họ có các thành viên trong nhóm theo dõi và kiểm tra tính chính xác. Nếu mọi việc diễn ra tốt đẹp, thì thường là sẽ thông qua.
Ngoài ra, như tôi đã đề cập trước đó, bạn có thể thiết lập một số biện pháp bảo vệ nghiêm ngặt cho thông tin nhạy cảm, chẳng hạn như bạn không nhất thiết phải biến nội dung nhạy cảm thành chung chung. Vì vậy, vấn đề ảo ảnh là một điểm thảo luận trong hầu hết các giao dịch. Đây không phải là một chủ đề không quan trọng. Bạn sẽ trải qua quá trình này, nhưng nó không bao giờ là trọng tâm của cuộc trò chuyện.
Kimberly Tan: Bây giờ chúng ta hãy chuyển sang mô hình kinh doanh của AI Agent. Hôm nay, có một chủ đề lớn về cách định giá các AI Agent này.
Theo truyền thống, nhiều phần mềm SaaS được định giá theo số lượng chỗ ngồi vì chúng là phần mềm quy trình làm việc nhắm mục tiêu đến từng nhân viên và được sử dụng để cải thiện năng suất của nhân viên. Tuy nhiên, AI Agent không liên quan đến năng suất của từng nhân viên như phần mềm truyền thống.
Rất nhiều người nghĩ rằng phương pháp định giá dựa trên số lượng chỗ ngồi có thể không còn áp dụng được nữa. Tôi tò mò về Làm sao bạn đã nghĩ về tình thế tiến thoái lưỡng nan này trong những ngày đầu và cách bạn cuối cùng quyết định định giá Decagon. Ngoài ra, bạn nghĩ xu hướng định giá phần mềm trong tương lai sẽ như thế nào khi AI Agent ngày càng trở nên phổ biến?
Jesse Trương: Quan điểm của chúng tôi về vấn đề này là trước đây, giá phần mềm được tính theo số lượng người dùng vì quy mô của nó chủ yếu dựa trên số lượng người có thể sử dụng phần mềm. Nhưng đối với hầu hết các AI Agent, giá trị bạn cung cấp không phụ thuộc vào số lượng người duy trì mà phụ thuộc vào lượng công việc được tạo ra. Điều này phù hợp với quan điểm tôi đã đề cập trước đó: nếu lợi tức đầu tư (ROI) có thể đo lường được, thì mức độ đầu ra công việc cũng rất rõ ràng.
Quan điểm của chúng tôi là việc định giá theo số lượng chỗ ngồi chắc chắn không áp dụng được. Bạn có thể định giá dựa trên sản lượng công việc. Vì vậy, mô hình định giá mà bạn đưa ra phải là càng hoàn thành nhiều công việc, bạn càng phải trả nhiều tiền.
Đối với chúng tôi, có hai cách rõ ràng để định giá. Bạn có thể định giá các cuộc trò chuyện hoặc bạn có thể định giá các cuộc trò chuyện mà AI thực sự giải quyết. Tôi nghĩ một trong những bài học thú vị mà chúng tôi học được là hầu hết mọi người đã chọn mô hình định giá cuộc trò chuyện. Lý do là lợi thế chính của việc định giá theo giải pháp là bạn trả cho những gì cái AI thì có.
Nhưng câu hỏi tiếp theo là, cái gì được coi là "giải pháp"? Trước hết, không ai muốn đi sâu vào vấn đề này, bởi vì nó trở thành, "Nếu ai đó tức giận đến và bạn đuổi họ đi, tại sao chúng ta phải trả tiền cho điều đó?"
Điều này tạo ra một tình huống khó xử và cũng khiến các nhà cung cấp AI có động cơ hơi kỳ lạ, vì thanh toán theo giải pháp có nghĩa là, "Chúng tôi chỉ cần giải quyết càng nhiều cuộc trò chuyện càng tốt và đẩy một số người ra xa". Nhưng có nhiều trường hợp tốt hơn là nên nâng cấp vấn đề thay vì chỉ đẩy nó ra xa, và khách hàng không thích cách xử lý này. Do đó, thanh toán theo cuộc trò chuyện sẽ mang lại sự đơn giản và khả năng dự đoán hơn.
Kimberly Tan: Bạn nghĩ mô hình định giá trong tương lai sẽ kéo dài bao lâu?Bởi vì ngay bây giờ khi bạn đề cập đến ROI, nó thường dựa trên chi phí trước đây có thể đã được sử dụng để trang trải chi phí lao động. Khi các tác nhân AI trở nên phổ biến hơn, bạn có nghĩ rằng về lâu dài, AI sẽ được so sánh với chi phí lao động và đây là một chuẩn mực phù hợp không? Nếu không, bạn thấy giá cả dài hạn vượt ra ngoài chi phí lao động như thế nào?
Jesse Zhang: Tôi nghĩ rằng về lâu dài, giá của AI Agent có thể vẫn chủ yếu liên quan đến chi phí lao động, vì đó chính là điểm hấp dẫn của Agent – khoản chi trước đây của bạn cho các dịch vụ giờ có thể chuyển sang phần mềm.
Phần chi phí này có thể gấp 10 đến 100 lần chi phí phần mềm, do đó, phần lớn chi phí sẽ chuyển sang phần mềm. Do đó, chi phí lao động sẽ tự nhiên trở thành chuẩn mực. Đối với khách hàng của chúng tôi, ROI rất rõ ràng. Nếu bạn có thể tiết kiệm X triệu chi phí lao động, thì việc áp dụng giải pháp này là hợp lý. Nhưng về lâu dài, đây có thể là giải pháp trung gian.
Bởi vì ngay cả một số sản phẩm không tốt bằng Agent của chúng tôi cũng sẽ chấp nhận mức giá thấp hơn. Điều này giống như tình huống SaaS cổ điển, nơi mọi người đều cạnh tranh để giành thị phần.
Kimberly Tan: Bạn nghĩ tương lai sẽ ra sao đối với các công ty SaaS hiện tại, đặc biệt là những công ty có sản phẩm không được xây dựng dành riêng cho AI hoặc được định giá theo từng chỗ ngồi và do đó không thể thích ứng với mô hình định giá theo kết quả?
Jesse Trương: Đối với một số công ty truyền thống, thực sự hơi khó khăn nếu họ cố gắng tung ra sản phẩm AI Agent vì họ không thể định giá bằng mô hình chỗ ngồi. Nếu bạn không còn cần nhiều Agent nữa, sẽ rất khó để duy trì doanh thu với sản phẩm hiện tại. Đây là vấn đề đối với các công ty truyền thống, nhưng khó có thể nói trước được. Các công ty truyền thống luôn có lợi thế về kênh phân phối. Ngay cả khi sản phẩm không tốt bằng công ty mới, mọi người vẫn không muốn dành công sức để chấp nhận một nhà cung cấp mới chỉ có chất lượng 80%.
Vì vậy, trước tiên, nếu bạn là một công ty khởi nghiệp như chúng tôi, bạn phải đảm bảo rằng sản phẩm của mình tốt hơn gấp ba lần so với sản phẩm truyền thống. Thứ hai, đây là cuộc cạnh tranh điển hình giữa các công ty truyền thống và các công ty khởi nghiệp. Các công ty truyền thống đương nhiên có khả năng chịu rủi ro thấp hơn vì họ có số lượng khách hàng lớn. Nếu họ mắc lỗi trong quá trình lặp lại nhanh, điều đó sẽ gây ra tổn thất lớn. Tuy nhiên, các công ty khởi nghiệp có thể lặp lại nhanh hơn, vì vậy bản thân quá trình lặp lại có thể dẫn đến một sản phẩm tốt hơn. Đây là chu kỳ thông thường. Đối với chúng tôi, chúng tôi luôn tự hào về tốc độ giao hàng, chất lượng sản phẩm và khả năng thực hiện của nhóm mình. Đây là lý do tại sao chúng tôi đã giành được thỏa thuận hiện tại.
Kimberly Tan: Bạn có thể đưa ra một số dự đoán về tương lai của AI tại nơi làm việc không? Ví dụ, nó sẽ thay đổi nhu cầu hoặc khả năng của nhân viên như thế nào, hoặc cách nhân viên con người và AI Agents tương tác?Bạn nghĩ những phương pháp hay chuẩn mực mới nào sẽ trở thành chuẩn mực tại nơi làm việc khi các tác nhân AI ngày càng trở nên phổ biến hơn?
Jesse Zhang: Thay đổi đầu tiên và quan trọng nhất là chúng tôi tin rằng trong tương lai, nhân viên sẽ dành nhiều thời gian hơn tại nơi làm việc để xây dựng và quản lý các tác nhân AI, tương tự như vai trò của người giám sát AI. Ngay cả khi vị trí của bạn không chính thức là “giám sát AI”, phần lớn thời gian bạn từng dành cho công việc của mình sẽ được chuyển sang quản lý các Tác nhân này, vì các Tác nhân có thể mang lại cho bạn rất nhiều đòn bẩy.
Chúng tôi đã thấy điều này trong nhiều lần triển khai, nơi những người từng là trưởng nhóm giờ đây dành nhiều thời gian để theo dõi AI, ví dụ, để đảm bảo AI không gặp vấn đề hoặc để thực hiện điều chỉnh. Họ theo dõi hiệu suất chung để xem có những lĩnh vực cụ thể nào cần chú ý không, có những khoảng trống trong cơ sở kiến thức nào có thể giúp AI trở nên tốt hơn không và liệu AI có thể lấp đầy những khoảng trống đó không.
Công việc đi kèm với việc làm việc với một Agent tạo ra ấn tượng rằng trong tương lai, nhân viên sẽ dành nhiều thời gian tương tác với các AI Agent. Đây là khái niệm cốt lõi của công ty chúng tôi, như tôi đã đề cập trước đó. Do đó, toàn bộ sản phẩm của chúng tôi được xây dựng dựa trên việc cung cấp cho mọi người các công cụ, khả năng trực quan hóa, khả năng diễn giải và khả năng kiểm soát. Tôi nghĩ rằng trong vòng một năm, đây sẽ trở thành một xu hướng lớn.
Kimberly Tan: Điều đó rất có lý. Bạn nghĩ những người giám sát AI sẽ cần những khả năng gì trong tương lai? Bộ kỹ năng nào cho vai trò này?
Jesse Trương: Có hai khía cạnh. Một là khả năng quan sát và diễn giải, khả năng hiểu nhanh những gì AI đang làm và cách nó đưa ra quyết định. Cái còn lại là khả năng ra quyết định hoặc phần xây dựng, cách đưa ra phản hồi và cách xây dựng logic mới. Tôi nghĩ hai điều này là hai mặt của một đồng xu.
Kimberly Tan: Theo bạn, những nhiệm vụ nào sẽ nằm ngoài khả năng của AI trong trung hạn hoặc dài hạn và vẫn cần được con người quản lý và thực hiện đúng cách?
Jesse Trương: Tôi nghĩ điều này chủ yếu phụ thuộc vào yêu cầu về “sự hoàn hảo” mà tôi đã đề cập trước đó. Có nhiều nhiệm vụ có khả năng chịu lỗi rất thấp. Trong những trường hợp này, bất kỳ công cụ AI nào cũng chỉ là một công cụ hỗ trợ hơn là một tác nhân hoàn chỉnh.
Ví dụ, trong một số ngành nhạy cảm hơn, chẳng hạn như chăm sóc sức khỏe hoặc an ninh, nơi bạn phải gần như hoàn hảo, thì trong những lĩnh vực này, các tác nhân AI có thể trở nên ít tự chủ hơn, nhưng điều đó không có nghĩa là chúng vô dụng. Tôi nghĩ phong cách sẽ khác, trong một nền tảng như của chúng tôi, bạn thực sự triển khai các tác nhân này để chúng tự động hóa toàn bộ công việc.
Derrick Harris: Và thế là hết tập này. Nếu bạn thấy chủ đề này thú vị hoặc truyền cảm hứng, vui lòng đánh giá podcast của chúng tôi và chia sẻ với nhiều người hơn.Chúng tôi dự kiến sẽ phát hành tập cuối cùng trước khi kết thúc năm và sẽ chỉnh sửa lại nội dung cho năm mới. Cảm ơn các bạn đã lắng nghe và chúc các bạn có một kỳ nghỉ lễ tuyệt vời (nếu bạn đang nghe trong kỳ nghỉ lễ).
Video gốc: Liệu Al Agents có thể cuối cùng sửa chữa hỗ trợ khách hàng?
