Highlight
- Keajaiban LLM adalah mereka sangat fleksibel, dapat beradaptasi dengan banyak situasi berbeda, dan memiliki kecerdasan dasar.
- Kami percaya bahwa seiring berjalannya waktu, UI dan UX akan semakin berbasis bahasa alami, karena inilah cara sistem Agen berpikir, atau ini pada dasarnya merupakan dasar pelatihan untuk model bahasa besar (LLM).
- Jika Anda ingin seseorang menerima Agen AI, mereka sebenarnya mengambil tingkat "lompatan keyakinan" karena bagi banyak orang, ini adalah bidang yang sangat asing.
Agen AI membentuk kembali pengalaman pelanggan
Jesse Zhang: Bagaimana Agen sebenarnya dibangun? Pandangan kami adalah bahwa seiring berjalannya waktu, Agen akan semakin menyerupai Agen berbasis bahasa alami karena begitulah cara model bahasa besar (LLM) dilatih.
Dalam jangka panjang, jika Anda memiliki agen super cerdas yang benar-benar seperti manusia, Anda dapat menunjukkan berbagai hal padanya, menjelaskan kepadanya, memberinya umpan balik, dan ia akan memperbarui informasi dalam pikirannya.
Anda dapat membayangkan memiliki anggota tim manusia yang sangat cakap. Saat mereka pertama kali bergabung, Anda mengajari mereka sesuatu, mereka mulai bekerja, lalu Anda memberi mereka umpan balik dan menunjukkan informasi baru.
Pada akhirnya, sistem akan berkembang ke arah ini – sistem akan menjadi lebih komunikatif dan lebih berbasis pada bahasa alami, dan cara orang berkomunikasi satu sama lain akan menjadi lebih alami. Dan orang tidak akan lagi menggunakan pohon keputusan yang rumit untuk menangkap kebutuhan, yang dapat berfungsi tetapi cenderung gagal.
Dulu, kami harus melakukan ini karena kami tidak memiliki model bahasa yang besar. Namun kini, dengan kemajuan Agent yang berkelanjutan, pengalaman pengguna (UX) dan antarmuka pengguna (UI) akan menjadi lebih komunikatif.
Derrick Harris: Halo semuanya, selamat datang di Podcast AI A16z. Saya Derrick Harris, dan hari ini saya akan bergabung dengan Jesse Zhang, salah satu pendiri dan CEO Decagon, dan Kimberly Tan, mitra di a16z. Kimberly akan memoderatori diskusi, dan Jesse akan berbagi pengalamannya dalam membangun Decagon dan produk-produknya.
Jika Anda belum banyak mengetahuinya, Decagon adalah perusahaan rintisan yang menyediakan agen AI bagi bisnis untuk membantu dukungan pelanggan. Agen ini bukanlah chatbot atau pembungkus LLM untuk satu panggilan API, tetapi agen canggih yang sangat disesuaikan yang dapat menangani alur kerja kompleks berdasarkan kebutuhan spesifik perusahaan.
Selain menjelaskan mengapa mereka menciptakan Decagon dan bagaimana arsitekturnya dirancang untuk menangani berbagai lingkungan LLM dan pelanggan, Jesse juga berbicara tentang manfaat model bisnis yang mengenakan biaya per percakapan, dan bagaimana Agen AI akan mengubah keterampilan yang dibutuhkan oleh pemimpin dukungan pelanggan.
Perlu juga disebutkan bahwa Kimberly baru-baru ini menulis postingan blog berjudul “RIP to RPA, The Rise of Intelligent Automation,” yang kami bahas secara singkat dalam episode ini.
Ini adalah titik awal yang bagus untuk memahami bagaimana otomatisasi mulai berkembang dalam proses bisnis, dan kami akan menyediakan tautannya di catatan acara. Dan terakhir, sebagai pengingat, konten artikel ini hanya untuk tujuan informasi dan tidak boleh dianggap sebagai nasihat hukum, bisnis, pajak, atau investasi, juga tidak boleh digunakan untuk mengevaluasi investasi atau sekuritas apa pun, dan tidak ditujukan kepada investor dana a16z atau calon investor mana pun.
Jesse Zhang: Perkenalan singkat tentang diri saya. Saya lahir dan dibesarkan di Boulder, dan saya mengikuti banyak kompetisi matematika dan sejenisnya saat masih kecil. Saya belajar ilmu komputer di Harvard, lalu mendirikan perusahaan yang juga didukung oleh a16z. Kami akhirnya diakuisisi oleh Niantic.
Kemudian kami mulai membangun Decagon. Bisnis kami adalah membangun Agen AI untuk layanan pelanggan. Awalnya, kami melakukan ini karena kami ingin melakukan sesuatu yang sangat dekat dengan hati kami.
Tentu saja, tidak ada yang perlu diajari tentang peran Agen AI dalam layanan pelanggan, bukan? Kita semua pernah menelepon maskapai penerbangan, hotel, dll., dan menunggu lama. Jadi idenya muncul dari sana.
Kami berbicara dengan banyak pelanggan untuk mencari tahu jenis produk seperti apa yang sebaiknya kami buat. Satu hal yang menonjol bagi kami adalah saat kami mempelajari lebih lanjut tentang Agen AI, kami mulai berpikir tentang seperti apa masa depan saat jumlahnya banyak. Saya rasa semua orang percaya bahwa akan ada banyak Agen AI di masa depan.
Yang kami pikirkan adalah apa yang akan dilakukan karyawan yang bekerja di sekitar agen AI? Alat apa saja yang akan mereka miliki? Bagaimana mereka akan mengendalikan atau melihat agen yang mereka ajak bekerja sama atau kelola?
Jadi, inilah inti dari cara kami membangun perusahaan berdasarkan pertanyaan ini. Saya rasa inilah yang membedakan kami saat ini, karena kami menyediakan berbagai alat untuk membantu agen AI ini membangun dan mengonfigurasi agen ini sehingga mereka tidak lagi menjadi "kotak hitam". Beginilah cara kami membangun merek kami.
Derrick Harris: Apa yang menginspirasi Anda, mengingat perusahaan terakhir Anda adalah perusahaan video yang berhadapan langsung dengan konsumen, untuk beralih ke perangkat lunak perusahaan?
Jesse Zhang: Pertanyaan yang bagus. Saya pikir para pendiri sering kali "tidak peduli topik" ketika harus memilih topik, karena pada kenyataannya, ketika Anda mendekati bidang baru, Anda biasanya cukup naif. Jadi ada keuntungan melihat sesuatu dari perspektif baru. Jadi ketika kami memikirkannya, hampir tidak ada batasan topik.
Saya pikir itu pola yang sangat umum bagi orang-orang dengan latar belakang kuantitatif, termasuk saya. Setelah mencoba produk konsumen, Anda cenderung lebih tertarik pada perangkat lunak perusahaan karena perangkat lunak perusahaan memiliki masalah yang lebih konkret.
Anda memiliki pelanggan aktual dengan kebutuhan dan anggaran aktual dan hal-hal seperti itu, dan Anda dapat mengoptimalkan dan memecahkan masalah untuk mereka. Pasar konsumen juga sangat menarik, tetapi lebih didasarkan pada intuisi daripada didorong oleh eksperimen. Bagi saya pribadi, perangkat lunak perusahaan lebih cocok.
Kimberly Tan: Pertama, kita bisa mulai dengan pertanyaan ini: Apa saja kategori dukungan paling umum yang ditangani Decagon saat ini? Bisakah Anda menjelaskan lebih lanjut tentang cara Anda menggunakan model bahasa besar (LLM) untuk memecahkan masalah ini dan apa yang sekarang dapat Anda lakukan yang sebelumnya tidak dapat Anda lakukan?
Jesse Zhang: Jika Anda menilik kembali otomatisasi sebelumnya, Anda mungkin telah menggunakan pohon keputusan untuk melakukan sesuatu yang sederhana, untuk menentukan jalur mana yang harus diambil. Namun, kita semua telah menggunakan chatbot, dan itu merupakan pengalaman yang cukup membuat frustrasi.
Seringkali pertanyaan Anda tidak dapat dijawab sepenuhnya oleh pohon keputusan. Jadi Anda akhirnya diarahkan ke jalur pertanyaan yang terkait dengan pertanyaan tetapi tidak sepenuhnya sesuai dengannya. Sekarang, kita memiliki model bahasa besar (LLM). Keajaiban LLM adalah bahwa mereka sangat fleksibel, dapat beradaptasi dengan berbagai situasi, dan memiliki kecerdasan dasar.
Bila Anda menerapkan ini pada layanan pelanggan, atau saat pelanggan mengajukan pertanyaan, Anda dapat memberikan layanan yang lebih personal. Ini adalah poin pertama, tingkat personalisasi telah meningkat pesat. Ini membuka metrik yang lebih tinggi. Anda dapat memecahkan lebih banyak masalah, pelanggan lebih puas, dan kepuasan pelanggan meningkat.
Langkah alami berikutnya adalah: jika Anda memiliki kecerdasan ini, Anda seharusnya dapat melakukan lebih banyak hal yang dapat dilakukan manusia. Hal-hal yang dapat dilakukan manusia adalah mereka dapat menarik data secara real time, mereka dapat mengambil tindakan, dan mereka dapat bernalar melalui beberapa langkah. Jika seorang pelanggan mengajukan pertanyaan yang relatif rumit, mungkin "Saya ingin melakukan ini dan itu," dan AI hanya siap untuk menangani pertanyaan pertama. LLM cukup pintar untuk mengenali bahwa ada dua pertanyaan di sini. Pertama, ia akan memecahkan masalah pertama, dan kemudian membantu Anda memecahkan masalah kedua.
Sebelum LLM hadir, hal ini pada dasarnya mustahil. Jadi, kini kita melihat perubahan besar dalam hal yang dapat dilakukan teknologi, dan itu semua berkat LLM.
Kimberly Tan: Dalam konteks ini, bagaimana Anda mendefinisikan Agen AI? Karena kata “Agen” digunakan secara luas, saya ingin tahu apa sebenarnya artinya dalam konteks Decagon.
Jesse Zhang: Saya akan mengatakan bahwa Agen lebih mengacu pada sistem tempat beberapa sistem LLM (model bahasa besar) bekerja bersama. Anda memiliki pemanggilan LLM, yang pada dasarnya melibatkan pengiriman perintah dan mendapatkan respons. Untuk Agen, Anda ingin dapat menghubungkan beberapa pemanggilan tersebut, bahkan mungkin secara rekursif.
Misalnya, Anda memiliki panggilan LLM yang menentukan cara menangani pesan, lalu panggilan tersebut dapat memicu panggilan lain yang menarik lebih banyak data, melakukan tindakan, dan mengulangi apa yang dikatakan pengguna, bahkan mungkin mengajukan pertanyaan lanjutan. Jadi bagi kami, Agen dapat dipahami sebagai jaringan panggilan LLM, panggilan API, atau logika lain yang bekerja sama untuk memberikan pengalaman yang lebih baik.
Kimberly Tan: Mengenai topik ini, mungkin kita dapat berbicara lebih jauh tentang infrastruktur Agen yang telah Anda bangun. Saya pikir satu hal yang sangat menarik adalah bahwa ada banyak demonstrasi Agen AI di pasaran, tetapi saya pikir hanya ada sedikit contoh Agen yang benar-benar dapat berjalan dengan stabil di lingkungan produksi. Dan sulit untuk mengetahui dari luar apa yang nyata dan apa yang tidak.
Jadi menurut Anda, aspek apa saja dari Agen AI masa kini yang berjalan dengan baik, dan aspek apa saja yang masih memerlukan terobosan teknologi agar lebih tangguh dan andal?
Jesse Zhang: Pandangan saya sebenarnya sedikit berbeda. Perbedaan antara menentukan apakah Agen AI hanya demo atau "benar-benar berfungsi" tidak sepenuhnya terletak pada tumpukan teknologi, karena menurut saya kebanyakan orang mungkin menggunakan teknologi yang hampir sama. Saya rasa setelah Anda melangkah lebih jauh dalam pengembangan perusahaan Anda, misalnya, perusahaan kami telah berdiri selama lebih dari setahun, Anda akan menciptakan sesuatu yang sangat spesifik yang sesuai dengan kasus penggunaan Anda.
Namun pada analisis akhir, semua orang dapat mengakses model yang sama dan menggunakan teknologi yang serupa. Saya pikir pembeda terbesar apakah agen AI dapat bekerja secara efektif sebenarnya terletak pada bentuk kasus penggunaan. Sulit untuk mengetahui hal ini pada awalnya, tetapi jika melihat ke belakang, Anda akan menemukan bahwa ada dua atribut yang sangat penting bagi agen AI untuk melampaui demonstrasi dan memasuki aplikasi praktis.
Yang pertama adalah bahwa kasus penggunaan yang Anda selesaikan harus memiliki ROI (laba atas investasi) yang dapat diukur. Ini sangat penting, karena jika ROI tidak dapat diukur, akan sulit meyakinkan orang untuk benar-benar menggunakan produk Anda dan membayarnya. Dalam kasus kami, indikator kuantitatifnya adalah: berapa persen permintaan dukungan yang Anda selesaikan? Karena angka ini jelas, orang dapat memahaminya – oh, oke, jika Anda menyelesaikan lebih banyak, saya dapat membandingkan hasil ini dengan pengeluaran dan waktu yang saya habiskan saat ini. Jadi, jika ada indikator ini, indikator lain yang sangat penting bagi kami adalah kepuasan pelanggan. Karena ROI dapat diukur dengan mudah, orang akan benar-benar mengadopsinya.
Faktor kedua adalah kasus penggunaan harus semakin sulit. Akan sangat sulit juga jika Anda membutuhkan Agen yang menjadi manusia super sejak awal, yang dapat menyelesaikan hampir 100% kasus penggunaan. Karena seperti yang kita ketahui, LLM bersifat non-deterministik, Anda harus memiliki semacam rencana darurat. Untungnya, ada fitur hebat dari kasus penggunaan dukungan, yaitu Anda selalu dapat meningkatkannya ke manusia. Bahkan jika Anda hanya dapat menyelesaikan setengah dari masalah, hal itu tetap sangat berharga bagi orang-orang.
Jadi, menurut saya dukungan tersebut memiliki karakteristik yang membuatnya sangat cocok untuk AI Agent. Menurut saya, ada banyak area lain tempat orang dapat membuat demo yang mengesankan, bahkan tanpa perlu melihat secara saksama untuk memahami mengapa AI Agent akan berguna. Namun, jika harus sempurna sejak awal, maka itu sangat sulit. Jika demikian, hampir tidak ada yang mau mencoba atau menggunakannya karena konsekuensi dari ketidaksempurnaannya bisa sangat serius – misalnya, dalam hal keamanan.
Misalnya, ketika orang melakukan simulasi, mereka selalu memiliki pemikiran klasik ini: "Wah, alangkah hebatnya jika LLM bisa membaca ini." Namun, sulit membayangkan seseorang berkata, "Oke, Agen AI, lakukan saja. Saya yakin Anda bisa melakukannya." Karena jika terjadi kesalahan, konsekuensinya bisa sangat serius.
Jesse Zhang: Hal ini biasanya diputuskan oleh pelanggan kami, dan faktanya kami melihat berbagai perbedaan yang sangat luas. Di satu sisi, beberapa orang benar-benar membuat Agen mereka tampak seperti manusia, jadi ada avatar manusia, nama manusia, dan responsnya sangat alami. Di sisi lain, Agen hanya menyatakan bahwa itu adalah AI dan menjelaskannya dengan jelas kepada pengguna. Saya pikir berbagai perusahaan yang bekerja sama dengan kami memiliki posisi yang berbeda dalam hal ini.
Biasanya, jika Anda berkecimpung dalam industri yang diatur, Anda harus menjelaskannya dengan jelas. Yang menurut saya menarik sekarang adalah perilaku pelanggan berubah. Karena banyak pelanggan kami yang mendapatkan banyak masukan di media sosial, seperti, "Ya Tuhan, ini pengalaman mengobrol pertama yang pernah saya coba yang benar-benar terasa nyata," atau "Ini sungguh ajaib." Dan itu bagus bagi mereka, karena sekarang pelanggan mereka belajar, hei, jika ini pengalaman AI, itu sebenarnya bisa lebih baik daripada manusia. Itu tidak terjadi di masa lalu, karena kebanyakan dari kita pernah mengalami pengalaman layanan pelanggan telepon seperti itu di masa lalu: "Oke, AI, AI, AI..."
Kimberly Tan: Anda menyebutkan konsep personalisasi beberapa kali. Semua orang menggunakan arsitektur teknologi dasar yang sama, tetapi mereka memiliki kebutuhan personalisasi yang berbeda dalam hal layanan dukungan. Bisakah Anda menjelaskannya? Secara spesifik, bagaimana Anda mencapai personalisasi sehingga orang dapat berkata secara daring, "Ya Tuhan, ini adalah pengalaman dukungan terbaik yang pernah saya alami"?
Jesse Zhang: Bagi kami, Personalisasi berasal dari kustomisasi bagi pengguna. Anda perlu memahami informasi latar belakang pengguna, yang merupakan konteks tambahan yang dibutuhkan. Kedua, Anda juga perlu memahami logika bisnis pelanggan kami.Jika Anda menggabungkan keduanya, Anda dapat memberikan pengalaman yang cukup baik.
Tentu saja, ini terdengar sederhana, tetapi pada kenyataannya sangat sulit untuk mendapatkan semua konteks yang dibutuhkan. Oleh karena itu, sebagian besar pekerjaan kami adalah tentang cara membangun komponen primitif yang tepat sehingga ketika pelanggan menerapkan sistem kami, mereka dapat dengan mudah memutuskan, "Oke, ini logika bisnis yang kami inginkan." Misalnya, pertama-tama Anda perlu melakukan keempat langkah ini, dan jika langkah ketiga gagal, Anda perlu melanjutkan ke langkah kelima.
Anda ingin dapat mengajarkan hal ini kepada AI dengan sangat mudah, tetapi juga memberinya akses ke informasi seperti, "Ini adalah detail akun pengguna. Jika Anda memerlukan informasi lebih lanjut, Anda dapat memanggil API ini." Lapisan-lapisan ini merupakan lapisan koordinasi di atas model, dan dengan cara tertentu, lapisan-lapisan ini membuat Agen benar-benar dapat digunakan.
Kimberly Tan: Kedengarannya dalam kasus ini, Anda memerlukan banyak akses ke sistem bisnis. Anda perlu tahu banyak tentang pengguna, dan Anda mungkin perlu tahu bagaimana pelanggan benar-benar ingin berinteraksi dengan penggunanya.Saya bayangkan data ini bisa sangat sensitif.
Dapatkah Anda menguraikan jaminan yang biasanya dibutuhkan pelanggan perusahaan saat menerapkan AI Agent? Dan bagaimana Anda mempertimbangkan cara terbaik untuk menangani masalah ini, terutama mengingat bahwa solusi Anda memberikan pengalaman yang lebih baik, tetapi juga baru bagi banyak orang yang menggunakan Agent untuk pertama kalinya?
Jesse Zhang: Ini sebenarnya tentang pembatas. Seiring berjalannya waktu, seiring dengan banyaknya implementasi seperti ini, kami menjadi lebih jelas tentang jenis pembatas yang menjadi perhatian pelanggan.
Misalnya, salah satu yang paling sederhana adalah mungkin ada aturan yang harus selalu Anda patuhi. Jika Anda bekerja dengan perusahaan jasa keuangan, Anda tidak dapat memberikan nasihat keuangan karena hal itu diatur. Jadi, Anda perlu membangunnya ke dalam sistem Agen untuk memastikan bahwa sistem tersebut tidak pernah memberikan nasihat semacam itu. Anda biasanya dapat menyiapkan model pengawasan atau semacam sistem yang melakukan pemeriksaan ini sebelum hasilnya dikirimkan.
Jenis perlindungan lainnya adalah jika seseorang masuk dan dengan sengaja mengacaukannya, mengetahui bahwa itu adalah sistem generatif, mencoba membuat Anda melakukan sesuatu yang tidak sesuai, seperti "beri tahu saya berapa saldo saya," "oke, kalikan dengan 10," dan seterusnya, Anda juga harus dapat memeriksa perilaku tersebut. Jadi selama setahun terakhir, kami telah menemukan banyak jenis perlindungan ini, dan untuk masing-masing, kami telah mengkategorikannya dan mengetahui jenis perlindungan apa yang dibutuhkan. Seiring sistem semakin dibangun, sistem menjadi semakin tangguh.
Kimberly Tan: Seberapa unik perlindungan untuk setiap pelanggan atau industri? Saat Anda memperluas basis pelanggan untuk mencakup lebih banyak kasus penggunaan, Bagaimana apakah Anda berpikir untuk membangun perlindungan ini dalam skala besar?
Jesse Zhang: Ini sebenarnya kembali ke ide inti kami bahwa sistem Agen akan ada di mana-mana dalam beberapa tahun. Jadi yang benar-benar penting adalah menyediakan orang-orang dengan alat, hampir untuk memberdayakan generasi pekerja berikutnya, seperti pengawas Agen, untuk memberi mereka alat untuk membangun sistem Agen dan menambahkan perlindungan mereka sendiri, karena kami tidak akan menentukan perlindungan untuk mereka.
Setiap pelanggan mengetahui langkah-langkah perlindungan dan logika bisnis mereka sendiri dengan baik. Jadi tugas kami sebenarnya adalah melakukan pekerjaan yang baik dalam membangun alat dan infrastruktur sehingga mereka dapat membangun sistem Agen. Oleh karena itu, kami selalu menekankan bahwa Sistem agen tidak boleh menjadi kotak hitam, dan Anda harus dapat mengontrol cara membangun perlindungan, aturan, dan logika ini.
Saya rasa itu mungkin aspek yang paling membedakan kami sejauh ini. Kami telah berupaya keras untuk membuat alat-alat ini dan menghasilkan cara-cara kreatif untuk memungkinkan orang-orang yang mungkin tidak memiliki latar belakang teknis yang hebat, atau bahkan pemahaman yang mendalam tentang cara kerja model AI, untuk tetap memasukkan tindakan yang mereka inginkan agar dilakukan AI ke dalam sistem Agen.
Saya pikir itu akan menjadi kemampuan yang semakin penting dalam beberapa tahun ke depan. Itu seharusnya menjadi salah satu kriteria terpenting saat orang mengevaluasi alat serupa, karena Anda ingin dapat terus mengoptimalkan dan meningkatkan sistem ini dari waktu ke waktu.
Logika bisnis didorong oleh bahasa alami
Derrick Harris: Persiapan apa yang dapat dilakukan pelanggan atau bisnis untuk mempersiapkan segala jenis otomatisasi, dan khususnya penggunaan sistem Agen ini? Misalnya, bagaimana mereka dapat merancang sistem data, arsitektur perangkat lunak, atau logika bisnis untuk mendukung sistem tersebut?
Karena saya merasa banyak teknologi AI yang pada awalnya masih baru, tetapi bila dipadukan dengan sistem lama yang sudah ada, sering kali menemui banyak kekacauan.
Jesse Zhang: Jika seseorang sedang membangun dari awal sekarang, ada banyak praktik terbaik yang dapat mempermudah pekerjaan Anda. Misalnya, cara menyusun basis pengetahuan Anda. Kami telah menulis tentang beberapa di antaranya, dan memperkenalkan beberapa metode yang dapat mempermudah AI untuk menyerap informasi dan meningkatkan keakuratannya. Salah satu saran khusus adalah membagi basis pengetahuan menjadi beberapa bagian modular, daripada memiliki satu artikel besar dengan banyak jawaban.
Saat menyiapkan API, Anda dapat membuatnya lebih sesuai untuk sistem Agen, dan mengatur izin dan output dengan cara yang memudahkan sistem Agen untuk menyerap informasi tanpa harus melakukan banyak kalkulasi untuk menemukan jawabannya. Ini adalah beberapa langkah taktis yang dapat diambil, tetapi saya tidak akan mengatakan ada sesuatu yang harus dilakukan untuk menggunakan sistem Agen.
Derrick Harris: Dokumentasi yang baik selalu penting, pada dasarnya adalah tentang pengorganisasian informasi secara efektif.
Kimberly Tan: Kedengarannya seperti jika Anda mencoba mengajar orang cara mengarahkan sistem Agen agar beroperasi dengan cara yang paling sesuai dengan pelanggan atau kasus penggunaan tertentu, maka banyak eksperimen dengan desain UI dan UX mungkin diperlukan, atau Anda harus merintis jalan baru di bidang yang benar-benar baru ini, karena sangat berbeda dari perangkat lunak tradisional.
Saya penasaran, bagaimana pendapat Anda tentang ini? Seperti apa tampilan UI dan UX di dunia yang mengutamakan Agen? Menurut Anda, bagaimana perubahannya dalam beberapa tahun ke depan?
Jesse Zhang: Saya tidak akan mengatakan bahwa kami telah memecahkan masalah ini. Saya pikir kami mungkin telah menemukan solusi lokal yang sesuai untuk pelanggan kami saat ini, tetapi ini masih merupakan area penelitian yang sedang berlangsung, bagi kami dan banyak orang lain.
Masalah inti kembali ke apa yang telah kami sebutkan sebelumnya, yaitu Anda memiliki sistem Agen. Pertama, bagaimana Anda dapat melihat dengan jelas apa yang sedang dilakukan dan bagaimana ia membuat keputusan? Lalu, bagaimana Anda dapat menggunakan informasi ini untuk memutuskan apa yang perlu diperbarui dan umpan balik apa yang harus diberikan kepada AI? Di sinilah elemen UI bersatu, terutama bagian kedua.
Kami berpikir bahwa seiring berjalannya waktu, UI dan UX akan semakin berbasis bahasa alami, karena begitulah cara kerja sistem Agen, atau pada dasarnya itulah dasar untuk melatih model bahasa besar (LLM).
Secara ekstrem, jika Anda memiliki agen super-cerdas yang pada dasarnya berpikir seperti manusia, Anda dapat menunjukkan berbagai hal kepadanya, menjelaskan berbagai hal kepadanya, memberinya umpan balik, dan ia akan memperbaruinya dalam "pikirannya" sendiri. Anda dapat membayangkan memiliki orang yang sangat cakap bergabung dengan tim Anda, Anda mengajarinya sesuatu, ia mulai bekerja, dan kemudian Anda terus memberinya umpan balik, Anda dapat menunjukkan kepadanya hal-hal baru, dokumen baru, diagram, dll.
Saya pikir dalam kasus ekstrem, hal itu akan berkembang ke arah ini: hal-hal menjadi lebih bersifat percakapan, lebih berbasis bahasa alami, dan orang-orang berhenti membangun sistem dengan pohon keputusan yang rumit seperti yang biasa mereka lakukan, menangkap apa yang Anda inginkan, tetapi pendekatan ini dapat dengan mudah rusak. Kami dulu harus melakukan ini karena tidak ada LLM saat itu, tetapi sekarang sistem Agen menjadi semakin canggih, UI dan UX akan menjadi lebih bersifat percakapan.
Kimberly Tan: Sekitar satu setengah tahun yang lalu, ketika Decagon pertama kali dimulai, terdapat persepsi umum bahwa LLM sangat sesuai untuk banyak kasus penggunaan, tetapi sebenarnya itu hanyalah semacam "pembungkus GPT", di mana perusahaan dapat memanggil model dasar melalui API dan langsung menyelesaikan masalah dukungan mereka.
Namun, jelas saja, karena perusahaan memilih untuk menggunakan solusi seperti Decagon alih-alih langsung menggunakan cara itu, ternyata hal itu tidak terjadi. Saya ingin tahu apakah Anda dapat menjelaskan mengapa demikian. Apa sebenarnya yang membuat tantangan membangun secara internal lebih rumit dari yang diharapkan? Kesalahpahaman apa yang mereka miliki tentang konsep tersebut?
Jesse Zhang: Tidak ada yang salah dengan menjadi "pembungkus GPT", Anda dapat mengatakan bahwa Purcell adalah pembungkus AWS atau semacamnya. Biasanya, ketika orang menggunakan istilah ini, itu berarti sesuatu yang merendahkan.
Pandangan pribadi saya adalah jika Anda membangun sistem agen, menurut definisinya Anda pasti akan menggunakan LLM sebagai alat. Jadi Anda sebenarnya membangun di atas sesuatu yang sudah ada, sama seperti Anda biasanya membangun di AWS atau GCP.
Namun masalah sebenarnya yang dapat Anda hadapi adalah jika perangkat lunak yang Anda bangun di atas LLM tidak cukup “berat” atau rumit untuk membuat perbedaan.
Kalau dipikir-pikir lagi, bagi kami, yang kami jual pada dasarnya adalah perangkat lunak. Kami sebenarnya seperti perusahaan perangkat lunak biasa, kecuali bahwa kami menggunakan LLM sebagai bagian dari perangkat lunak dan sebagai salah satu alat. Namun, ketika orang membeli produk semacam ini, mereka terutama menginginkan perangkat lunak itu sendiri. Mereka menginginkan alat yang dapat memantau AI, yang dapat menggali lebih dalam detail setiap percakapan yang dilakukan AI, yang dapat memberikan umpan balik, yang dapat terus-menerus membangun dan menyesuaikan sistem.
Jadi, itulah inti dari perangkat lunak kami. Bahkan dengan sistem Agen itu sendiri, masalah yang dihadapi orang-orang adalah bahwa demo itu keren, tetapi jika Anda ingin membuatnya siap produksi dan benar-benar berorientasi pada pelanggan, Anda harus menyelesaikan banyak masalah yang sudah lama ada, seperti mencegah fenomena "ilusi" dan menangani pelaku jahat yang mencoba menimbulkan kekacauan. Kami juga harus memastikan bahwa latensi cukup rendah, nadanya tepat, dan sebagainya.
Kami berbicara dengan banyak tim, dan mereka melakukan beberapa percobaan, membuat versi awal, lalu mereka menyadari, "Oh, sungguh, kami tidak ingin menjadi pihak yang terus membangun detail ini di tahap selanjutnya." Mereka juga tidak ingin menjadi pihak yang terus menambahkan logika baru ke tim layanan pelanggan. Jadi pada titik ini, tampaknya lebih tepat untuk memilih berkolaborasi dengan pihak lain.
Kimberly Tan: Anda menyebutkan beberapa isu jangka panjang, seperti kebutuhan untuk menangani orang-orang yang tidak bertanggung jawab, dan sebagainya.Saya yakin banyak pendengar yang mempertimbangkan untuk menggunakan AI Agent khawatir tentang jalur serangan keamanan baru yang mungkin muncul setelah diperkenalkannya LLM, atau risiko keamanan baru yang mungkin muncul setelah diperkenalkannya sistem Agent. Apa pendapat Anda tentang masalah ini? Dan apa praktik terbaik untuk memastikan keamanan perusahaan terbaik saat berhadapan dengan Agen?
Jesse Zhang: Dalam hal keamanan, ada beberapa langkah nyata yang dapat diambil, yang telah saya sebutkan sebelumnya, seperti perlunya langkah-langkah perlindungan. Masalah utamanya adalah kekhawatiran masyarakat tentang LLM karena LLM tidak bersifat deterministik.
Namun kabar baiknya adalah Anda sebenarnya dapat menempatkan sebagian besar operasi yang sensitif dan kompleks di balik dinding deterministik, dan komputasi terjadi di sana saat memanggil API. Jadi Anda tidak bergantung sepenuhnya pada LLM untuk menanganinya, dan itu menghindari banyak masalah inti.
Namun, masih ada situasi di mana, misalnya, aktor jahat mengganggu atau seseorang mencoba membuat sistem berhalusinasi. Kami telah mengamati bahwa di banyak pelanggan utama yang bekerja sama dengan kami, tim keamanan mereka akan masuk dan pada dasarnya melakukan uji "tim merah" pada produk kami, menghabiskan waktu berminggu-minggu untuk terus-menerus meluncurkan berbagai kemungkinan serangan pada sistem untuk mencoba menemukan kerentanan. Seiring dengan semakin populernya AI Agent, kita mungkin melihat hal ini terjadi lebih sering, karena ini adalah salah satu cara terbaik untuk menguji apakah suatu sistem efektif. Yaitu dengan melemparkan sesuatu ke dalamnya melalui uji tim merah dan melihat apakah sistem tersebut dapat menembus pertahanan.
Ada juga perusahaan rintisan yang mengembangkan perangkat tim merah atau memungkinkan orang melakukan pengujian semacam ini sendiri, yang merupakan tren yang sedang kita lihat saat ini. Banyak perusahaan yang bekerja sama dengan kami, pada tahap selanjutnya dalam siklus penjualan, akan meminta tim keamanan mereka, atau bekerja dengan tim eksternal, untuk melakukan uji ketahanan terhadap sistem. Bagi kami, mampu lulus pengujian semacam itu adalah suatu keharusan. Jadi, pada akhirnya, itulah intinya.
Derrick Harris: Apakah ini sesuatu yang Anda anjurkan kepada pelanggan Anda? Karena ketika kita berbicara tentang kebijakan AI, kita menyebutkan aspek penting, yaitu lapisan aplikasi, dan kami menekankan penerapan yang tanggung jawab ada pada pengguna LLM dan orang yang menjalankan aplikasi, bukan hanya menyalahkan model itu sendiri. Artinya, pelanggan harus melakukan pengujian red team, mengidentifikasi kasus penggunaan dan jalur serangan tertentu, dan menentukan kerentanan mana yang perlu dilindungi, bukan hanya mengandalkan perlindungan keamanan yang telah disiapkan oleh OpenAI atau perusahaan lain.
Jesse Zhang: Saya sangat setuju. Saya juga berpikir bahwa mungkin akan ada gelombang baru persyaratan notifikasi yang muncul, mirip dengan sertifikasi SOC 2 dan sertifikasi HIPAA yang dilakukan semua orang sekarang, yang diwajibkan di berbagai industri. Biasanya, saat Anda menjual produk SaaS generik, pelanggan akan memerlukan pengujian penetrasi, dan kami juga harus memberikan laporan pengujian penetrasi. Untuk AI Agent, mungkin akan ada persyaratan serupa di masa mendatang, dan seseorang mungkin menyebutkannya, tetapi ini pada dasarnya adalah cara baru untuk menguji apakah sistem Agent cukup kuat.
Kimberly Tan: Satu hal yang menarik adalah bahwa semua orang sangat antusias dengan terobosan model baru dan terobosan teknologi yang diperkenalkan oleh semua laboratorium besar. Sebagai perusahaan AI, Anda tentu tidak melakukan penelitian sendiri, tetapi memanfaatkan penelitian tersebut dan membangun banyak perangkat lunak untuk disampaikan kepada pelanggan akhir.
Namun, pekerjaan Anda didasarkan pada teknologi yang berubah dengan cepat. Saya penasaran, sebagai perusahaan AI terapan, bagaimana Anda mengikuti perubahan teknologi baru dan memahami bagaimana perubahan tersebut memengaruhi perusahaan sekaligus mampu memprediksi peta jalan produk Anda sendiri dan membangun kebutuhan pengguna? Secara lebih luas, strategi apa yang harus diadopsi perusahaan AI terapan dalam situasi serupa?
Jesse Zhang: Anda sebenarnya dapat membagi seluruh tumpukan menjadi beberapa bagian. Misalnya, LLM berada di bagian bawah jika Anda melihat lapisan aplikasi. Anda mungkin memiliki beberapa alat di bagian tengah yang membantu Anda mengelola LLM atau melakukan beberapa evaluasi dan hal-hal seperti itu. Kemudian, bagian atas pada dasarnya adalah apa yang kami buat, yang sebenarnya seperti SaaS standar.
Jadi, sebagian besar pekerjaan kami sebenarnya tidak jauh berbeda dari perangkat lunak biasa, kecuali bahwa kami memiliki komponen penelitian tambahan – LLM berubah terlalu cepat. Kami perlu meneliti apa yang dapat mereka lakukan, apa yang mereka kuasai, dan model mana yang harus digunakan untuk melakukan tugas tertentu. Ini adalah masalah besar karena OpenAI dan Anthropic meluncurkan teknologi baru, dan Gemini juga secara bertahap meningkat.
Karena itu, Anda harus memiliki mekanisme evaluasi sendiri untuk memahami model mana yang cocok digunakan dalam situasi apa. Terkadang Anda juga perlu melakukan penyempurnaan, tetapi pertanyaannya adalah: kapan harus melakukan penyempurnaan? Kapan penyempurnaan bermanfaat? Ini mungkin merupakan isu penelitian utama terkait LLM yang menjadi fokus kami. Namun, setidaknya sejauh ini, kami tidak merasa bahwa SaaS berubah dengan cepat, karena kami tidak bergantung pada lapisan tengah. Jadi, pada dasarnya, LLM-lah yang berubah. LLM tidak sering berubah, dan jika berubah, biasanya itu adalah pemutakhiran. Misalnya, Claude 3.5 Sonnet diperbarui beberapa bulan lalu, dan saat itu kami berpikir, "Baiklah, haruskah kami beralih ke model baru alih-alih terus menggunakan yang lama?"
Kita hanya perlu menjalankan serangkaian penilaian, dan setelah beralih ke model baru, kita tidak perlu memikirkannya lagi karena Anda sudah menggunakan model baru. Kemudian, versi o1 keluar, dan situasinya serupa. Pikirkan di mana model itu dapat digunakan. Dalam kasus kita, o1 agak lambat untuk sebagian besar kasus penggunaan yang berhadapan dengan pelanggan, jadi kita dapat menggunakannya untuk beberapa pekerjaan latar belakang. Pada akhirnya, kita hanya perlu memiliki sistem yang baik untuk penelitian model.
Kimberly Tan: Seberapa sering Anda mengevaluasi model baru dan memutuskan apakah akan menggantinya?
Jesse Zhang: Kami mengevaluasi setiap kali model baru keluar. Anda harus memastikan bahwa meskipun model baru lebih cerdas, model tersebut tidak merusak beberapa kasus penggunaan yang telah Anda buat. Hal ini dapat terjadi. Misalnya, model baru mungkin lebih cerdas secara keseluruhan, tetapi dalam beberapa kasus ekstrem, model tersebut berkinerja buruk pada pilihan A/B di salah satu alur kerja Anda. Itulah yang kami evaluasi.
Menurut saya, secara keseluruhan, jenis kecerdasan yang paling kita pedulikan adalah apa yang saya sebut "kemampuan mengikuti instruksi." Kita ingin model tersebut menjadi semakin baik dalam mengikuti instruksi. Jika memang demikian, maka itu pasti bermanfaat bagi kita, dan itu sangat bagus.
Tampaknya penelitian terkini lebih berfokus pada jenis kecerdasan yang melibatkan penalaran, seperti pemrograman yang lebih baik dan operasi matematika yang lebih baik. Ini juga membantu kita, tetapi tidak sepenting peningkatan kemampuan mengikuti instruksi.
Kimberly Tan: Satu poin yang sangat menarik yang Anda sebutkan, dan saya pikir ini juga sangat unik bagi Decagon, adalah Anda telah membangun banyak infrastruktur evaluasi internal untuk memastikan Anda mengetahui dengan tepat bagaimana kinerja setiap model dalam serangkaian pengujian yang Anda sediakan.
Bisakah Anda menjelaskan lebih lanjut? Seberapa penting infrastruktur evaluasi internal ini, dan khususnya bagaimana hal itu memberi Anda dan pelanggan Anda keyakinan terhadap kinerja Agen? Karena beberapa evaluasi ini juga berhadapan langsung dengan pelanggan.
Jesse Zhang: Saya pikir ini sangat penting, karena tanpa infrastruktur evaluasi ini, akan sangat sulit bagi kami untuk mengulanginya dengan cepat.
Jika Anda merasa bahwa setiap perubahan memiliki kemungkinan besar untuk merusak sesuatu, maka Anda tidak akan membuat perubahan dengan cepat. Namun jika Anda memiliki mekanisme evaluasi, maka ketika ada perubahan besar, pembaruan model, atau sesuatu yang baru muncul, Anda dapat langsung membandingkannya dengan semua pengujian evaluasi. Jika hasil evaluasinya bagus, Anda dapat merasa: oke, kami telah melakukan perbaikan, atau Anda dapat merilisnya dengan percaya diri tanpa terlalu khawatir.
Jadi, di bidang kami, Evaluasi memerlukan masukan dari pelanggan, karena pelangganlah yang memutuskan apakah sesuatu itu benar atau tidak. Tentu saja, kami dapat memeriksa beberapa masalah tingkat tinggi, tetapi biasanya pelanggan memberikan kasus penggunaan yang spesifik dan memberi tahu kami apa jawaban yang benar, atau apa yang harusnya, nada apa yang harus dipertahankan, apa yang harus dikatakan.
Penilaian didasarkan pada hal ini. Jadi, kami harus memastikan bahwa sistem penilaian kami cukup tangguh. Awalnya, kami membangunnya sendiri, dan tidak terlalu sulit untuk mempertahankannya. Kami juga tahu bahwa ada beberapa perusahaan penilaian, dan kami telah menjajaki beberapa di antaranya. Mungkin suatu saat nanti, kami akan mempertimbangkan apakah akan mengadopsinya, tetapi untuk saat ini, sistem penilaian tidak lagi menjadi kendala bagi kami.
Kimberly Tan: Topik yang sangat populer saat ini adalah multimodalitas, yang berarti bahwa agen AI harus dapat berinteraksi di semua bentuk yang digunakan manusia saat ini, baik itu teks, video, suara, dll. Saya tahu bahwa Decagon dimulai sebagai berbasis teks. Dari sudut pandang Anda, seberapa penting adalah multimodalitas untuk agen AI? Menurut Anda, berapa lama waktu yang dibutuhkan agar hal ini menjadi arus utama atau bahkan standar?
Jesse Zhang: Hal ini penting, dan dari sudut pandang perusahaan, tidak terlalu sulit untuk menambahkan modalitas baru. Hal ini tidak sederhana, tetapi intinya adalah: jika Anda memecahkan masalah lain, seperti yang saya sebutkan – misalnya, membangun AI, memantaunya, dan memiliki logika yang tepat – maka menambahkan modalitas baru bukanlah hal yang paling sulit untuk dilakukan. Jadi bagi kami, memiliki semua modalitas sangat masuk akal, dan memperluas pasar kami. Pada dasarnya kami tidak bergantung pada modalitas, dan kami membangun Agen kami sendiri untuk setiap modalitas.
Secara umum, ada dua faktor pembatas: Pertama, apakah pelanggan siap mengadopsi cara baru ini? Saya rasa sangat masuk akal untuk memulai dengan teks, karena itulah cara yang paling banyak diadopsi orang, dan lebih sedikit risikonya bagi mereka, lebih mudah dipantau, dan lebih mudah dipahami. Cara besar lainnya adalah suara. Jelas, saya rasa masih ada ruang di pasar, dan penerimaan pengguna terhadap suara masih perlu ditingkatkan. Saat ini, kami melihat beberapa pengguna awal yang mulai menggunakan Agen suara, yang sangat menarik. Aspek lainnya adalah tantangan teknis. Kebanyakan orang akan setuju bahwa standar ditetapkan lebih tinggi untuk suara. Jika Anda berbicara dengan seseorang di telepon, Anda memerlukan latensi suara yang sangat singkat. Jika Anda menyela seseorang, mereka perlu merespons secara alami.
Karena latensi bicara lebih rendah, Anda harus lebih pintar dalam cara menghitungnya. Jika Anda sedang mengobrol dan waktu responsnya lima hingga delapan detik, Anda hampir tidak menyadarinya dan terasa sangat alami. Namun, jika butuh waktu lima hingga delapan detik untuk merespons di telepon, rasanya agak tidak alami. Jadi, ada lebih banyak tantangan teknis dengan bicara. Seiring dengan tantangan teknis ini terpecahkan dan minat untuk mengadopsi bicara meningkat di pasar, bicara sebagai modalitas baru akan menjadi arus utama.
Model bisnis yang melampaui kepercayaan
Kimberly Tan: Sebelum kita melanjutkan, saya ingin berbicara sedikit lebih lanjut tentang model bisnis AI Agent. Saat pertama kali dibuat Agen AI atau berdiskusi dengan pelanggan tentang sistem yang mereka gunakan, data yang mereka proses, dan kekhawatiran mereka. Adakah hal yang mengejutkan Anda? Apa saja hal-hal yang tidak intuitif atau mengejutkan yang harus dilakukan Decagon agar dapat melayani pelanggan perusahaan dengan lebih baik?
Jesse Zhang: Saya pikir hal yang paling mengejutkan adalah sejauh mana orang-orang bersedia berbicara dengan kami saat kami pertama kali memulai. Lagi pula, kami hanya berdua. Kami berdua pernah merintis perusahaan sebelumnya, jadi kami mengenal banyak orang, tetapi meskipun demikian, bagi setiap pengusaha, saat Anda ingin memulai percakapan untuk mendapatkan referensi, jika apa yang Anda katakan tidak terlalu menarik, percakapan biasanya akan berjalan biasa saja.
Namun, ketika kami mulai membicarakan kasus penggunaan ini, saya benar-benar merasa cukup terkejut melihat betapa bersemangatnya orang-orang membicarakannya. Karena idenya tampak begitu jelas. Anda mungkin berpikir bahwa karena ini adalah ide yang begitu jelas, orang lain pasti sudah melakukannya, atau pasti sudah ada solusinya, atau orang lain pasti sudah menemukan semacam solusi. Namun, saya rasa kita menemukan momen yang tepat, kasus penggunaan itu sangat besar dan orang-orang sangat peduli tentangnya. Seperti yang saya sebutkan sebelumnya, kasus penggunaan itu sangat cocok untuk mengambil AI Agent dan mendorongnya ke tahap produksi, karena Anda dapat mengimplementasikannya secara bertahap dan dapat melacak ROI.
Itu adalah kejutan yang menyenangkan bagi saya, tetapi tentu saja masih banyak pekerjaan yang harus dilakukan setelah itu, Anda harus bekerja dengan pelanggan, Anda harus membangun produk, Anda harus mencari tahu jalan mana yang harus ditempuh. Pada tahap awal, itu benar-benar penemuan yang mengejutkan.
Derrick Harris: Kimberly, saya rasa saya harus menyebutkan postingan blog yang Anda tulis, RIP to RPA, yang menyentuh banyak hal yang tugas otomatisasi dan startup.Menurut Anda, apakah ada fenomena di mana tugas atau solusi otomatis ini tidak begitu ideal, sehingga orang selalu mencari cara yang lebih baik?
Kimberly Tan: Ya, saya rasa begitu. Saya ingin menyampaikan beberapa hal. Pertama, jika sebuah ide jelas bagi semua orang, tetapi tidak ada perusahaan yang jelas untuk menyelesaikannya, atau tidak ada yang menunjuk ke sebuah perusahaan dan berkata, "Anda harus menggunakan ini," maka itu berarti bahwa masalah tersebut belum benar-benar terpecahkan.
Dalam arti tertentu, ini adalah peluang yang sepenuhnya terbuka bagi perusahaan untuk mengembangkan solusi. Karena, seperti yang Anda katakan, kami telah mengikuti Decagon sebagai investor sejak awal. Kami telah menyaksikan mereka menavigasi labirin kreatif, dan ketika mereka memutuskan untuk mengambil arah ini dan mulai berbicara dengan pelanggan, menjadi jelas bahwa semua pelanggan sangat menginginkan semacam solusi asli yang mendukung AI. Ini adalah salah satu masalah yang saya sebutkan sebelumnya, di mana banyak orang menganggapnya hanya pembungkus GPT. Namun, minat pelanggan yang diterima Decagon sejak awal telah membuat kami menyadari sejak awal bahwa banyak dari masalah ini jauh lebih rumit daripada yang diharapkan orang.
Saya pikir fenomena ini terjadi di berbagai industri, baik itu layanan pelanggan atau otomatisasi profesional di vertikal tertentu. Saya pikir salah satu poin yang kurang diperhatikan adalah, seperti yang disebutkan Jesse sebelumnya, kemampuan untuk mengukur laba atas investasi (ROI) dari tugas otomatisasi dengan jelas. Sebab, jika Anda ingin seseorang menerima agen AI, mereka sebenarnya mengambil sejumlah "lompatan keyakinan" karena ini merupakan wilayah yang sangat asing bagi banyak orang.
Jika Anda dapat mengotomatiskan proses yang sangat spesifik yang merupakan proses penghasil pendapatan yang jelas, atau proses yang sebelumnya menjadi hambatan dalam bisnis, atau pusat biaya utama yang meningkat secara linear seiring dengan pertumbuhan pelanggan atau pertumbuhan pendapatan, maka akan lebih mudah untuk mendapatkan penerimaan untuk Agen AI. Kemampuan untuk mengubah masalah seperti itu menjadi proses yang lebih produktif yang dapat ditingkatkan skalanya seperti perangkat lunak tradisional sangatlah menarik.
Kimberly Tan: Saya punya satu pertanyaan terakhir sebelum kita lanjut. Saya ingat Jesse, dalam diskusi kita sebelumnya, selalu mengatakan bahwa tantangan terbesar bagi perusahaan yang mengadopsi perangkat lunak atau Agen AI adalah halusinasi. Namun Anda pernah mengatakan kepada saya bahwa ini sebenarnya bukan masalah utama. Bisakah Anda menjelaskan mengapa persepsi halusinasi agak menyesatkan dan apa yang sebenarnya lebih dikhawatirkan orang?
Jesse Zhang: Saya pikir orang-orang memang peduli dengan halusinasi, tetapi mereka lebih peduli dengan nilai yang dapat diberikannya. Hampir semua perusahaan yang bekerja sama dengan kami berfokus pada beberapa isu yang sama, hampir persis sama: berapa persen percakapan yang dapat Anda selesaikan? Seberapa puaskah pelanggan saya? Kemudian isu halusinasi dapat diklasifikasikan sebagai kategori ketiga, yaitu seberapa akuratnya. Secara umum, dua faktor pertama lebih penting saat mengevaluasi.
Katakanlah Anda sedang berbicara dengan bisnis baru dan Anda telah melakukan pekerjaan yang sangat baik pada dua faktor pertama, dan Anda mendapat banyak dukungan dari pimpinan dan semua orang dalam tim. Mereka berkata, "Ya Tuhan, pengalaman pelanggan kami berbeda. Setiap pelanggan kini memiliki asisten pribadi yang dapat menghubungi kami kapan saja. Kami telah memberi mereka jawaban yang bagus, mereka sangat puas, dan layanan kami multibahasa dan tersedia 24/7." Itu hanya sebagian saja, dan Anda juga telah menghemat banyak uang.
Jadi, setelah Anda mencapai tujuan tersebut, Anda akan mendapatkan banyak dukungan dan banyak dorongan untuk mendorong pekerjaan. Tentu saja, masalah ilusi pada akhirnya perlu diselesaikan, tetapi itu bukanlah hal yang paling mereka khawatirkan. Cara untuk menyelesaikan ilusi adalah dengan cara yang sama seperti yang saya sebutkan sebelumnya – orang akan menguji Anda. Mungkin ada fase pembuktian konsep di mana Anda benar-benar menjalankan percakapan nyata dan mereka memiliki anggota tim yang memantau dan memeriksa keakuratannya. Jika itu berjalan dengan baik, maka biasanya akan berhasil.
Selain itu, seperti yang saya sebutkan sebelumnya, Anda dapat menyiapkan beberapa langkah perlindungan ketat untuk informasi sensitif, seperti Anda tidak perlu membuat konten sensitif menjadi generik. Jadi, masalah ilusi merupakan pokok bahasan dalam sebagian besar transaksi. Ini bukanlah topik yang tidak penting. Anda akan melalui proses ini, tetapi ini tidak pernah menjadi fokus pembicaraan.
Kimberly Tan: Sekarang mari kita beralih ke model bisnis AI Agent. Hari ini, ada topik besar tentang cara menentukan harga AI Agent ini.
Secara historis, banyak perangkat lunak SaaS yang harganya dihitung berdasarkan jumlah kursi karena perangkat lunak tersebut merupakan perangkat lunak alur kerja yang ditujukan untuk karyawan perorangan dan digunakan untuk meningkatkan produktivitas karyawan. Namun, AI Agent tidak terkait dengan produktivitas karyawan perorangan seperti perangkat lunak tradisional.
Banyak orang yang beranggapan bahwa metode penetapan harga berdasarkan jumlah kursi mungkin tidak berlaku lagi. Saya penasaran Bagaimana Anda memikirkan dilema ini di awal dan bagaimana Anda akhirnya memutuskan untuk menentukan harga Decagon. Selain itu, menurut Anda apa tren harga perangkat lunak di masa mendatang seiring dengan semakin lazimnya Agen AI?
Jesse Zhang: Pandangan kami tentang masalah ini adalah bahwa di masa lalu, perangkat lunak dihargai per kursi karena skalanya secara kasar didasarkan pada jumlah orang yang dapat menggunakan perangkat lunak tersebut. Namun, bagi sebagian besar Agen AI, nilai yang Anda berikan tidak bergantung pada jumlah orang yang mengelolanya, melainkan pada jumlah pekerjaan yang dihasilkan. Hal ini sesuai dengan poin yang saya sebutkan sebelumnya: jika laba atas investasi (ROI) sangat terukur, maka tingkat hasil kerja juga sangat jelas.
Pandangan kami adalah bahwa penetapan harga berdasarkan jumlah kursi jelas tidak berlaku. Anda dapat menetapkan harga berdasarkan hasil pekerjaan. Jadi, model penetapan harga yang Anda tawarkan haruslah semakin banyak pekerjaan yang diselesaikan, semakin banyak pula yang Anda bayar.
Bagi kami, ada dua cara yang jelas untuk menentukan harga. Anda dapat menentukan harga percakapan, atau Anda dapat menentukan harga percakapan yang benar-benar diselesaikan oleh AI. Saya pikir salah satu pelajaran menarik yang kami pelajari adalah bahwa kebanyakan orang memilih model penetapan harga percakapan. Alasannya adalah bahwa keuntungan utama dari penetapan harga berdasarkan solusi adalah Anda membayar untuk apa yang yang AI bisa.
Namun pertanyaan berikutnya adalah, apa yang dianggap sebagai "solusi"? Pertama-tama, tidak seorang pun ingin membahasnya secara mendalam, karena akan menjadi, "Jika seseorang datang dengan marah dan Anda mengusirnya, mengapa kami harus membayarnya?"
Hal ini menciptakan situasi yang canggung dan juga membuat insentif bagi penyedia AI menjadi sedikit aneh, karena penagihan berdasarkan solusi berarti, "Kita hanya perlu menyelesaikan sebanyak mungkin percakapan dan menyingkirkan beberapa orang." Namun, ada banyak kasus di mana lebih baik untuk meningkatkan masalah daripada hanya menyingkirkannya, dan pelanggan tidak menyukai penanganan seperti ini. Oleh karena itu, penagihan berdasarkan percakapan akan memberikan lebih banyak kesederhanaan dan prediktabilitas.
Kimberly Tan: Menurut Anda, berapa lama model penetapan harga di masa mendatang akan bertahan?Karena saat ini ketika Anda menyebutkan ROI, biasanya didasarkan pada pengeluaran sebelumnya yang mungkin telah digunakan untuk menutupi biaya tenaga kerja. Karena Agen AI menjadi lebih umum, menurut Anda apakah dalam jangka panjang, AI akan dibandingkan dengan biaya tenaga kerja dan ini merupakan tolok ukur yang tepat? Jika tidak, bagaimana Anda melihat harga jangka panjang di luar biaya tenaga kerja?
Jesse Zhang: Saya pikir dalam jangka panjang, harga Agen AI mungkin masih terkait erat dengan biaya tenaga kerja, karena itulah keunggulan Agen – pengeluaran Anda sebelumnya untuk layanan kini dapat dialihkan ke perangkat lunak.
Bagian pengeluaran ini bisa mencapai 10 hingga 100 kali lipat dari pengeluaran perangkat lunak, jadi sebagian besar biaya akan dialihkan ke perangkat lunak. Oleh karena itu, biaya tenaga kerja secara alami akan menjadi tolok ukur. Bagi pelanggan kami, ROI sangat jelas. Jika Anda dapat menghemat X juta biaya tenaga kerja, maka masuk akal untuk mengadopsi solusi ini. Namun dalam jangka panjang, ini mungkin berada di tengah-tengah.
Karena bahkan beberapa produk yang tidak sebagus Agen kami akan menerima harga yang lebih rendah. Ini seperti situasi SaaS klasik, di mana semua orang bersaing untuk mendapatkan pangsa pasar.
Kimberly Tan: Menurut Anda apa yang akan terjadi di masa depan bagi perusahaan SaaS saat ini, khususnya mereka yang produknya mungkin belum dibuat untuk AI secara asli atau yang diberi harga per kursi dan karena itu tidak dapat beradaptasi dengan model harga yang berorientasi pada hasil?
Jesse Zhang: Bagi beberapa perusahaan tradisional, memang agak sulit jika mereka mencoba meluncurkan produk AI Agent karena mereka tidak dapat menentukan harga menggunakan model kursi. Jika Anda tidak lagi membutuhkan banyak Agent, sulit untuk mempertahankan pendapatan dengan produk yang ada. Ini adalah masalah bagi perusahaan tradisional, tetapi sulit untuk dikatakan. Perusahaan tradisional selalu memiliki keuntungan dari saluran distribusi. Bahkan jika produknya tidak sebagus perusahaan baru, orang enggan mengeluarkan upaya untuk menerima pemasok baru dengan kualitas hanya 80%.
Jadi, pertama, jika Anda adalah perusahaan rintisan seperti kami, Anda harus memastikan bahwa produk Anda tiga kali lebih baik daripada produk tradisional. Kedua, ini adalah persaingan yang umum antara perusahaan tradisional dan perusahaan rintisan. Perusahaan tradisional secara alami memiliki toleransi risiko yang lebih rendah karena mereka memiliki banyak pelanggan. Jika mereka melakukan kesalahan dalam iterasi yang cepat, itu akan menyebabkan kerugian besar. Namun, perusahaan rintisan dapat melakukan iterasi yang lebih cepat, sehingga proses iterasi itu sendiri dapat menghasilkan produk yang lebih baik. Ini adalah siklus yang biasa. Bagi kami, kami selalu bangga dengan kecepatan pengiriman, kualitas produk, dan pelaksanaan tim kami. Inilah sebabnya kami memenangkan kesepakatan saat ini.
Kimberly Tan: Bisakah Anda membuat beberapa prediksi tentang masa depan AI di tempat kerja? Misalnya, bagaimana AI akan mengubah kebutuhan atau kemampuan karyawan, atau bagaimana karyawan manusia dan Agen AI berinteraksi?Menurut Anda, praktik terbaik atau norma baru apa yang akan menjadi norma di tempat kerja seiring meluasnya penyebaran Agen AI?
Jesse Zhang: Perubahan pertama dan paling penting adalah kami yakin bahwa di masa mendatang, karyawan akan menghabiskan lebih banyak waktu di tempat kerja untuk membangun dan mengelola Agen AI, mirip dengan peran supervisor AI. Meskipun posisi Anda secara resmi bukanlah “pengawas AI,” sebagian besar waktu yang biasa Anda habiskan untuk mengerjakan pekerjaan Anda akan dialihkan untuk mengelola Agen-agen ini, karena Agen dapat memberi Anda banyak pengaruh.
Kita telah melihat hal ini dalam banyak penerapan di mana orang-orang yang dulunya adalah pemimpin tim kini menghabiskan banyak waktu untuk memantau AI, misalnya, untuk memastikan AI tidak mengalami masalah atau untuk melakukan penyesuaian. Mereka memantau kinerja secara keseluruhan untuk melihat apakah ada area tertentu yang memerlukan perhatian, apakah ada kesenjangan dalam basis pengetahuan yang dapat membantu AI menjadi lebih baik, dan apakah AI dapat mengisi kesenjangan tersebut.
Pekerjaan yang berkaitan dengan bekerja dengan Agen memberi kesan bahwa di masa mendatang, karyawan akan menghabiskan banyak waktu berinteraksi dengan Agen AI. Ini adalah konsep inti perusahaan kami, seperti yang saya sebutkan sebelumnya. Oleh karena itu, seluruh produk kami dirancang untuk menyediakan alat, visualisasi, interpretabilitas, dan kontrol kepada orang-orang. Saya pikir dalam waktu satu tahun, ini akan menjadi tren besar.
Kimberly Tan: Itu sangat masuk akal. Menurut Anda, kemampuan apa saja yang dibutuhkan oleh pengawas AI di masa mendatang? Keterampilan apa saja yang dibutuhkan untuk peran ini?
Jesse Zhang: Ada dua aspek. Yang pertama adalah kemampuan observasi dan interpretasi, kemampuan untuk memahami dengan cepat apa yang dilakukan AI dan bagaimana ia membuat keputusan. Yang kedua adalah kemampuan membuat keputusan, atau bagian membangun, bagaimana memberikan umpan balik dan bagaimana membangun logika baru. Menurutku, keduanya adalah dua sisi mata uang yang sama.
Kimberly Tan: Tugas apa yang menurut Anda akan tetap berada di luar kemampuan agen AI dalam jangka menengah atau panjang dan masih perlu dikelola dan dilaksanakan dengan benar oleh manusia?
Jesse Zhang: Saya pikir hal itu terutama bergantung pada persyaratan untuk "kesempurnaan" yang saya sebutkan sebelumnya. Ada banyak tugas yang memiliki toleransi kesalahan yang sangat rendah. Dalam kasus ini, alat AI apa pun lebih merupakan bantuan daripada agen yang lengkap.
Misalnya, dalam beberapa industri yang lebih sensitif, seperti perawatan kesehatan atau keamanan, di mana Anda harus hampir sempurna, maka di area ini, Agen AI mungkin menjadi kurang otonom, tetapi itu tidak berarti mereka tidak berguna. Saya pikir gayanya akan berbeda, dalam platform seperti milik kami, Anda benar-benar menggunakan Agen ini untuk memungkinkan mereka mengotomatiskan seluruh pekerjaan.
Derrick Harris: Sekian episode kali ini. Jika Anda merasa topik ini menarik atau menginspirasi, mohon beri penilaian pada podcast kami dan bagikan dengan lebih banyak orang.Kami berharap dapat merilis episode terakhir sebelum akhir tahun dan akan menyusun ulang konten untuk tahun baru. Terima kasih telah mendengarkan dan selamat menikmati musim liburan (jika Anda mendengarkannya selama liburan).
Video asli: Bisakah Agen Al Akhirnya Memperbaiki Dukungan Pelanggan??
