o3-mini telah hadir di sini, dengan momentum dari penantang
Pada tanggal 31 Januari, OpenAI merilis model besar o3-mini yang baru dan menyediakan beberapa fungsinya secara gratis untuk semua pengguna ChatGPT. Meskipun ada batasan jumlah kueri, hal ini memungkinkan pengguna untuk merasakan model komersial terbaru dari OpenAI sesegera mungkin.
Beberapa hari yang lalu, DeepSeek, sebuah perusahaan model besar dari Tiongkok, merilis model open source terbarunya, DeepSeek-R1, yang juga telah membangun pengaruhnya sendiri dalam komunitas AI.
Model DeepSeek-R1 memiliki kemampuan untuk menyamai model open ai o1, tetapi harganya lebih murah. Lebih penting lagi, DeepSeek R1 adalah model open source, yang merupakan perbedaan terbesar dibandingkan dengan openai.
Pertanyaannya adalah: apakah o3-mini benar-benar lebih baik daripada DeepSeek-R1?
Dalam perbandingan data resmi yang disediakan oleh OpenAI, hanya beberapa model yang dirilis oleh OpenAI yang dibandingkan, dan hasilnya tidak secara langsung dibandingkan dengan model-model besar Model DeepSeek R1. Namun, beberapa data uji benchmark yang baru saja dirilis menunjukkan bahwa o3-mini sedikit lebih baik dalam banyak hal. Kita dapat memahami situasi ini dengan melihat skor dari beberapa tes yang berbeda.
Mari kita biarkan data berbicara sendiri dan menganalisis secara mendalam kekuatan sebenarnya dari kedua model AI ini. Terkadang data adalah satu hal, tetapi lebih sering data juga bergantung pada pengalaman dan penggunaan pengguna yang sebenarnya.
Perbandingan data: o3-mini lebih cerdas, tetapi DeepSeek-R1 lebih "matematis"
Skor rata-rata keseluruhan
OpenAI o3-mini: 73,94
DeepSeek-R1: 71,38
Jelas bahwa skor keseluruhan o3-mini sedikit lebih tinggi, yang mengindikasikan bahwa performanya lebih stabil dalam tugas-tugas yang komprehensif. O3-mini dapat menyelesaikan tugas-tugas dengan lebih stabil, tetapi tidak memiliki kesenjangan yang besar dengan model open source DeepSeek.
Kemampuan penalaran (kemampuan AI untuk memahami, menganalisis, dan menalar informasi)
OpenAI o3-mini: 89,58
DeepSeek-R1: 83,17
Dalam tugas penalaran, o3-mini jelas menang, yang berarti lebih baik dalam mengekstraksi konten utama dari informasi yang kompleks dan membuat kesimpulan yang logis.
Kemampuan pemrograman (kemampuan AI untuk memproses kode)
OpenAI o3-mini: 82,74
DeepSeek-R1: 66,74
Jika Anda seorang pengembang, o3-mini mungkin merupakan pilihan yang lebih baik. Skor menunjukkan perbedaan yang besar, dengan kemampuan pengkodean o3-mini secara signifikan lebih unggul dari DeepSeek-R1, dan mampu memahami dan memecahkan masalah pemrograman dengan lebih baik. Ini juga merupakan area di mana o3-mini memiliki keunggulan yang relatif besar
Kemampuan matematika (perhitungan, penurunan rumus, penalaran matematika)
OpenAI o3-mini: 65,65
DeepSeek-R1: 79,54
DeepSeek-R1 lebih kuat dalam tugas-tugas matematika, yang menunjukkan bahwa ia lebih baik dalam perhitungan numerik dan penalaran matematika.
Keterampilan analisis data (kemampuan untuk memproses dan memahami data)
OpenAI o3-mini: 70,64
DeepSeek-R1: 69,78
o3-mini memiliki sedikit keunggulan dalam tugas analisis data.
Keterampilan pemahaman bahasa
OpenAI o3-mini: 50,68
DeepSeek-R1: 48,53
Meskipun keunggulannya tidak terlalu besar, o3-mini masih sedikit mengungguli dalam tugas-tugas bahasa.
Koneksi NYT (teka-teki)
o3-mini: 72,4 poin (kinerja luar biasa)
DeepSeek-R1: 54,4 poin
Ujian Akhir Manusia (tugas yang kompleks)
o3-mini: akurasi 13.0%
DeepSeek-R1: Akurasi 9,4%
Codeforces (tes bakat pemrograman)
o3-mini > DeepSeek-R1 AIME 2024 (pemahaman instruksi yang kompleks)
o3-mini > DeepSeek-R1 Singkatnya, o3-mini lebih kuat dalam penalaran, pemrograman, dan bahasa, sedangkan DeepSeek-R1 lebih unggul dalam kemampuan matematika.
Perbandingan harga API: siapa yang lebih hemat biaya?
DeepSeek-R1 lebih murah dari segi harga API, sedangkan o3-mini masih relatif mahal:
DeepSeek-R1 lebih murah dan karena itu cocok untuk pengembang dengan anggaran terbatas.
Sumber terbuka vs sumber tertutup: OpenAI masih tertutup
Jika Anda peduli dengan open source, DeepSeek-R1 adalah pilihan yang lebih baik. Ini sepenuhnya open source, sementara o3-mini masih mengikuti tradisi OpenAI dan tetap tertutup. Hal ini dapat mempengaruhi kebebasan pengembang dalam hal pengoptimalan dan penyesuaian model.
Kesimpulan akhir: siapa yang lebih layak untuk dipilih?
| Dimensi | o3-mini (OpenAI) | DeepSeek-R1 |
| Skor keseluruhan | 73.94 | 71.38 |
| Menyimpulkan | 89,58 (lebih kuat) | 83.17 |
| Pemrograman | 82,74 (lebih kuat) | 66.74 |
| Matematika | 65.65 | 79.54 |
| Analisis data | 70.64 | 69.78 |
| Pemahaman bahasa | 50.68 | 48.53 |
| Harga API | Lebih mahal | lebih murah |
| Sumber terbuka | tutup | Sumber terbuka sepenuhnya |
Untuk siapa ini?
- Jika Anda seorang pengembang atau insinyur dan kebutuhan kemampuan pemrograman dan inferensi yang kuatO3-mini adalah pilihan yang lebih baik. Kami percaya bahwa open dan O3mini memiliki kinerja yang sangat baik dalam bidang identifikasi dan inferensi ini. Pada saat yang sama, kemampuan pemrograman dan inferensi yang lebih kuat juga dapat membantu Anda menulis kode dan program yang lebih baik, sehingga mengurangi waktu Anda untuk modifikasi dan inspeksi
- Jika Anda seorang peneliti matematika atau sensitif terhadap biaya API, DeepSeek-R1 adalah pilihan yang lebih ekonomis. Model ini memiliki dukungan dan bantuan yang lebih baik untuk peneliti matematika, dan memiliki biaya penggunaan yang lebih sesuai
- Jika Anda membutuhkan model sumber terbuka, DeepSeek-R1 adalah pemenangnya. Jelas, meta, yang berfokus pada open source, tidak sebanding dengan DeepSeek dalam beberapa kemampuan. Namun, model besar openAI yang sebanding lebih mahal dan merupakan model sumber tertutup komersial. DeepSeek akan memimpin penelitian dan pengembangan AI, sekaligus memungkinkan lebih banyak perusahaan dan pengguna individu untuk menggunakan model besar AI secara lokal atau di server cloud, melindungi keamanan dan privasi data mereka
Prospek masa depan: persaingan untuk model AI semakin ketat
Baik OpenAI maupun DeepSeek sama-sama mendorong perkembangan teknologi AI. Meskipun o3-mini saat ini sedikit lebih baik dalam sebagian besar tugas, DeepSeek-R1 masih memiliki keunggulan uniknya sendiri.
Sifat open source dari DeepSeek telah menarik perhatian banyak pengembang dan pengguna. Harga yang lebih rendah juga menjadi dasar yang baik untuk pengembangan aplikasi AI.
Sebaliknya, OpenAI, sebagai pemimpin dalam industri AI, memiliki banyak inovasi dan pengembangan, tetapi model komersial yang tidak terbuka dan biaya penggunaan yang tinggi telah meningkatkan ambang batas penggunaan, yang tidak kondusif untuk promosi AI.
Kami pikir deepseek telah melakukan pekerjaan yang hebat untuk industri AI. Open source akan memberikan lebih banyak kesempatan kepada para pengembang untuk mengetahui lebih banyak tentang model AI yang canggih.
Di masa depan, kita mungkin akan melihat kemunculan model yang lebih kuat lagi, seperti GPT-5 atau DeepSeek-R2 dari OpenAI. Bagi pengguna biasa, AI terbaik bukanlah AI yang "terkuat", tetapi AI yang paling sesuai dengan kebutuhan mereka. Saat memilih model AI yang cocok untuk Anda, Anda harus mempertimbangkan skenario aplikasi dan anggaran Anda sendiri.
