DeepSeek Buka Kode DeepInfer untuk Mendukung Pemrosesan Model AI pada Berbagai Chip

DeepSeek kembali menarik perhatian industri kecerdasan buatan setelah membuka kode sumber DeepInfer pada 20 Oktober 2026. Framework inferensi ini dirancang untuk membantu menjalankan model AI berskala besar dengan lebih efisien, terutama pada infrastruktur yang menggunakan jenis chip berbeda. Dalam rilis awalnya, DeepInfer mendukung GPU Nvidia berarsitektur SM100 serta NPU Huawei Ascend 950. Langkah tersebut memperlihatkan upaya DeepSeek memperluas pilihan perangkat keras tanpa mengabaikan kebutuhan performa dan efisiensi komputasi. Perkembangan TEKNOLOGI ini membuka peluang bagi pengembang dan perusahaan untuk mempelajari sistem inferensi yang digunakan dalam layanan DeepSeek, sekaligus memahami tantangan penerapannya pada pusat data modern.

Apa Itu DeepInfer dan Mengapa Penting bagi Pengembang AI?

Framework DeepInfer hadir sebagai mesin inferensi untuk menjalankan model bahasa besar yang dirancang untuk mendukung beban kerja AI berskala besar. Jika dibandingkan dengan proses pelatihan model yang berfokus pada pembentukan kemampuan model, inferensi berkaitan dengan penggunaan model untuk menghasilkan keluaran. Ketika model melayani pengguna, sistem bertugas menangani permintaan dan menyusun keluaran dengan latensi rendah. Perangkat lunak tersebut disusun untuk mengelola proses tersebut secara terdistribusi. Berkat kemampuan tersebut, DeepSeek berupaya memperluas akses terhadap teknologi inferensi.

Dirilisnya framework DeepInfer secara terbuka menunjukkan strategi pengembangan yang menarik dalam ekosistem perangkat lunak AI. Kode tersebut tersedia melalui GitHub menggunakan lisensi Apache 2.0. Lisensi tersebut memberikan ruang pengembangan lanjutan sesuai aturan penggunaan dan distribusi proyek. DeepInfer sendiri dikembangkan berdasarkan kebutuhan operasional DeepSeek untuk mengoptimalkan pemrosesan model pada infrastruktur nyata. Namun demikian, rilis publiknya tidak otomatis menyediakan semua kebutuhan operasional pusat data. Karena itu, pengembang perlu mempelajari fitur yang telah tersedia.

DeepInfer Mendukung GPU Nvidia dan NPU Huawei Ascend

Kemampuan yang paling menonjol adalah kompatibilitas dengan platform komputasi Nvidia dan Huawei. Berdasarkan dukungan perangkat keras yang diumumkan, DeepInfer dapat digunakan pada akselerator Nvidia berarsitektur SM100 dan chip pemrosesan kecerdasan buatan Ascend 950. Kompatibilitas awal ini memberikan gambaran strategi penggunaan berbagai chip. Selama ini, ketergantungan terhadap perangkat keras tertentu menjadi salah satu tantangan penerapan. Berkat pengembangan lintas akselerator, DeepSeek berupaya menyediakan fondasi inferensi yang lebih fleksibel. Walaupun konsepnya mendukung berbagai chip, tidak berarti semua GPU dan NPU langsung kompatibel.

Variasi teknologi akselerator menimbulkan kebutuhan penyesuaian perangkat lunak. Perangkat komputasi Nvidia menggunakan ekosistem CUDA untuk mengelola berbagai pekerjaan matematika AI. Sementara itu, Huawei Ascend mengandalkan lingkungan komputasi CANN yang dirancang untuk akselerator Ascend. Perbedaan tersebut memerlukan penyesuaian kernel dan dependensi. Karena itu, kemampuan lintas chip tidak berarti kode mesin selalu sama. Pengembang tetap perlu menguji kestabilan implementasi sebelum menggunakan framework secara luas.

Teknologi DeepInfer untuk Meningkatkan Kecepatan Inferensi AI

DeepInfer menggunakan sejumlah komponen optimasi komputasi seperti FlashMLA, DeepGEMM, DeepEP, dan TileKernels. Berbagai pustaka tersebut membantu mengoptimalkan pekerjaan matematika model. FlashMLA digunakan dalam pemrosesan perhatian model, sedangkan DeepGEMM menangani komputasi matriks berkecepatan tinggi. DeepEP digunakan untuk kebutuhan komunikasi antarproses. Berkat integrasi pustaka khusus, framework dapat meningkatkan pemanfaatan akselerator. Meski menawarkan kemampuan optimasi, peningkatan performa perlu dibuktikan melalui benchmark.

Selain optimasi kernel, DeepInfer mengintegrasikan mekanisme pembagian pekerjaan melalui attention data parallelism, context parallelism, serta mixture-of-experts expert parallelism. Strategi pembagian komputasi tersebut mendukung pembagian tugas pada sekumpulan perangkat komputasi. Untuk sistem yang menggunakan berbagai expert, pemrosesan melibatkan bagian model yang relevan. Framework ini turut mendukung expert parallel load balancing agar pekerjaan tidak terkonsentrasi pada perangkat tertentu. Selain itu, DeepInfer mendukung pengaturan pekerjaan tanpa menunggu secara berlebihan untuk mendukung penggunaan sumber daya yang lebih optimal. Pendekatan pemrosesan tersebut menjadi fondasi inferensi berskala besar.

Fitur Speculative Decoding dan Output Terstruktur DeepInfer

Salah satu kemampuan tambahan DeepInfer adalah mekanisme pembangkitan token spekulatif. Sistem decoding tersebut bertujuan mengurangi waktu menghasilkan keluaran dengan memprediksi beberapa token terlebih dahulu. Melalui mekanisme framework ini, tersedia metode DSpark bersama confidence-scheduled verification untuk mengatur proses pemeriksaan token berdasarkan tingkat keyakinan. Pendekatan tersebut membantu mempercepat keluaran model pada jenis pekerjaan yang mendukung. Meski menawarkan potensi percepatan, peningkatan kinerja dapat bervariasi. Untuk menilai keuntungan sebenarnya, operator sebaiknya mengevaluasi kebutuhan komputasi berdasarkan karakteristik penggunaan model.

DeepInfer juga menyediakan fitur structured outputs yang memungkinkan pembatasan format respons. Dengan menggunakan fitur ini, model dapat diarahkan menghasilkan JSON berdasarkan skema yang ditentukan aplikasi. Kemampuan keluaran terstruktur berguna dalam integrasi aplikasi yang membutuhkan data mudah diproses. Untuk menggambarkan manfaatnya, aplikasi pengelolaan dokumen berpeluang menggunakan keluaran dengan struktur baku berisi kategori dokumen. Melalui keluaran terstruktur, proses integrasi berpotensi menjadi lebih sederhana. Kendati keluaran mengikuti struktur, pemeriksaan hasil masih diperlukan sebelum digunakan untuk keputusan penting.

Cara Memulai DeepInfer dan Batasan Rilis Sumber Terbuka

Bagi pengguna yang tertarik menjalankan framework ini harus memastikan kompatibilitas perangkat keras. Berdasarkan dokumentasi proyek, DeepInfer dirancang dijalankan pada lingkungan Linux, Python 3.12, serta GCC versi 13 atau lebih baru. Untuk akselerator Nvidia, lingkungan harus mendukung CUDA versi 13. Sementara itu, implementasi Ascend menggunakan lingkungan CANN versi 9.2. Setelah persyaratan terpenuhi, pengembang bisa mengunduh proyek melalui GitHub. Pada tahap kompilasi, konfigurasi target perangkat keras harus dipilih melalui variabel DEEPINFER_ACCELERATOR dengan nilai nvidia atau ascend. Tahapan pengaturan ini membantu menentukan jalur kompilasi yang digunakan.

Ketika framework selesai dikompilasi, pengguna bisa mencoba sampel pemrosesan model. Dalam versi yang dipublikasikan, DeepInfer menggunakan DeepSeek-V4.1-Flash sebagai model utama yang didukung. Berkas model terkait dapat diperoleh melalui Hugging Face, dengan penggunaan memori yang perlu dievaluasi. Meski DeepInfer berasal dari sistem produksi, rilis sumber terbuka masih berfokus pada offline inference. Fasilitas yang belum disertakan secara lengkap mencakup sistem pengelolaan KV cache, arsitektur pemrosesan terpisah untuk berbagai tahap inferensi, serta pengelolaan distribusi permintaan ke berbagai instans. Karena itu, operator perlu membangun pengelolaan layanan tersendiri.

Dampak DeepInfer terhadap Industri Chip dan Infrastruktur AI

Hadirnya DeepInfer sebagai proyek sumber terbuka mendorong penelitian komputasi kecerdasan buatan. Kemampuan menjalankan model melalui GPU maupun NPU tertentu memberikan contoh pendekatan pengembangan multi-hardware. Pada berbagai lingkungan pengembangan model, ketergantungan pada pustaka tertentu dapat membatasi pilihan. Ketika teknologi ini memperoleh optimasi tambahan, pengembang berpotensi mempunyai lebih banyak pilihan. Meski peluangnya menarik, biaya implementasi tetap perlu diperhitungkan. Aspek yang perlu dievaluasi mencakup waktu pembangkitan token, throughput sistem, efisiensi penggunaan energi, serta pengeluaran infrastruktur.

Di samping aspek kompatibilitas chip, publikasi kode DeepInfer membuka ruang eksperimen dengan arsitektur model besar. Peneliti berpeluang mengevaluasi mekanisme penjadwalan, menguji pengaruh pengaturan komputasi, serta membagikan hasil eksperimen kepada komunitas. Dengan lisensi Apache 2.0, pemanfaatan kode dapat dilakukan sesuai lisensi. Namun, biaya komputasi masih perlu dipertimbangkan. Model besar sering mengandalkan jaringan serta penyimpanan cepat. Oleh sebab itu, organisasi harus menilai kesiapan infrastrukturnya sebelum memindahkan sistem penting ke framework baru.

Kesimpulan DeepInfer dan Masa Depan Pemrosesan AI

Pembukaan kode sumber DeepInfer menjadi perkembangan penting dalam ekosistem inferensi kecerdasan buatan. Berkat integrasi GPU Nvidia SM100 dan NPU Huawei Ascend 950, DeepInfer mendukung eksperimen pada dua ekosistem akselerator. Kombinasi optimasi kernel, paralelisme, speculative decoding, dan keluaran terstruktur berpotensi meningkatkan kemampuan pemrosesan model. Namun demikian, rilis publik belum mencakup seluruh komponen produksi. Karena kondisi tersebut, pengembang perlu memahami kebutuhan sistem secara menyeluruh. Di tengah persaingan industri chip AI, DeepInfer dapat membantu penelitian sistem inferensi. Menurut Anda, apakah framework multi-chip seperti DeepInfer akan membantu perusahaan memilih infrastruktur lebih efisien? Ceritakan pengalaman atau pemikiran Anda mengenai masa depan DeepInfer.