Technology

Layanan Inferensi AI Cloudera Didukung oleh NVIDIA NIM Microservices

Cloudera, platform true hybrid untuk data, analitik dan Artificial Intelligence (AI) memperkenalkan Cloudera AI Inference yang didukung oleh NVIDIA NIM Microservices, bagian dari platform NVIDIA AI Enterprise. Sebagai salah satu layanan AI inference pertama di industri yang menyediakan kemampuan NIM microservices yang embedded, Cloudera AI Inference secara unik menyederhanakan penggunaan dan pengelolaan model AI dalam skala besar, memungkinkan enterprise untuk memanfaatkan potensi sesungguhnya dari data mereka untuk mempercepat GenAI dari tahap uji coba hingga ke production.

Data terbaru dari Deloitte mengungkapkan bahwa bagi enterprise, hambatan terbesar dalam pengadopsian GenAI adalah kekhawatiran terkait risiko kepatuhan dan tata kelola, namun penerapan GenAI sedang meningkat pesat, dengan lebih dari dua pertiga perusahaan menambah anggaran GenAI mereka di Kuartal III/2024. Untuk mengatasi kekhawatiran ini, perusahaan harus menjalankan model AI dan aplikasi secara privat – baik on premises (lokal) maupun di public cloud. Peralihan ini membutuhkan solusi yang aman dan terarah untuk menghindari pendekatan yang kompleks apabila dilakukan secara mandiri.

Cloudera AI Inference mencegah data sensitif bocor ke layanan model AI non-privat yang di-hosting vendor dengan menyediakan pengembangan dan penerapan yang aman dalam kontrol enterprise. Didukung oleh teknologi NVIDIA, layanan ini membantu membangun data tepercaya untuk AI tepercaya dengan kecepatan performa yang tinggi, memungkinkan pengembangan chatbot, asisten virtual, dan aplikasi agen berbasis AI secara efisien yang memberikan dampak terhadap produktivitas dan pertumbuhan bisnis baru.

Peluncuran Cloudera AI Inference menyusul kolaborasi Cloudera dengan NVIDIA, menegaskan komitmen Cloudera dalam mendorong inovasi enterprise AI pada momen-momen penting saat industri menjalani kompleksitas transformasi digital dan integrasi AI.

Pengembang bisa membangun, mengubah, dan menjalankan LLM kelas enterprise dengan performa 36x lebih cepat menggunakan GPU NVIDIA Tensor Core dan hampir 4x throughput dibandingkan dengan CPU. Pengalaman pengguna mengintegrasikan UI dan API langsung dengan container microservices NVIDIA NIM ini menghilangkan kebutuhan akan command-line interfaces (CLI) dan sistem pengawasan terpisah.

Integrasi layanan dengan AI Model Registry Cloudera juga meningkatkan keamanan dan tata kelola dengan mengelola access control baik untuk model endpoint dan operasional. Pengguna akan mendapatkan manfaat dari platform yang terpadu di mana semua model – baik LLM atau model tradisional – dikelola dari satu layanan secara lancar.

Beberapa fitur kunci tambahan Cloudera AI Inference antara lain: kemampuan AI mutakhir, hybrid cloud & privasi, skalabilitas dan pengawasan, integrasi API & CI/CD terbuka, keamanan perusahaan dan penerapan dengan risiko yang terkelola.

“Perusahaan antusias untuk berinvestasi di GenAI, namun hal ini tidak hanya membutuhkan data yang terarah, namun juga data aman, patuh dan memiliki tata kelola yang baik,” kata analis industri, Sanjeev Mohan dalam keterangan tertulis di Jakarta, Senin (14/10/2024). Menurutnya, memproduksi AI di skala besar secara privat menimbulkan kompleksitas yang sulit diatasi oleh pendekatan DIY. Cloudera AI Inference menjembatani kesenjangan ini dengan mengintegrasikan manajemen data mutakhir dengan keahlian AI NVIDIA, membuka potensi data sekaligus menjaganya.

Dengan fitur-fitur keamanan kelas enterprise seperti service accounts, access control, dan audit, perusahaan bisa dengan percaya diri melindungi data mereka dan menjalankan beban kerja di on prem atau di cloud, menjalankan model AI secara efisien dengan fleksibilitas dan tata kelola yang dibutuhkan.

“Kami bersemangat untuk berkolaborasi dengan NVIDIA dalam memasarkan Cloudera AI Inference, menyediakan satu platform AI/ML yang mendukung hampir semua model dan penggunaan sehingga enterprise bisa menciptakan aplikasi yang kuat dengan software kami dan menjalankan aplikasi AI ini di Cloudera,” kata Dipto Chakravarty, Chief Product Officer Cloudera. Dengan integrasi NVIDIA AI, yang memfasilitasi pengambilan keputusan yang lebih cerdas melalui performa yang mutakhir, Cloudera berinovasi atas nama pelanggannya dengan mengembangkan aplikasi AI tepercaya dengan data tepercaya dalam skala besar.

Kari Briski, Vice President, Software, Model & Service AI NVIDIA, menjelaskan, saat ini perusahaan butuh mengintegrasikan AI generatif dengan infrastruktur data mereka secara lancar untuk mendorong outcome bisnis. Dengan menggabungkan NVIDIA NIM microservices ke dalam platform Cloudera AI Inference, pihaknya memberdayakan pengembang untuk dengan mudah menciptakan aplikasi AI generatif tepercaya sekaligus menjaga keseimbangan data AI mandiri.

“Survei terbaru dari PwC menunjukkan bahwa dalam beberapa tahun ke depan, GenAI diharapkan dapat meningkatkan kemampuan perusahaan di Indonesia untuk membangun kepercayaan stakeholder dan meningkatkan kualitas produk atau layanan,” kata Sherlie Karnidta, Country Manager Indonesia di Cloudera. Faktanya, diyakini bahwa dalam tiga tahun ke depan, GenAI akan meningkatkan daya saing dan mendorong perubahan pada model bisnis mereka. (*)


© 2023-2024 SWA Media Inc.

All Right Reserved