Red Hat resmi memperluas kolaborasinya dengan Amazon Web Services (AWS) untuk menghadirkan peningkatan inferensi AI bagi pelanggan enterprise. Melalui integrasi Red Hat AI dengan chip AI milik AWS, yaitu AWS Trainium dan AWS Inferentia, kerja sama ini ditujukan untuk memberikan pilihan yang lebih luas, fleksibilitas tinggi, serta efisiensi biaya dalam menjalankan beban kerja AI pada tahap produksi.
Kolaborasi ini hadir di tengah meningkatnya adopsi AI generatif (gen AI) yang menuntut kemampuan inferensi berskala besar dan berperforma tinggi. Organisasi kini semakin selektif dalam memilih infrastruktur IT yang mampu mengoptimalkan kinerja sekaligus menekan biaya operasional.
IDC memproyeksikan bahwa pada 2027, sekitar 40 persen organisasi global akan menggunakan custom silicon, termasuk prosesor ARM dan chip AI/ML khusus, untuk memenuhi kebutuhan optimalisasi kinerja dan efisiensi biaya. Tren ini memperkuat urgensi solusi AI yang tidak bergantung pada satu jenis perangkat keras tertentu.
Red Hat AI dan Chip AI AWS Perkuat Strategi Gen AI Enterprise
Melalui kerja sama ini, Red Hat menghadirkan pendekatan gen AI full-stack dengan mengombinasikan kapabilitas platform Red Hat dan infrastruktur cloud AWS, termasuk pemanfaatan chip Inferentia2 dan Trainium. Sejumlah peningkatan utama yang ditawarkan meliputi:
Red Hat AI Inference Server pada chip AI AWS
Red Hat AI Inference Server berbasis vLLM kini dioptimalkan untuk berjalan di chip AI AWS. Solusi ini berfungsi sebagai lapisan inferensi universal yang mendukung berbagai model gen AI, dengan klaim peningkatan rasio harga dan kinerja hingga 30–40 persen lebih baik dibandingkan instance Amazon EC2 berbasis GPU yang setara. Hasilnya, pelanggan dapat memperoleh latensi lebih rendah dan efisiensi biaya yang lebih baik untuk penerapan AI di tahap produksi.
Integrasi AI di Red Hat OpenShift
Red Hat bersama AWS juga mengembangkan operator AWS Neuron untuk Red Hat OpenShift, Red Hat OpenShift AI, serta Red Hat OpenShift Service on AWS. Integrasi ini mempermudah pelanggan dalam menjalankan dan mengelola beban kerja AI menggunakan akselerator AWS di platform aplikasi yang sepenuhnya terkelola.
Akses akselerator AI yang lebih optimal
Dengan dukungan terhadap chip AI AWS, pelanggan Red Hat di AWS mendapatkan akses yang lebih mudah ke akselerator berkapasitas tinggi yang saat ini banyak diminati. Selain itu, Red Hat turut menghadirkan amazon.ai Certified Ansible Collection untuk Red Hat Ansible Automation Platform, guna menyederhanakan orkestrasi layanan AI di AWS.
Kontribusi ke ekosistem open source
Red Hat dan AWS juga berkolaborasi dalam mengoptimalkan plugin chip AI AWS yang di-upstream-kan ke vLLM. Sebagai salah satu kontributor komersial terbesar vLLM, Red Hat berkomitmen mempercepat kapabilitas inferensi dan training AI di AWS. Teknologi ini juga menjadi fondasi proyek open source llm-d, yang kini tersedia sebagai fitur dengan dukungan komersial di Red Hat OpenShift AI 3.
Mendukung Implementasi AI di Lingkungan Hybrid Cloud
Red Hat menegaskan bahwa kolaborasi ini merupakan kelanjutan dari kemitraan jangka panjang dengan AWS, yang selama ini mendukung pelanggan dari pusat data hingga edge. Inisiatif terbaru ini dirancang untuk membantu organisasi mengintegrasikan AI ke dalam strategi hybrid cloud, sekaligus mempercepat transisi dari tahap eksperimen ke implementasi AI yang terkelola dan berkelanjutan.
Joe Fernandes, Vice President and General Manager AI Business Unit Red Hat, menyatakan bahwa pemanfaatan Red Hat AI Inference Server di atas chip AI AWS memungkinkan organisasi meningkatkan beban kerja AI dengan fleksibilitas dan efisiensi yang lebih tinggi, serta menjadikan AI generatif lebih mudah diakses secara ekonomis.
Dari sisi AWS, Colin Brace, Vice President Annapurna Labs, menekankan bahwa chip Trainium dan Inferentia dirancang untuk menghadirkan inferensi dan training AI berkinerja tinggi dengan biaya yang lebih efisien. Kolaborasi dengan Red Hat memberikan pelanggan jalur implementasi gen AI yang didukung penuh, mulai dari pengujian hingga tahap produksi berskala besar.
Dengan kolaborasi ini, Red Hat dan AWS menargetkan terciptanya ekosistem AI enterprise yang lebih terbuka, efisien, dan siap mendukung kebutuhan bisnis di era AI generatif.
