Amazon Releases Trainium2 and Graviton4 AI Chips
Amazon's cloud division, namely Amazon Web Services (AWS) announced two new artificial intelligence (AI) chips at the annual "re:Invent" event held in Las Vegas, California, USA this week.
The two AI chips have the names Trainium2 and Graviton4, and come as successors to the Trainium1 and Graviton3 which were introduced around last year.
As successors, the Trainium2 and Graviton4 AI chips come with various improvements to accelerate the performance of machine learning (ML), large language models (LLMs), and various other AI processing.
Trainium2 is a high-performance AI chip designed to support the performance of foundation models (FMs) and LLMs to run or generate Generative AI.
Generative AI itself is a field of AI that can produce new works (images, music, etc.) based on collected data sources.
AWS claims the processing speed for training FMs and LLMs via this AI chip is four times faster than Trainium1. This chip is also said to be able to run FMs and LLMs with trillions of parameters, so Generative AI processing will also be faster and more accurate.
AWS says consumers can use up to hundreds of these AI chips in a single Amazon Elastic Compute Cloud (EC2) server configuration. With a configuration like this, AWS says Trainium2 will also be twice as efficient as Trainium1.
AWS Graviton4 (left) and Trainium2 (right) AI chips.
Moving on to Graviton4, this is an ARM architecture AI chip designed for a variety of AI performance at the corporate level, such as databases, analytics, web servers, batch processing, microservices, ad serving, and so on running on the Amazon EC2 platform.
This means that this AI chip is not designed to process or train AI, especially for FMs or LLMs like Trainium2, as summarized by KompasTekno from Techspot, Thursday (30/11/2023).
Furthermore, this AI chip is claimed to have 50 percent more cores and 75 percent more memory capacity than Graviton3.
Thanks to these various improvements, Graviton4 is claimed to be able to produce computing performance 30 percent faster than Graviton3, but still efficient.
For availability, Amazon will start selling the Trainium2 AI chip sometime next year, while the Graviton4 AI chip will be available for interested companies to use in the next few months.
Amazon did not say how much it would cost consumers to buy the Trainium2 or Graviton4 AI chips.
Usually, this price will be bundled with AWS services, because the two AI chips will be used to run all processing or products under the AWS umbrella.
However, what is clear is that the presence of these two new AI chips from Amazon will increase competition from companies that make AI chips, such as Nvidia, which has the H100 and H200 AI chips, or Microsoft, which has the Azure Maia 100 AI chip and Azure Cobalt CPU.
Amazon Rilis Chip AI Trainium2 dan Graviton4
Divisi cloud Amazon, yaitu Amazon Web Services (AWS) mengumumkan dua chip kecerdasan buatan (artificial intelligence/AI) baru di acara tahunan "re:Invent" yang digelar di Las Vegas, California, AS pekan ini.
Kedua chip AI tersebut memiliki nama Trainium2 dan Graviton4, dan hadir sebagai suksesor dari Trainium1 dan Graviton3 yang diperkenalkan sekitar tahun lalu.
Sebagai penerus, chip AI Trainium2 dan Graviton4 hadir dengan berbagai peningkatan untuk mengakselerasi kinerja pembelajaran mesin (machine learning/ML), large language models (LLMs), dan berbagai pemrosesan AI lainnya.
Trainium2 merupakan chip AI performa tinggi yang dirancang untuk menunjang kinerja model AI dasar (foundation models/FMs) dan LLMs untuk menjalankan atau menghasilkan Generative AI.
Generative AI sendiri adalah sebuah bidang AI yang bisa menghasilkan karya (gambar, musik, dll) baru berdasarkan sumber data yang dikumpulkan.
AWS mengeklaim kecepatan pemrosesan untuk melatih FMs dan LLMs melalui chip AI ini empat kali lebih cepat dari Trainium1. Chip ini juga disebut bisa menjalankan FMs dan LLMs dengan parameter berjumlah triliunan, sehingga pemrosesan Generative AI juga akan lebih cepat dan akurat.
AWS mengatakan konsumen bisa menggunakan chip AI ini hingga ratusan unit dalam satu konfigurasi server Amazon Elastic Compute Cloud (EC2). Dengan konfigurasi seperti ini, AWS menyebut Trainium2 juga akan dua kali lipat lebih efisien dibanding Trainium1.
Chip AI AWS Graviton4 (kiri) dan Trainium2 (kanan).
Beralih ke Graviton4, ini merupakan chip AI berarsitektur ARM yang dirancang untuk berbagai kinerja AI di level corporate, seperti database, analytics, web servers, batch processing, microservices, ad serving, dan lain sebagainya yang berjalan di platform Amazon EC2.
Artinya, chip AI ini bukan dirancang untuk memproses atau melatih AI, terutama untuk FMs atau LLMs seperti Trainium2, sebagaimana dirangkum KompasTekno dari Techspot, Kamis (30/11/2023).
Lebih lanjut, chip AI ini diklaim memiliki jumlah inti 50 persen lebih banyak dan kapasitas memori 75 persen lebih besar dari Graviton3.
Berkat aneka peningkatan ini, Graviton4 diklaim dapat menghasilkan performa komputasi 30 persen lebih cepat dari Graviton3, namun tetap efisien.
Untuk ketersediaan, Amazon bakal mulai menjual chip AI Trainium2 sekitar tahun depan, sedangkan chip AI Graviton4 akan bisa dipakai perusahaan-perusahaan yang tertarik dalam beberapa bulan ke depan.
Amazon tidak menyebut berapa biaya yang harus dikeluarkan konsumen untuk membeli chip AI Trainium2 atau Graviton4.
Biasanya, harga tersebut akan dipaketkan dengan layanan AWS, lantaran kedua chip AI tersebut memang akan dipakai untuk menjalankan seluruh pemrosesan atau produk yang ada di bawah payung AWS.
Namun yang jelas, kehadiran dua chip AI baru dari Amazon ini akan memperketat persaingan perusahaan yang membuat chip AI, seperti Nvidia yang memiliki chip AI H100 dan H200, atau Microsoft yang memiliki chip AI Azure Maia 100 dan Azure Cobalt CPU.
Comments