Intel Xeon, Core™ Ultra și PC-ul AI accelerează sarcinile de lucru GenAI
Intel a validat portofoliul său de produse de inteligență artificială pentru primele modele Meta Llama 3 8B și 70B în ceea ce privește acceleratoarele Intel® Gaudi®, procesoarele Intel® Xeon®, procesoarele Intel® Core™ Ultra și grafica Intel® Arc™.
Ca parte a misiunii sale de a aduce inteligența artificială peste tot, Intel investește în ecosistemul de software și inteligență artificială pentru a se asigura că produsele sale sunt pregătite pentru cele mai recente inovații din spațiul dinamic al inteligenței artificiale. În centrele de date, procesoarele Intel Gaudi și Intel Xeon cu accelerare Intel® Advanced Matrix Extension (Intel® AMX) oferă clienților opțiuni pentru a satisface cerințe dinamice și de mare amploare.
Procesoarele Intel Core Ultra și produsele grafice Intel Arc oferă atât un vehicul de dezvoltare locală, cât și implementarea pe milioane de dispozitive, cu suport pentru cadre și instrumente software cuprinzătoare, inclusiv PyTorch și Intel® Extension for PyTorch® utilizate pentru cercetare și dezvoltare locală și setul de instrumente OpenVINO™ pentru dezvoltarea și inferența modelelor.
Testele inițiale și rezultatele de performanță ale Intel pentru modelele Llama 3 8B și 70B utilizează software open source, inclusiv PyTorch, DeepSpeed, biblioteca Intel Optimum Habana și Intel Extension pentru PyTorch pentru a oferi cele mai recente optimizări software.
Procesoarele Intel Xeon abordează sarcinile de lucru AI extrem de solicitante, iar Intel investește în optimizarea rezultatelor LLM pentru a reduce latența. Procesoarele Intel® Xeon® 6 cu nuclee de performanță (cu numele de cod Granite Rapids) prezintă o îmbunătățire de 2 ori a latenței de inferență Llama 3 8B în comparație cu procesoarele Intel® Xeon® din a 4-a generație și capacitatea de a rula modele de limbaj mai mari, precum Llama 3 70B, sub 100 ms pe token generat.
Intel Core Ultra și Intel Arc Graphics oferă performanțe impresionante pentru Llama 3. Într-o rundă inițială de testare, procesoarele Intel Core Ultra generează deja viteze de citire mai rapide decât cele obișnuite. În plus, GPU-ul Intel® Arc™ A770 are accelerație AI Xe Matrix eXtensions (XMX) și 16 GB de memorie dedicată pentru a oferi performanțe excepționale pentru sarcinile de lucru LLM.