Duże modele językowe (LLM) w praktyce: Granite 3.0 od IBM

Podczas dorocznej konferencji IBM TechXchange, firma IBM zaprezentowała swoją najnowszą i najbardziej zaawansowaną rodzinę modeli sztucznej inteligencji – Granite 3.0. Modele językowe trzeciej generacji Granite przewyższają lub dorównują modelom o podobnej liczbie parametrów od wiodących dostawców, osiągając najlepsze wyniki w kluczowych benchmarkach pod względem wydajności, przejrzystości oraz bezpieczeństwa.

W ramach zobowiązania IBM do promowania otwartego oprogramowania AI, modele Granite zostały udostępnione na licencji Apache 2.0. Dzięki temu stanowią niepowtarzalne połączenie wysokiej wydajności, elastyczności oraz szerokich praw jakie oferują klientom biznesowym, jak i całej społeczności.

Nowe modele Granite 8B i 2B zostały zaprojektowane jako główne motory dla biznesowych rozwiązań AI, oferując najlepszą wydajność i efektywność kosztową w zadaniach takich jak RAG (Retrieval Augmented Generation), klasyfikacja, tworzenie streszczeń, ekstrakcja jednostek i obsługa narzędzi. Te kompaktowe i wszechstronne modele są łatwe do dostosowania przy użyciu danych przedsiębiorstw i można je płynnie zintegrować z dowolnym środowiskiem biznesowym lub procesem pracy.

Podczas gdy większość dużych modeli językowych (LLM) trenowana jest na danych publicznych, olbrzymia część danych przedsiębiorstw pozostaje niewykorzystana. Łącząc mały model Granite z danymi przedsiębiorstw przy użyciu rewolucyjnej techniki strojenia modeli InstructLab – wprowadzonej przez IBM i RedHat w maju – IBM uważa, że firmy w określonych zadaniach mogą osiągnąć wydajność porównywalną z większymi modelami, przy znacznie niższych kosztach (od 3 do 23 razy mniej niż w przypadku dużych modeli, bazując na wynikach testów przeprowadzonych przez IBM).

Wprowadzenie Granite 3.0 podkreśla starania IBM na rzecz transparentności, bezpieczeństwa i zaufania. Raport techniczny Granite oraz przewodnik odpowiedzialnego użycia szczegółowo opisują zestawy danych wykorzystane do trenowania tych modeli, etapy filtrowania i selekcji danych, a także przedstawiają kompleksowe wyniki wydajności modeli w najważniejszych benchmarkach akademickich i biznesowych.

Co istotne, IBM ujawnia zestawy danych użyte do trenowania Granite i zapewnia odszkodowanie z tytułu praw własności intelektualnej w ramach watsonx.ai, co daje klientom biznesowym większą pewność przy łączeniu ich danych z tymi modelami. Klienci mogą rozwijać aplikacje AI, korzystając z własnych danych, zyskując przy tym ochronę prawną, dokładność oraz zaufanie, które oferuje Granite.

Rodzina modeli Granite 3.0 obejmuje:

• modele ogólnego zastosowania/językowe: Granite 3.0 8B-Instruct, Granite 3.0 2B-Instruct, Granite 3.0 8B Base, Granite 3.0 2B Base,
• modele do stosowania wytycznych (guardrails) i bezpieczeństwa: Granite Guardian 3.0 8B, Guardian 3.0 2B,
• wsparcie dla budowania systemów z zestawem wyspecjalizowanych modeli (Mixture-of-Experts): Granite 3.0 3B A800M Instruct, Granite 3.0 1B A400M Instruct, Granite 3.0 3B A800M Base, Granite 3.0 1B A400M Base.

Benchmarki Granite 8B i 2B

Modele językowe Granite wykazują również imponujące wyniki pod względem surowej wydajności. Model Granite 8B przewyższa porównywalne rozwiązania od Mistral i Google oraz dorównuje, a nawet przewyższa modele Llama o podobnych rozmiarach od Meta. W najnowszym benchmarku bezpieczeństwa AttaQ oraz w sektorach takich jak cyberbezpieczeństwo, Granite 8B przoduje we wszystkich mierzonych aspektach bezpieczeństwa, w porównaniu do modeli Meta, Google i Mistral.

W podstawowych zadaniach biznesowych, takich jak Retrieval Augmented Generation (RAG), mierzonych w benchmarku RAGBench, Granite 8B wykazuje lepszą wydajność niż porównywalne modele od Google i Mistral, a jego wydajność jest na równi z rozwiązaniami od Meta.

Modele te zostały wytrenowane na ponad 12 bilionach tokenów, obejmujących dane z 12 języków oraz 116 języków programowania, z zastosowaniem innowacyjnej, dwufazowej metody treningu. Opiera się ona na kilku tysiącach eksperymentów mających na celu optymalizację jakości danych, ich selekcji oraz parametrów treningowych. Do końca roku modele 8B i 2B będą obsługiwać kontekst o długości do 128 tys. oraz funkcje rozumienia dokumentów multimodalnych.

Prezentując doskonałą równowagę między wydajnością a kosztem przetwarzania danych, IBM oferuje również modele Granite dla architektury rozwiązań opartych o Mixture of Experts (MoE), takie jak Granite 1B A400M i Granite 3B A800M, które są mniejsze i „lekkie”, co czyni je idealnymi do aplikacji o niskich opóźnieniach i wdrożeń opartych na CPU.

IBM wprowadza także zaktualizowane wersje modeli obsługujących szeregi czasowe – Granite Time Series, których pierwsze wydania miały miejsce na początku tego roku. Nowe modele, trenowane na trzykrotnie większej ilości danych, osiągają bezkonkurencyjną wydajność w benchmarkach analiz szeregów czasowych, przewyższając modele nawet 10 razy większe, jak te od Google i Alibaba. Zaktualizowane modele oferują także większą elastyczność w modelowaniu, z obsługą zmiennych zewnętrznych oraz prognoz kroczących.

Granite Guardian 3.0

W ramach aktualnej premiery IBM wprowadza również nową rodzinę modeli Granite Guardian, które pozwalają programistom wdrażać zabezpieczenia, monitorując zapytania użytkowników i odpowiedzi modeli LLM pod kątem różnych zagrożeń. Modele Granite Guardian 8B i 2B oferują najbardziej wszechstronny zestaw funkcji wykrywania zagrożeń i potencjalnych szkód dostępny na rynku.

Oprócz wykrywania takich zagrożeń jak uprzedzenia społeczne, mowa nienawiści, toksyczność, wulgaryzmy, przemoc, próby obejścia zabezpieczeń i inne, modele te zapewniają również szereg unikalnych kontroli, specyficznych dla RAG, takich jak ocena oparcia odpowiedzi na faktach, adekwatność kontekstu i trafność odpowiedzi. W szeroko zakrojonych testach na ponad 15 benchmarkach bezpieczeństwa i RAG, modele Granite Guardian wykazały lepsze wyniki niż wszystkie trzy generacje modeli Llama Guard od Meta, Shield-Gemma od Google czy wyspecjalizowane modele ochrony typu open-source, takie jak WildGuard i WeCheck.

Chociaż modele Granite Guardian są pochodnymi odpowiednich modeli językowych Granite, mogą być używane przez dowolnego użytkownika w celu wdrażania zabezpieczeń wraz z dowolnymi otwartymi lub zastrzeżonymi modelami sztucznej inteligencji.

Dostępność

Warianty instruct nowych modeli językowych Granite 8B i 2B oraz modeli Granite Guardian 8B i 2B są już dostępne do użytku komercyjnego na platformie watsonx firmy IBM. Wybrane modele Granite 3.0 będą dostępne na platformach partnerskich, takich jak Nvidia NIM Stack i Google Vertex, poprzez integrację z HuggingFace.

Aby zapewnić programistom większy wybór i łatwość użytkowania, wyselekcjonowany zestaw modeli językowych Granite i modeli Mixture of Experts (MoE) jest również dostępny na platformach Ollama i Replicate.ai. Cała rodzina modeli Granite 3.0 oraz zaktualizowane modele Time Series są dostępne do pobrania na platformie HuggingFace na licencji Apache 2.0.

Najnowsza generacja modeli Granite rozszerza obszerny katalog oprogramowania typu open source IBM, obejmujący zaawansowane, dostosowane do potrzeb modele LLM. IBM współpracuje z partnerami, takimi jak AWS, Docker, Qualcomm poprzez AI Hub, Salesforce, SAP i inni, aby zintegrować modele Granite z ofertą tych partnerów lub udostępnić je na ich platformach, oferując przedsiębiorstwom na całym świecie większy wybór.

Dowiedz się więcej na temat Granite.

Materiał we współpracy z IBM.