Meta i Microsoft zaprezentowali nową generację modelu językowego

Mark Zuckerberg oraz Satya Nadella, dyrektor generalny Microsoft, ogłosili powstanie Llama 2 – nowej generacji modelu językowego typu open source, który Meta bezpłatnie udostępniła do badań i użytku komercyjnego.

bg
bg
Udostępnij artykuł:
Meta i Microsoft zaprezentowali nową generację modelu językowego

Na stronie internetowej uwzględniono wagi poszczególnych modeli i kod początkowy dla wstępnie wytrenowanych i dopracowanych wersji (parametry 7B, 13B i 70B).

Dostęp do modeli Llama 2 można również uzyskać za pośrednictwem Microsoft Azure i Windows, Amazon Web Services i Hugging Face. Jak podają firmy, szeroka dostępność modeli to krok w stronę budowania modeli sztucznej inteligencji na miarę dzisiejszych czasów. Jest to szczególnie ważne w przypadku modeli takich jak Llama 2, które są rozwijane w przestrzeni generatywnej, gdzie technologia rozwija się wyjątkowo szybko dzięki prawdziwym, jakościowym przełomom.

- Meta ma długą historię open sourcingu naszej infrastruktury i sztucznej inteligencji — od PyTorch, wiodącej platformy uczenia maszynowego, przez modele takie jak Segment Anything, ImageBind i Dino, po podstawową infrastrukturę w ramach projektu Open Compute. Takie działanie pomogło nam tworzyć lepsze produkty i napędzać rozwój całej branży - napisał w swoim poście Mark Zuckerberg, szef Meta.

Na razie testy i badania

Dalej wyjaśnia, że otwarte oprogramowanie napędza innowacje, ponieważ udostępnia nowe technologie znacznie większej liczbie programistów. Poprawia również bezpieczeństwo – gdy oprogramowanie jest ogólnodostępne, więcej osób może je przeanalizować, aby zidentyfikować i naprawić potencjalne problemy. - Uważam, że gdyby ekosystem był bardziej otwarty, pozwoliłoby to na szybszy postęp. Z tego względu udostępniamy Llama 2 na zasadzie open source - zaznacza Zuckerberg.

Obecnie do użytku oddano wstępnie wytrenowane i dopracowane modele z parametrami 7B, 13B i 70B. Llama 2 została przeszkolona na 40 proc. więcej danych niż Llama 1 i ma dodatkowe ulepszenia w swojej budowie. W przypadku precyzyjnie dopracowanych modeli zebraliśmy ponad 1 milion adnotacji i zastosowaliśmy nadzorowane dostrajanie i uczenie wzmacniające z wykorzystaniem informacji zwrotnych od ludzi (RLHF), uzyskując świetne wyniki w zakresie bezpieczeństwa i jakości.

Modele można pobrać bezpośrednio lub – w ramach partnerstwa Meta z firmą Microsoft – uzyskać do nich dostęp za pośrednictwem platformy Azure. Istnieje również zoptymalizowana wersja, którą można uruchomić lokalnie w systemie Windows.

bg
Autor artykułu:
bg
Author widget background

PRACA.WIRTUALNEMEDIA.PL

NAJNOWSZE WIADOMOŚCI

KRRiT przedłuża koncesje. Chodzi m.in. o stacje Polsatu i Canal+

KRRiT przedłuża koncesje. Chodzi m.in. o stacje Polsatu i Canal+

Polsat Box udostępnił za darmo wiele kanałów

Polsat Box udostępnił za darmo wiele kanałów

Współpracownica Agory bez pieniędzy po porodzie? Firma odpowiada "Solidarności"

Współpracownica Agory bez pieniędzy po porodzie? Firma odpowiada "Solidarności"

KRRiT zaakceptowała plany mediów publicznych. Co z likwidacją kanałów TVP?

KRRiT zaakceptowała plany mediów publicznych. Co z likwidacją kanałów TVP?

Dwa nowe tytuły w ofercie InPostu. Zamówisz je do Paczkomatu

Dwa nowe tytuły w ofercie InPostu. Zamówisz je do Paczkomatu

Nowa prezeska wydawcy "Pisma"

Nowa prezeska wydawcy "Pisma"