Команда Яндекса открыла для всех доступ к библиотеке YaFSDP. Она значительно ускоряет обучение больших языковых моделей — как собственной разработки, так и сторонних, с открытым исходным кодом.
Как отмечают в Яндексе, с помощью YaFSDP также можно расходовать до 20% меньше ресурсов графических процессоров (GPU), которые требуются для обучения. Теперь YaFSDP могут использовать компании, разработчики и исследователи по всему миру.
Библиотека Яндекса рассчитана в первую очередь на большие языковые модели, хотя она подходит и для других нейросетей — например, таких, которые генерируют изображения. YaFSDP позволяет сократить расходы на оборудование для обучения моделей.
Яндекс разработал YaFSDP в процессе обучения своей генеративной модели нового поколения YandexGPT 3. Компания уже протестировала библиотеку на сторонних нейросетях с открытым исходным кодом. Например, если бы YaFSDP использовалась применительно к модели LLaMA 2, этап предварительного обучения на 1024 графических процессорах сократился бы с 66 до 53 дней.
Источник: https://www.ixbt.com/news/2024/06/11/jandeks-opublikoval-svoj-uskoritel-obuchenija-nejrosetej—yafsdp.html
Еще полезное
Столь мощных внешних видеокарт в таких скромных габаритов ещё не было. OneXGPU2 eGPU будет стоить 900 долларов
iPhone 16 Pro Max — не лучший камерофон на рынке, но видео снимает лучше всех. Таков вердикт DxOMark
Порой Snapdragon 8 Gen 3 кажется прошлым веком. Новые iPhone — рекордно мощные смартфоны почти во всех режимах, согласно свежим тестам