StableLM предназначен для эффективной генерации текста и кода.
Вышла новость, что Стабильность ИИ, компания, стоящая за моделью искусственного интеллекта Stable Diffusion, анонсировала первую из своего набора языковых моделей StableLM..
С этим Stability надеется воспроизвести эффекты своей модели синтеза изображений с открытым исходным кодом. Стабильная диффузия, выпущенный в 2022 году. После доработки StableLM можно будет использовать для создания альтернативы ChatGPT с открытым исходным кодом.
Тем, кто не знаком со Stability AI, следует знать, что это лондонская компания, которая позиционирует себя как конкурента OpenAI с открытым исходным кодом, компании, которая разрабатывает мощные, но проприетарные модели искусственного языка, такие как ChatGPT.
О StableLM
СтабильныйLM это название семейства моделей искусственного языка, созданных Stability AI, которые доступны как открытый исходный код на GitHub под лицензией Creative Commons BY-SA-4.0. StableLM — модель генерации текста. который может составлять человеческий текст и писать программы, предсказывая следующее слово в последовательности. Он использует технику под названием «предсказание чипа». который предполагает угадывание следующего фрагмента слова из контекста, предоставленного человеком в виде «подсказки».
Как и другие «маленькие» LLM StableLM заявляет о достижении производительности, аналогичной эталонной модели GPT-3. OpenAI при использовании гораздо меньшего количества общих параметров (7 миллиардов для StableLM против 175 миллиардов для GPT-3).
Выпуск StableLM основан на нашем опыте работы с предыдущими языковыми моделями с открытым исходным кодом в EleutherAI, некоммерческом исследовательском центре. Эти языковые модели включают GPT-J, GPT-NeoX и пакет Pythia, которые были обучены на наборе данных с открытым исходным кодом The Pile.
СтабильныйLM утверждает, что имеет характеристики, аналогичные GPT-3, языковая модель, на которой работает ChatGPT, использует гораздо меньше параметров (7 миллиардов против 175 миллиардов). Параметры — это переменные, которые модель использует для изучения обучающих данных. Меньшее количество параметров делает модель меньше и эффективнее, что упрощает ее работу на локальных устройствах, таких как смартфоны и ноутбуки.
СтабильныйLM обучены на новом наборе данных на основе The Pile, содержащий 1,5 триллиона токенов, что примерно в 3 раза превышает размер The Pile. The Pile — это высококачественный и разнообразный набор данных для обучения языковых моделей.
Stability AI упоминает, что шаблоны уже доступны в репозитории GitHub и что скоро появится полный технический документ, и надеется на продолжение сотрудничества с разработчиками и исследователями по мере развертывания пакета StableLM.
Кроме того, они упоминают запуск программы открытого сотрудничества RLHF и работу с усилиями сообщества, такими как Open Assistant, для создания набора данных с открытым исходным кодом для помощников ИИ.
Последний, но тем не менее важный, Говоря о выпусках Stability AI, мы также можем отметить, что он анонсировал бета-версия SDXL (что расшифровывается как Stable Diffusion Extra Large), новая модель искусственного интеллекта, способная генерировать изображения из текстовых описаний. SDXL — это последнее дополнение к пакету Stable Diffusion, который также включает модели SD, SDT и SDC.
SDXL отличается от других моделей своими размерами и возможностями. SDXL с 2300 миллиардами параметров более чем в 2,5 раза больше, чем исходная модель SD, в которой было всего 890 миллионов. Эти дополнительные параметры позволяют SDXL генерировать изображения, которые лучше соответствуют сложным шаблонам. Например, SDXL может создавать читаемый текст на изображениях или создавать поразительно реалистичные портреты вымышленных персонажей.
В настоящее время SDXL находится в стадии бета-тестирования в DreamStudio и других популярных приложениях для обработки изображений, таких как NightCafe Creator. Как и все модели Stability AI, SDXL скоро будет выпущен с открытым исходным кодом для оптимальной доступности. Stability AI объявляет, что SDXL имеет разрешительную лицензию для коммерческого и некоммерческого использования, если вы соблюдаете этические и юридические нормы.
Наконец, если вам интересно узнать об этом больше, вы можете ознакомиться с подробностями По следующей ссылке.