На прошлой неделе Microsoft опубликовала WizardLM 2. По утверждению компании, это одна из самых мощных на сегодняшний день LLM с открытым исходным кодом. Уже через несколько часов Microsoft удалила WizardLM 2, так как модель не прошла «тест на токсичность». Тем не менее, пользователи сумели сохранить проект.
Как указано в уже удалённом описании WizardLM 2, модель представляет собой «LLM нового поколения с улучшенной производительностью и способностью рассуждать». WizardLM 2 обучена на синтетических данных, то есть на данных, созданных другими ИИ-системами. В Microsoft заявили, что обучение LLM на данных, созданных нейросетями, «станет путём к более мощному ИИ». Разработчики проверили WizardLM 2 с помощью бенчмарка MT-Bench и пришли к выводу, что модель «демонстрирует весьма конкурентоспособную производительность по сравнению с самыми передовыми патентованными разработками, такими как GPT-4-Turbo и Claude-3».
Microsoft не объяснила причину удаления WizardLM 2. Тем не менее, пояснение опубликовал Twitter-аккаунт WizardLM_AI (404 Media уточняет, что это аккаунт Кана Сюя, сотрудника Microsoft и ведущего автора статьи о первой WizardLM).
«Мы сожалеем. первая версия модели вышла довольно давно, несколько месяцев назад, и мы пока не знакомы с новым процессом релиза. Поэтому мы случайно пропустили элемент, необходимый для выпуска модели — тестирование на токсичность. Мы быстро завершаем этот тест, а затем перевыпустим нашу модель как можно скорее», — гласит сообщение.
Незадолго до удаления модели несколько человек успели скачать её и повторно загрузить на Github и Hugging Face. Как отмечает 404 Media, эти репозитории сейчас недоступны, но нейросеть постоянно перезагружают на различные платформы. Несколько зеркал перечислены на сервере Discord WizardLM. Редакции издания удалось найти пять разных экземпляров WizardLM 2 на Hugging Face.
Стоит отметить, что токсичность модели проверили специалисты из компании Octo Ai при помощи инструмента Vijil. По их словам, модель показала хорошие результаты, достойно ответив на провокационные промты, связанные с угрозами, оскорблениями, флиртом, ненормативной лексикой и так далее.
Источник новости: habr.com
