Как использовать Hugging Face – модели и AI библиотеки
Что такое Hugging Face- если в двух словах, то это объединение программистов, разработчиков и специалистов в ИИ сфере. Некое комьюнити, которое совместно настраивает и обучает Deep Learning модели. Пользователи публикуют на платформе закодированные модели в открытом доступе, это позволяет докручивать и довинчивать прототипы.
При этом сообществе есть библиотека — Transformers, в ней можно найти огромное количество инструментов, которые позволяют использовать различные промты для моделей. Это удобно, потому что позволяет экономить время и не обучать модель с самого начала.
Ссылка на платформу.
Что вы можете сделать на Hugging Face?
Загрузить собственную модель с открытым исходным кодом и доработать ее. На платформе располагается более 500 тысяч готовых моделей, они доступны в библиотеке. Вы можете загрузить промт существующей модели в свой код.
Кроме того, у каждой модели свои функции, которые можно использовать для себя:
- Генерация текста, обработка естественных запросов, перевод текста на разные языки.
- Перевод текста в речь, распознавание голоса, генерация речи.
- Обработка и классификация изображений.
- Многие модели настроены мультимедийно, они способны обрабатывать запросы типа считывание текста с видео или картинки, перевод текста из аудио формата.
Также вы можете обмениваться готовыми интерфейсами моделей через библиотеку, вы можете создать собственное комьюнити на платформе. Прежде чем начать работу, вы можете выбрать — регистрироваться как самостоятельное лицо или добавить целую команду.
Проще говоря, это платформа для обучения навыкам искусственного интеллекта. Сюда входят демонстрации, примеры использования, документация и учебные пособия, которые проведут вас по всему процессу использования этих инструментов и обучающих моделей. Вы также можете поучиться у экспертов и сообщества Hugging Face и улучшить свои знания и навыки в области искусственного интеллекта.
Какие задачи решают transformers?
- NLP- на платформе представлено огромное количество моделей для работы с текстом
- classification — модели обученные выделению сути, объединение изображений и сегментация
- Audio- работа с речью, перевод текста в речь и наоборот
- Multimedia — перекрестная работа моделей нейросети в разных направлениях
При этом, одна и та же задача может решаться разными моделями.
Поиск модели
Прежде чем воспользоваться готовым промтом модели, ее нужно найти и удостовериться что она вам подходит. Для этого можно воспользоваться поиском по тегам.
Основные теги уже сгруппированы:
- Tasks — задачи, которым модель уже обучена
- Libraries — библиотека, на основе которой модель обучалась
- Datasets — набор данных на основе которых обучалась модель
- Languages — языки, которые использовали при обучении
- Licenses — лицензия, которая есть у модели
- Other — теги по которым можно найти модель
При переходе в раздел задач, можно выбрать модель, которая будет отвечать вашим требованиям.
Важно! В этом разделе тысячи моделей, от мультимодальной — для работы с текстом, до аудио и работы с таблицами.
В одном разделе “Распознавание речи”, больше 20-ти тысяч моделей.
Нажмите на любую задачу и получите тысячи бесплатных ИИ-моделей для использования.
Кстати, для каждой модели есть определенный тест, который показывает эффективности ИИ.
Кроме фильтров, модель можно найти по названию, очень часто, название модели отражает ее предназначение.
Важно! На ваш запрос может откликнуться огромное количество models, первые в списке будут самые популярные модели.
Если вы выберете конкретную модель, вы увидите подробное описание модели, примеры кода и бенчмарки.
Использование моделей
Для того чтобы получить доступ к модели, можно использовать исходный фреймворк, который представлен в описании. В этом случае у вас больше возможностей для творчества.
Также можно использовать библиотеку transformers, в классе pipline.
Pipline- объединяет в себе подготовку данных и использование модели. С помощью паплайн можно не только найти нужную модель, но и дообучить собственную модель.
Также можно взять код из готовой модели, внедрить ее в собственную и объединить все в готовую, новую модель.
Как пример, можно взять модель для резюмирования текста, например со 130 до 30 символов.
С помощью вот этой модели: philschmid/bart-large-cnn-samsum
В результате получился сокращенный по символам текст.
После того как вы создали собственную модель, дообучили и прогнали по тестам.
Можно использовать модель как угодно. Можно опубликовать и узнать мнение по поводу своего прототипа в сообществе hugging face.
Ссылка: Сообщество
