Create a set of open LLMs for the service and make a map of their use

[Vl-Tershch]

Задача: Сформировать набор открытых LLM для сервиса и составить карту их использования.

[Vl-Tershch]

@aimspot подсказал, что по мультимодальным можно посмотреть модели blip2, clip, paligemma.

[MrMegnis]

На созвоне обговорили необходимые критерии моделей:
В приоритете - качество, хорошо, если модель обучалась с большим количеством русских данных
Минимальное контекстное окно - 32000
Размер моделей средний - от 10B до 32B
Желаемо наличие мультимодальности

[AnastasyaDedkova]

Проанализировала лидерборд русскоязычных моделей, подходящих под критерии. Материалы находятся в документе ФС_БЯМ.

---

Analyzed the leaderboard of Russian-speaking models that fit the criteria. The materials are in the document FS_LLM.

[MrMegnis]

@aimspot подсказал, что по мультимодальным можно посмотреть модели blip2, clip, paligemma.

Протестировал мультимодальные модели, брал небольшие, до 3b, оказалось, что даже такие на инференсе занимают около 15гб.

1. https://huggingface.co/google/paligemma2-3b-pt-896

Достаточно легко поднимается, трудностей с инференсом не возникло, однако есть существенные недостатки. Во-первых максимальный размер изображения - 896x896, а во-вторых она (конкретно 3b) отвечает очень просто и по-английски, даже если попросить её говорить на русском.

2. https://huggingface.co/Salesforce/blip2-opt-2.7b

Поднимается, но почему-то ничего не генерирует. Даже пример разработчиков не работает.

3. https://huggingface.co/docs/transformers/model_doc/clip

Модель интересная и очень лёгкая, но она хуже работает с русским и является encoder-only моделью (что по сути своей является особенностью, а не недостатком)