Senior LLM Engineer

Компания "Микрофинансовая организация KMF(КМФ)"

Что делать?

• Разрабатывать и внедрять LLM-решения для задач банка, включая:
• внутренние AI-ассистенты,
• чат-ботов для сотрудников и клиентов,
• поиск и ответы по внутренним документам,
• document intelligence,
• извлечение и структурирование данных из документов,
• Проектировать архитектуру LLM-решений:
• prompt pipeline,
• retrieval / RAG,
• использование knowledge base,
• orchestration логики,
• Разрабатывать evaluation framework для LLM-решений:
• Работать с локальными и внешними LLM-моделями, сравнивать их и выбирать подходящий вариант под задачу.
• Проектировать пайплайны обработки документов и подготовки контекста для LLM.
• Совместно с бизнесом и аналитиками формировать реальные use cases и критерии успеха.
• Участвовать в выборе технологического стека для генеративного AI направления.
• Наставлять других специалистов по вопросам LLM-систем, evaluation и best practices.

Если у вас :

• Опыт работы с AI/LLM/NLP решениями от 3 лет, либо сильный опыт в ML/NLP с существенной практикой по LLM.
• Практический опыт работы с LLM API или локально развернутыми моделями.
• Опыт проектирования LLM applications
• Понимание RAG, embeddings, vector search, reranking, knowledge retrieval.
• Опыт построения evaluation для LLM-систем.
• Понимание ограничений LLM и способов контроля качества.
• Навык проектирования сервисной логики вокруг LLM

Будет плюсом:

• Опыт с локальными LLM-моделями и on-prem inference.
• Опыт с vector DB и knowledge retrieval системами.
• Опыт работы с документными AI-решениями.
• Опыт в банковской сфере, финтехе или в контуре с повышенными требованиями к безопасности.
• Опыт в сравнении open-source и external LLM моделей.
• Опыт настройки quality benchmarks для AI-ассистентов и чат-ботов.

Стек:

• Языки: Python, SQL
• LLM / NLP: OpenAI-compatible APIs, локальные LLM, transformers / sentence-transformers
• RAG и retrieval: embeddings, vector search, reranking
• Vector DB / search: Qdrant
• LLM orchestration: LangChain / custom orchestration pipelines
• API и сервисы: FastAPI, REST API
• MLOps / tracking: MLflow
• Инфраструктура: Docker, Kubernetes, KServe
• Данные и документы: PostgreSQL, object storage, document parsing pipelines
• Мониторинг и evaluation: structured evaluation datasets, logs, quality reports

Что мы предлагаем:

• Официальное трудоустройство в соответствии с Трудовым кодексом РК;
• График работы на выбор: 08:30–17:30 / 09:00–18:00 / 09:30–18:30;
• Ежегодный оплачиваемый отпуск — 28 календарных дней;

После прохождения испытательного срока:

• Кафетерий льгот на сумму 250 000 тг. в год (медицинское страхование, обучение, спорт, развитие детей, авиа- и ж/д билеты);
• 2 дополнительных дня Day Off в год;

Дополнительно:

• Лечебное пособие в размере одного оклада при выходе в отпуск (после 1 года работы, при отпуске от 14 дней).