Программная реализация ВКР "Алгоритм парафразирования для улучшения извлечения сущностей с использованием больших языковых моделей"

Запуск проекта

Установка окружения python

python3 -m venv .venv

Установка зависимостей

pip install -r requirements.txt

Дополнительная установка зависимостей

python -m spacy download ru_core_news_lg
CMAKE_ARGS="-DGGML_CUDA=on -DLLAMA_OPENSSL=ON" pip install llama-cpp-python

Сборка

cmake -B build -DGGML_CUDA=ON -DLLAMA_OPENSSL=ON
cmake --build build --config Release -j$(nproc)

Запуск

llama-server -m models/vikhr-nemo-12b-instruct-r-21-09-24-q8_0.gguf --log-disable