easy-llama. Python package wrapping llama.cpp for on-device LLM inference
llama-cpp-python. Python bindings for llama.cpp
