Serge alternatifleri
Serge, GGUF modellerini çalıştırmak için llama.cpp kullanarak geliştirilmiş açık kaynaklı bir sohbet arayüzüdür. API anahtarları gerektirmeyen tamamen kendi sunucuda barındırılan bir uygulamadır. SvelteKit ön uç, Redis ile sohbet geçmişi ve parametrelerin saklanması, FastAPI ve LangChain ile API katmanı sunulmaktadır.