Пока локалки — это больше для игры и экспериментов. Запустил LLaMA 2 маленькой версии — тянет, но не быстро, и греется сильно. С большими моделями на обычном жёстком железе никак, начинает жёстко лагать и перегрев. Для постоянной работы — лучше что-то гибридное, локалка плюс облако. Но если просто интересно посмотреть, как работает — вполне себе вариант.