DeepSeek and the big step forward
Yesterday, with very little effort, I managed to get a working #DeepSeek model running on my computer. It felt like I was a super-rich tech oligarch, but I just have a simple casual gaming computer with a cheap 8 GB graphics card for playing a game or editing videos. A lot of people have a machine like that; it's below average. And it took me half an hour. Hauke explains here how anyone can do the same. https://tube.tchncs.de/w/cuNhJ5tRzdv4WRE2oZjCv3

You only need the DeepSeek-R1-Distill-Qwen model (32 billion parameters, approx. 19 GB)https://huggingface.co/mradermacher/DeepSeek-R1-Distill-Qwen-32B-Uncensored-GGUF, which is a very slimmed-down version that will also run on a home computer. For institutes, educational institutions and companies, there are also more powerful models, right up to the full model, which then really requires enormous resources. And you need a program like #KoboldCpp https://github.com/LostRuins/koboldcpp which loads the AI model into the graphics card and, for a weak card like mine, offloads the rest to the CPU. Furthermore, a chat GUI is provided via http://localhost:5001. As I said, if you've ever used a console, it's really not rocket science.

There will certainly be loud voices that want to ban DeepSeek. Racists and capitalists will shout that the Chinese cannot be trusted. But it is open-source. Under an MIT license. I also ran it offline. It runs 100% locally.

What you could do with it! If smart people continue to train the models. Now everyone has an AI and the tech bros can pack up! Thanks Deepseek and thanks China. A huge gift for the open-source community and maybe for humanity.

PS. And once again, the conspiracy theorists were right, claiming that commercial AIs are only so large and resource-hungry so that they are reserved exclusively for the rich and the people remain customers. That's over now.

https://word.undead-network.de/2025/02/10/deepseek-and-the-big-step-forward/
#ai #china #deepseek #FOSS #ki #openai #opensourceAI #opensoure #oss #techbros

DeepSeek und der große Sprung nach vorn
Mir ist es gestern mit sehr kleinem Aufwand gelungen, ein funktionierendes #DeepSeek Model auf meinen Rechner zum Laufen zu bekommen. Hat sich angefühlt, als wäre ich jetzt superreicher Techoligarch, aber ich habe nur einen simplen Casual Gamer Rechner mit einer billigen 8 GB Grafikkarte, um mal ein Spiel zu spielen oder Videos zu bearbeiten. So einen Rechner haben viele Menschen, es ist unterer Durchschnitt. Und es hat mich eine halbe Stunde gekostet.  Wie das für jeden nachzumachen ist, erklärt Hauke hier. https://tube.tchncs.de/w/cuNhJ5tRzdv4WRE2oZjCv3

Man benötigt nur das Model DeepSeek-R1-Distill-Qwen (32 Mrd. Parameter, ca. 19 GB) https://huggingface.co/mradermacher/DeepSeek-R1-Distill-Qwen-32B-Uncensored-GGUF das ist eine sehr abgespeckte Version, die eben auch auf einem Home Rechner läuft. Für Institute, Bildungseinrichtungen und Firmen gibt es auch stärkere Modelle bis zum vollen Modell, welches dann wirklich enorme Ressourcen benötigt. und man braucht ein Programm wie #KoboldCpp https://github.com/LostRuins/koboldcpp welche das KI-Model in die Grafikkarte lädt und bei einer schwachen Karte, wie bei mir, den Rest auf die CPU auslagert. Des Weiteren wird eine Chat GUI über http://localhost:5001 zur verfügung gestellt. Wie gesagt, wenn man schon mal eine Konsole benutzt hat, ist das echt kein Hexenwerk.

Es wird ganz sicher laute Stimmen geben, die DeepSeek verbieten wollen. Rassisten und Kapitalisten die rufen werden das man den Schlitzau... den Chinesen nicht trauen kann. Nur es ist Open-Source. Unter MIT-Lizenz. Ich habe es außerdem offline betrieben. Es läuft 100% lokal.

Was man damit alles machen könnte! Wenn kluge Menschen die Modelle weiter trainieren. So haben jetzt alle eine KI und die Techbros können einpacken! Danke Deepseek und Danke China. Für die Open-Source-Community ein riesengroßes Geschenk und vielleicht auch für die Menschheit.

PS. und einmal mehr hatten die Aluhüte recht, die behaupteten, dass die kommerziellen KIs nur so groß und Ressourcen hungrig sind, damit sie exklusiv den Reichen vorbehalten sind und das Volk Kunde bleibt. Das ist jetzt vorbei.

https://word.undead-network.de/2025/02/10/deepseek-und-der-grosse-sprung-nach-vorn/
#ai #china #deepseek #FOSS #ki #openai #opensourceAI #opensoure #oss #techbros

Hauke erklärt mal kurz wie man mit #DeepSeek in #KoboldCpp #jQuery, #PHP, #AJAX & #HTML Dateien programmieren lassen kann. #Lokal. Zuhause, im Büro oder Rechenzentrum. #ai #ki
https://tube.tchncs.de/w/cuNhJ5tRzdv4WRE2oZjCv3

Tried a roleplay with an LLM which more or less turned into a story. I actually quite like it. Could have more action, though

Not sure if chat mode was the right choice.
Also, still no idea how to do multi character chats.

https://nc.uvokchee.de/s/7deWiWPAmB63K5E

Hm, I'm unsure whether I should instruct the model to reply with their characters name prefixed.
I have no idea how much "automagic" the chat mode has inbuilt.
I actually wanna get away from only seeing "KoboldAI" and "user".

Also, changing "my name" in the chat mode settings seems to confuse the model?

#koboldcpp has a nice interface.
I kind wish they had a better explanation what's the difference between "chat" and "KoboldGPT chat".

Also, I'm simply overwhelmed by the amount of models. Each of them needs to be treated / prompted differently, it seems.

And then I still have problems with the model generating my character's actions / speech occasionally, and I don't know whether that's due to my insufficient prompting, or due to this "end token" (e.g. <|im_end|>) not being configured correctly, which seems to differ for some models again.

Koboldcpp seems much more accessible with screen readers now than when I tested a while ago! There are still a few minor annoyances to tolerate, but it’s definitely usable. It also supports several different TTS options. Personally, I’d still stick with VOLlama for my bias, but if you’re into RP with AI give Koboldcpp a try—it’s geared toward that. #LLM #AI #Koboldcpp #accessibility

把 #koboldcpp 以前景模式執行，打開 AI Horde 的任務分派程式，很明顯可以感覺到早上的使用者明顯比下午多。然後 RP 跟 ERP 的比例大約是 1:4。

#LLM