Playing around with local #llm and wanted to evaluate the performance of my #gpu so I wrote this little #ollama benchmarking tool: https://github.com/stefanthoss/ollama-server-benchmark Impressive - my small #nvidia Tesla T4 generates prompt responses roughly 4 times as fast as my 64 core server CPU can.

Teste gerade #ollama bzw. #Llama31 lokal auf dem i7, dem XPS und dem MBA. Bin positiv überrascht, wie gut dies auf den beiden Laptops, trotz der Hardware (m1 bzw i5 & 8 GB RAM), läuft.

https://ollama.com/

Warum drei UIs öffnen, wenn eins reicht? Claude, Gemini & #Ollama im gleichen Prompt – in #OpenWebUI. Baue dein Multi-LLM-Setup in wenigen Schritten inkl. Markdown-Antworten für VS Code. Jean-Claude Brantschen zeigt es dir: https://javapro.io/de/remote-llms/

Irgendwie nutze ich meine lokale LLM eher als Suchmaschine als normale Suchmaschinen. Keine Cookie Banner, keine "Deaktiviere den Adblock" Popups und die Informationen mehrerer Seiten sind einfach zusammengefasst.

Obwohl der Server nicht leistungsstark ist und eine Antwort etwas länger dauert, bin ich immernoch schneller damit,als mich durch sinnlose Foren-Einträge zu wühlen.

Moodle 5 AI Video

Two minute video on the new #AI Features available with #Moodle 5. Notable feature is built in support for #ollama to go with #Openai (Think #ChatGPT)

https://www.youtube.com/watch?v=LTIrjm6fNL4

Moodle 5.0 is available from github here

https://github.com/moodle/moodle/tree/MOODLE_500_STABLE

Building complex AI workflows with #ollama and #n8n? Learn how the new folders feature helps manage your automation ecosystem! From social media to data processing, stay organized. https://youtu.be/ozI2-97iupA #AI #automation

在NixOS WSL上運行Nvidia和Ollama：全天候啟動您的遊戲PC上的LLM
➤ 在你的遊戲PC上輕鬆運行大型語言模型
✤ https://yomaq.github.io/posts/nvidia-on-nixos-wsl-ollama-up-24-7-on-your-gaming-pc/
這篇文章詳細介紹了作者如何在遊戲PC上使用NixOS和WSL環境，成功配置Nvidia GPU和Ollama，實現LLM模型的持續運行。作者解決了vram鎖定、WSL自動關閉以及NixOS對Nvidia的初始支持不足等問題，並分享了詳細的配置步驟，包括保持WSL運行的設置、NixOS的安裝配置、Nvidia Container Toolkit的設置以及Ollama Docker容器的配置，並整合了Tailscale以簡化網絡連接。
+ 這篇文章真的很有用，我一直想試試本地LLM，但設定起來太麻煩了。這個方法看起來更可行！
+ NixOS看起來很強大，但是學習曲線有點陡峭。不過為了能在本地運行LLM，我
#NixOS #WSL #Nvidia #Ollama #LLM #Docker

You can now use Ollama model with Continue.Dev to do “agentic” code generation in VSCode. However if you use LiteLLM to manage your model access, you won’t be able to take advantage of this feature just yet https://github.com/continuedev/continue/issues/5044

#selfhosted #ai #ollama (https://brainsteam.co.uk/notes/2025/04/10/1744283027/)

FINALLY: Folders in self-hosted n8n!
After years of working with n8n, I'm showing you how to organize your #Ollama & AI workflows with this game-changing feature.

https://youtu.be/ozI2-97iupA
#n8n #automation

Unlock the power of Large Language Models with Ollama CLI!
Perfect for developers, data scientists, and AI enthusiasts.

For more Details:https://tinyurl.com/mt9fzc64
#Ollama #CLI #LLM #AI #TechLatest #MachineLearning #CommandLine #AIModels #OpenSource #DeepLearning

Good or bad? My laptop with a 12th gen i7-12800H and an #nvidia A1000 gpu can sustain 3.8ghz turbo on all cores, almost a 1 ghz turbo (sustained) over the 2.9ghz promise from #intel. I am using Ollama and Gemma3:27b to beat on it. GPU is a bit of a lap potato of course and hovers around 65C, while the CPU rides 96C.

Tokens per second is about 25.

Supercharge your AI projects with Open-WebUI and Ollama!
Learn how to seamlessly download and manage LLMs like LLaMA, Mistral, and more.
Our guide simplifies model management, so you can focus on innovation, not installation.
For more Details:https://tinyurl.com/yc7m9rhc
#OpenWebUI #Ollama #LLM #AI #TechLatest #MachineLearning #AIModels #opensource #DeepLearning

Hallo schlaues Fediverse, ich tauche gerade in ein völlig absurdes #Rabbithole und mein M1 Macbook hat dank #LlmStudio und #Ollama seinen Lüfter wiederentdeckt… Aktuell ist lokal bei #LLM mit 8-12b Schluss (32GB Ram). Gibt es irgendwo #Benchmarks die mir bitte ausreden, dass das mit einem M4 >48GB RAM drastisch besser wird? Oder wäre was ganz anderes schlauer? Oder anderes Hobby? Muss Mobil (erreichbar) sein, weil zu unsteter Lebenswandel für ein Desktop. Empfehlungen gern in den Kommentaren.

Introducing MoonPiLlama

Adam Jenkins has made a Youtube video showing how to install #MoodleBox and Ollama on a Raspberry Pi4. MoodleBox is a custom distribution of #Moodle specifically for the Raspberry Pi. However the Moodle part includes good information on generally how to get Ollama and Moodle to work together. It also includes gratuitous use of a yellow rubber duck
(Yes Pi 4 not Pi 5).

https://www.youtube.com/watch?v=KqQfzhJJFPM&t=1253s

How to Build an AI Chatbot with .NET Aspire, Ollama, and Blazor
#dotnet #aspnet #aspire #blazor #ollama

https://isaacl.dev/gc4

#Qwen 'QWQ 32B,' a reasoning model you can run locally via #Ollama on your PC with sufficient GPU RAM (20GB+), delivers performance nearly comparable to #DeepSeek R1, despite the latter having 671 billion parameters. The power of efficient architecture! #AI

#Ollama #Models #LLM #Hosting #remembering #Smarter I found a way to make my Ollama environment with multiple LLMs really a lot smarter. And even better ... Ollama is not forgetting anything anymore! Article: lkjp.me/78m

Heute mal die Anwendung #Ollama auf meinem Server, als #Docker installiert und ein bissel rumprobiert mit verschiedenen #LLMs.

Auf jeden Fall interessant.

Gibt auch eine App im #fdroid.