Chạy mô hình AI cục bộ với Ollama: Hướng dẫn từng bước cho người mới

Ollama là công cụ mã nguồn mở giúp tải và chạy các mô hình ngôn ngữ lớn (LLM) ngay trên máy tính cá nhân, không cần gửi dữ liệu lên đám mây. Chỉ với vài lệnh trong terminal, bạn có thể chạy Llama 3.1, Mistral, Phi 3 hoặc Gemma như một trợ lý AI riêng của mình.

Khác với ChatGPT hay Gemini chạy trên máy chủ của công ty, AI cục bộ chạy hoàn toàn trên phần cứng của bạn. Điều này mang lại quyền riêng tư tuyệt đối, không tốn phí thuê bao và hoạt động tốt cả khi mất internet.

• Riêng tư tuyệt đối: dữ liệu không bao giờ rời khỏi máy.
• Miễn phí: không trả phí theo lượt hay theo tháng.
• Hoạt động offline: dùng được ngay cả khi mất mạng.
• Tùy biến sâu: thay đổi mô hình, system prompt và tham số tự do.

Mô hình càng lớn càng thông minh nhưng càng tốn bộ nhớ. Yếu tố quyết định là RAM và VRAM (bộ nhớ card đồ họa), không phải CPU.

• Mô hình 3B-8B (Llama 3.1 8B, Phi 3 Mini): cần khoảng 4-8GB RAM, chạy được trên laptop phổ thông với tốc độ chấp nhận được.
• Mô hình 13B-14B (Mistral, Llama 3 8B bản lượng tử): cần 8-16GB RAM, nên có card đồ họa 8GB VRAM để chạy mượt.
• Mô hình 70B (Llama 3 70B): cần ít nhất 32-48GB RAM hoặc nhiều card đồ họa, thường chỉ dành cho máy trạm.

Máy Mac chip Apple Silicon (M1 trở lên) chạy Ollama rất tốt nhờ bộ nhớ hợp nhất. Laptop Windows nên ưu tiên máy có card NVIDIA để dùng CUDA tăng tốc xử lý.

Cách cài đặt phụ thuộc vào hệ điều hành, nhưng quy trình đều đơn giản và mất chưa đầy 5 phút.

• Windows: tải file cài đặt từ trang chủ ollama.com, chạy và làm theo hướng dẫn. Sau khi cài, mở Command Prompt hoặc PowerShell và gõ ollama --version.
• macOS: tải file .dmg từ trang chủ, kéo biểu tượng vào thư mục Applications, sau đó mở Terminal và kiểm tra bằng ollama --version.
• Linux: chạy lệnh curl -fsSL https://ollama.com/install.sh | sh trong terminal. Script tự cài đặt và cấu hình dịch vụ chạy nền.

Sau khi cài đặt, Ollama chạy như một dịch vụ nền (background service) trên cổng 11434. Bạn không cần làm gì thêm, chỉ cần mở terminal mới để sử dụng lệnh.

Mở terminal và chạy lệnh ollama run llama3.1. Lần đầu tiên, Ollama tự tải mô hình khoảng 4-5GB, sau đó mở giao diện trò chuyện ngay trong terminal.

(1) Gõ ollama run llama3.1 và chờ quá trình tải hoàn tất.

(2) Nhập câu hỏi đầu tiên, ví dụ: "Giới thiệu về Việt Nam bằng 3 câu".

(3) Gõ /bye để thoát phiên trò chuyện.

Bạn có thể tải trước mô hình mà không chạy ngay bằng lệnh ollama pull llama3.1. Lệnh ollama list hiển thị các mô hình đã tải, ollama rm llama3.1 xóa mô hình khi không cần dùng.

• ollama run : mở phiên trò chuyện với mô hình.
• ollama pull : tải mô hình về máy.
• ollama list: xem danh sách mô hình đã tải.
• ollama ps: xem mô hình đang chạy và dung lượng bộ nhớ đang dùng.
• ollama stop : dừng mô hình đang chạy để giải phóng RAM.
• ollama rm : xóa mô hình khỏi máy.

Khi không dùng, Ollama tự động dỡ mô hình khỏi bộ nhớ sau vài phút để máy không bị chậm. Nếu muốn giải phóng RAM ngay, dùng lệnh ollama stop.

Ollama cung cấp API tương thích OpenAI ngay tại http://localhost:11434, nghĩa là nhiều ứng dụng viết cho ChatGPT có thể trỏ về Ollama mà không cần sửa code nhiều.

• Open WebUI: giao diện web đẹp mắt giống ChatGPT, chạy bằng Docker và kết nối trực tiếp với Ollama.
• VS Code + Continue: trợ lý lập trình cục bộ, gợi ý code mà không gửi mã nguồn lên mạng.
• Python: thư viện ollama cho phép gọi mô hình trong script xử lý văn bản, tóm tắt tài liệu hàng loạt.
• Modelfile: file cấu hình để tạo mô hình tùy chỉnh với system prompt và tham số riêng.

AI cục bộ phù hợp với tác vụ cần bảo mật, chi phí cố định và làm việc offline. AI đám mây vượt trội về độ thông minh của mô hình lớn nhất, tốc độ xử lý và khả năng đa phương thức như nhận diện ảnh, video.

Chiến lược hiệu quả nhất là kết hợp cả hai: dùng Ollama cho công việc hàng ngày như soạn thảo, tóm tắt, hỏi đáp kiến thức; dùng dịch vụ đám mây cho những tác vụ phức tạp cần mô hình mạnh nhất.