אנא המתינו בזמן שהקובץ מועלה לשרת
פתח תפריט ניווט

קטגוריות ראשיות

כל הקטגוריות
טכנאי עד הבית לפרטים >
מעבדת מחשבים לפרטים >
המחשב נתקע? לחץ להצלה 053-3368048

מדריך: איך להריץ מודלי שפה (LLMs) כמו Llama 3 מקומית על Windows

נמאס לכם מהענן? רוצים פרטיות ושליטה מלאה? המדריך המלא של ‘אלוף המחשבים’ יראה לכם איך להפוך את המחשב האישי שלכם לתחנת כוח AI ולהריץ מודלי שפה מתקדמים מקומית.
זמן אספקה: 7 ימים , קיימת אפשרות לאיסוף עצמי
למה לקוחות קונים אצלנו:
  • אפשרות לעד 12 תשלומים (ועד 3 תשלומים ללא ריבית) 
  • קניה מאובטחת ושירות לקוחות מעולה 
קניה בטוחה
שאל אותנו על מוצר זה

מידע נוסף

למה בכלל להריץ מודלי שפה על המחשב האישי?

בעידן שבו הכל קורה בענן, יש משהו משחרר בלהחזיר את הכוח הביתה, למחשב שלנו. הרצת מודלי שפה גדולים (LLMs) באופן מקומי מציעה שלושה יתרונות מרכזיים: פרטיות (המידע שלכם לא עוזב את המחשב), חיסכון בעלויות (אין הפתעות בחשבון ה-API החודשי), ושליטה מלאה על המודלים והסביבה. אתם הופכים למאסטרים של היקום הקטן שלכם.

במדריך הזה, נראה לכם צעד-אחר-צעד איך להפוך מחשב Windows סטנדרטי עם כרטיס מסך של NVIDIA לתחנת עבודה מפלצתית לפיתוח AI, באמצעות שילוב קטלני של WSL2, CUDA ו-Ollama.

רשימת מכולת: מה צריך לפני שמתחילים?

לפני שצוללים לקוד, בואו נוודא שיש לנו את כל המצרכים:

  • מחשב עם Windows 10 או 11: הגרסאות המעודכנות ביותר הן תמיד רעיון טוב.
  • כרטיס מסך (GPU) של NVIDIA: זה המרכיב הסודי. ככל שהכרטיס חזק יותר (למשל, סדרות RTX 30xx או 40xx) ועם יותר זיכרון VRAM, כך תוכלו להריץ מודלים גדולים ומהירים יותר.
  • חיבור לאינטרנט: נצטרך להוריד כמה דברים, כולל את המודלים עצמם שיכולים להיות די גדולים.
  • קצת סבלנות וקפה טוב: אנחנו הולכים להתקין כמה דברים, אבל התוצאה שווה את זה. מבטיחים.

שלב 1: התקנת WSL2 - להביא את לינוקס לחלונות

WSL (Windows Subsystem for Linux) הוא כלי קסם של מיקרוסופט שמאפשר להריץ סביבת לינוקס מלאה ישירות על Windows, בלי צורך במכונה וירטואלית מסורבלת. גרסה 2, WSL2, משתמשת בליבת לינוקס אמיתית ומאפשרת לנו גישה ישירה ל-GPU – בדיוק מה שאנחנו צריכים.

ההתקנה פשוטה להפליא:

  1. פתחו את PowerShell בתור מנהל מערכת (Administrator). לחצו על כפתור 'התחל', הקלידו PowerShell, לחצו קליק ימני ובחרו "Run as administrator".
  2. הקלידו את הפקודה הבאה ולחצו אנטר:
    wsl --install
  3. זהו! המחשב יוריד ויתקין את כל מה שצריך, כולל הפצת ברירת המחדל של לינוקס, שהיא בדרך כלל Ubuntu.
  4. לאחר סיום ההתקנה, המחשב יבקש ריסטרט. אחרי הריסטרט, חלון טרמינל של Ubuntu ייפתח ויבקש מכם להגדיר שם משתמש וסיסמה. אלו יהיו פרטי הכניסה שלכם לסביבת הלינוקס.

ברכותינו, יש לכם עכשיו לינוקס שחי בשלום ובשלווה בתוך ה-Windows שלכם.

שלב 2: דרייברים של NVIDIA ו-CUDA Toolkit

כדי שהלינוקס שלנו ב-WSL יוכל 'לדבר' עם כרטיס המסך של NVIDIA, אנחנו צריכים להתקין את הדרייברים הנכונים ב-Windows ואת ערכת הפיתוח CUDA בתוך הלינוקס.

התקנת דרייברים ב-Windows

לפני הכל, ודאו שמותקנים לכם הדרייברים העדכניים ביותר של NVIDIA שתומכים ב-WSL. הדרך הקלה ביותר היא להוריד ולהתקין אותם ישירות מהאתר הרשמי של NVIDIA למפתחים. פשוט הורידו את המתקין והפעילו אותו.

התקנת CUDA Toolkit בתוך WSL (לינוקס)

עכשיו, פתחו את טרמינל ה-Ubuntu שהתקנתם בשלב הקודם (חפשו 'Ubuntu' בתפריט התחל). העתיקו והדביקו את הפקודות הבאות, אחת אחרי השנייה. הן יוסיפו את מאגרי התוכנה של NVIDIA ויורידו את ה-CUDA Toolkit:

wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin
sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.4.1/local_installers/cuda-repo-wsl-ubuntu-12-4-local_12.4.1-1_amd64.deb
sudo dpkg -i cuda-repo-wsl-ubuntu-12-4-local_12.4.1-1_amd64.deb
sudo cp /var/cuda-repo-wsl-ubuntu-12-4-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda-toolkit-12-4

אחרי שההתקנה מסתיימת, הריצו את הפקודה nvidia-smi. אם הכל עובד, אתם אמורים לראות טבלה יפה עם פרטים על כרטיס המסך שלכם, גרסת ה-CUDA וצריכת הזיכרון. זה הסימן שהגשר בין לינוקס ל-GPU שלכם נבנה בהצלחה!

שלב 3: התקנת Ollama - האפסטור של מודלי השפה

Ollama הוא כלי מדהים שהופך את תהליך ההורדה והרצה של מודלי שפה פתוחים לפשוט כמו הקלדת פקודה אחת. במקום להסתבך עם קונפיגורציות מסובכות, Ollama עושה הכל בשבילנו.

בטרמינל ה-Ubuntu שלכם, הריצו את הפקודה הבאה:

curl -fsSL https://ollama.com/install.sh | sh

הפקודה הזו תוריד, תתקין ותגדיר את Ollama כשירות שרץ ברקע. קל, נכון?

שלב 4: הרגע הגדול - מריצים את Llama 3!

הגענו לרגע האמת. הכל מותקן ומוכן, ועכשיו נריץ את המודל הראשון שלנו. Llama 3 של מטא הוא אחד המודלים החזקים ביותר שזמינים בקוד פתוח כיום.

בטרמינל, פשוט הקלידו:

ollama run llama3

בפעם הראשונה שתריצו את הפקודה, Ollama יוריד את קבצי המודל (זה יכול לקחת כמה דקות, תלוי במהירות האינטרנט שלכם). לאחר שההורדה תסתיים, תראו שורת פקודה חדשה שמחכה לקלט שלכם. זהו, אתם מדברים עם מודל שפה מתקדם שרץ 100% על המחשב האישי שלכם!

נסו לשאול אותו משהו בעברית: "מהי בירת אוסטרליה?" או "כתוב לי שיר קצר על חומוס".

מה הלאה? טיפים קטנים לאלופים גדולים

  • מודלים נוספים: רוצים לנסות מודלים אחרים? פשוט החליפו את השם. נסו ollama run mistral למודל קליל ומהיר, או ollama run codellama למודל שמתמחה בכתיבת קוד.
  • ממשק גרפי: לא בא לכם לעבוד רק בטרמינל? ישנם כלים כמו Open WebUI שמתחברים ל-Ollama ומספקים לכם ממשק צ'אט יפהפה בסגנון ChatGPT, ישירות בדפדפן.
  • שימוש בקוד: Ollama חושף API מקומי. זה אומר שאתם יכולים לכתוב סקריפטים בפייתון או בכל שפה אחרת ששולחים בקשות למודל שלכם ומשלבים אותו בפרויקטים שלכם.

סיכום

הצלחתם! בכמה צעדים פשוטים, הפכתם את מחשב ה-Windows שלכם למעבדת AI אישית, פרטית וחזקה. זוהי התגלמות הפילוסופיה של 'אלוף המחשבים': לקחת חומרה מצוינת ולמצות ממנה את המקסימום, כדי לקבל ערך וביצועים ללא תחרות. עכשיו צאו לחקור, לפתח וליצור את הדבר הגדול הבא – הכוח נמצא לגמרי בידיים שלכם.

חזרה למעלה
תודה! נוספתם לרשימת ההמתנה
משהו השתבש, אנא נסו שוב מאוחר יותר
נא למלא פרטים בשדות המתאימים
השאירו פרטים ונעדכן אתכם כשהמוצר יחזור למלאי