ಕಾರ್ಯಗತಗೊಳಿಸುವ ಆಸಕ್ತಿ ಮೋಡವನ್ನು ಅವಲಂಬಿಸದೆ, ಆವರಣದಲ್ಲಿಯೇ AI ಮಾದರಿಗಳುಡೀಪ್ಸೀಕ್ನ ಹೊರಹೊಮ್ಮುವಿಕೆಯ ನಂತರ, , ಸ್ಫೋಟಗೊಂಡಿದೆ. ನೀವು ಗೌಪ್ಯತೆ, ವೇಗ ಅಥವಾ ಆಫ್ಲೈನ್ ಲಭ್ಯತೆಯ ಬಗ್ಗೆ ಕಾಳಜಿ ವಹಿಸುತ್ತಿದ್ದರೆ, ನಿಮ್ಮ ಸ್ಥಳೀಯ AI ಅನ್ನು ಮ್ಯಾಕ್ ಮಿನಿ ಆಗಿ ನಿರ್ಮಿಸುವುದು ಉತ್ತಮ ಉಪಾಯ: ನಿಮ್ಮ ಡೇಟಾ ಮನೆಯಲ್ಲಿಯೇ ಇರುತ್ತದೆ., ಯಾವುದೇ ಮಾಸಿಕ ಶುಲ್ಕಗಳಿಲ್ಲ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಯೊಂದಿಗೆ ಆಪಲ್ ಸಿಲಿಕಾನ್ ಸಾಂದ್ರ ತಂಡಕ್ಕೆ ಇದು ಆಶ್ಚರ್ಯಕರವಾಗಿದೆ.
ಗೌಪ್ಯತೆಯ ಜೊತೆಗೆ, ಮತ್ತೊಂದು ಪ್ರಾಯೋಗಿಕ ಪ್ರಯೋಜನವಿದೆ: ನೀವು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅಳೆಯಬಹುದು ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ ಟೋಕನ್ಗಳು ಮತ್ತು ನಿಮ್ಮ ಮ್ಯಾಕ್ನ ಕಂಪ್ಯೂಟಿಂಗ್ ಸಾಮರ್ಥ್ಯವನ್ನು ನೇರವಾಗಿ ಪರಿಶೀಲಿಸಿ. ಮತ್ತು ಉತ್ತಮ ವಿಷಯವೆಂದರೆ ಡೀಪ್ಸೀಕ್ ಅನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುವ ಪ್ರಕ್ರಿಯೆಯು ಈ ರೀತಿಯ ಪರಿಕರಗಳಿಗೆ ಧನ್ಯವಾದಗಳು ಬಹಳ ಸುಲಭವಾಗಿ ಲಭ್ಯವಿದೆ. LM ಸ್ಟುಡಿಯೋ (ಕೆಲವೊಮ್ಮೆ LLM ಸ್ಟುಡಿಯೋ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ) ಮತ್ತು ಒಲ್ಲಮ, ಇದು ಕೆಲವೇ ಕ್ಲಿಕ್ಗಳು ಅಥವಾ ಆಜ್ಞೆಗಳೊಂದಿಗೆ ಮಾದರಿಯನ್ನು ಡೌನ್ಲೋಡ್ ಮಾಡಲು, ಕಾನ್ಫಿಗರ್ ಮಾಡಲು ಮತ್ತು ಸಂವಾದಿಸಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ.
ಡೀಪ್ಸೀಕ್ ಎಂದರೇನು ಮತ್ತು ಅದನ್ನು ಸ್ಥಳೀಯವಾಗಿ ಸ್ಥಾಪಿಸುವುದು ಏಕೆ ಯೋಗ್ಯವಾಗಿದೆ?
ಡೀಪ್ಸೀಕ್ ತನ್ನ ಗುಣಮಟ್ಟ/ಬೆಲೆ ಅನುಪಾತ ಮತ್ತು ಅದರ ಮುಕ್ತ ವಿಧಾನಆಟದಲ್ಲಿ ಎರಡು ಪ್ರಮುಖ ಫ್ಲೇವರ್ಗಳಿವೆ: ವೆಬ್ ಬಳಕೆಗಾಗಿ V3 ಸರಣಿ, ಮತ್ತು ತಾರ್ಕಿಕತೆಯ ಮೇಲೆ ವಿಶೇಷ ಗಮನವನ್ನು ಹೊಂದಿರುವ R1 ಶಾಖೆ, ಇದು ಆವೃತ್ತಿಗಳಲ್ಲಿ ನಿಮ್ಮ ಕಂಪ್ಯೂಟರ್ನಲ್ಲಿ ಚಲಾಯಿಸಲು ಅತ್ಯಂತ ಆಸಕ್ತಿದಾಯಕವಾಗಿದೆ. ಬಟ್ಟಿ ಇಳಿಸಿದಈ ಆವೃತ್ತಿಗಳನ್ನು ಗ್ರಾಹಕ ಸಾಧನಗಳಲ್ಲಿ ಸರಾಗವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಲು ಗಾತ್ರದಲ್ಲಿ ಕಡಿಮೆ ಮಾಡಲಾಗಿದೆ, ಆದರೆ ಮೂಲ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಹೆಚ್ಚಿನ ಪ್ರಮಾಣದಲ್ಲಿ ಉಳಿಸಿಕೊಂಡಿದೆ.
ನೀವು ಆದ್ಯತೆ ನೀಡಿದರೆ ಪ್ರಸ್ತಾಪವು ಅರ್ಥಪೂರ್ಣವಾಗಿರುತ್ತದೆ. ಗೌಪ್ಯತೆ ಮತ್ತು ನಿಯಂತ್ರಣಕ್ಲೌಡ್-ಆಧಾರಿತ ಚಾಟ್ಬಾಟ್ಗಿಂತ ಭಿನ್ನವಾಗಿ, ಬಾಹ್ಯ ಸರ್ವರ್ಗಳಿಗೆ ಯಾವುದೇ ಡೇಟಾ ಅಪ್ಲೋಡ್ ಆಗುವುದಿಲ್ಲ. ಅನಿಯಮಿತ ಸಂಪರ್ಕ ಹೊಂದಿರುವ ಸನ್ನಿವೇಶಗಳಲ್ಲಿ (ರೈಲು ಪ್ರಯಾಣ, ನಿರ್ಬಂಧಿತ ಕಾರ್ಪೊರೇಟ್ ಪರಿಸರಗಳು, ನೆಟ್ವರ್ಕ್ ಇಲ್ಲದ ಪ್ರಯೋಗಾಲಯಗಳು), ತ್ವರಿತವಾಗಿ ಪ್ರತಿಕ್ರಿಯಿಸುವ ಮತ್ತು ಯಾವುದೇ ಬಳಕೆಯ ಮಿತಿಗಳಿಲ್ಲದ ಸ್ಥಳೀಯ AI ಹೊಂದಿರುವುದು ನಿಜವಾದ ಪ್ರಯೋಜನವಾಗಿದೆ.
LM ಸ್ಟುಡಿಯೋ: macOS ನಲ್ಲಿ ನಿಮ್ಮ AI ಗಾಗಿ ಡ್ಯಾಶ್ಬೋರ್ಡ್
LM ಸ್ಟುಡಿಯೋ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಹುಡುಕಲು, ಡೌನ್ಲೋಡ್ ಮಾಡಲು ಮತ್ತು ಚಲಾಯಿಸಲು ಕೇಂದ್ರೀಕೃತ ಕಾರ್ಯಾಗಾರ ಸರಳ ಇಂಟರ್ಫೇಸ್ ಹೊಂದಿರುವ ಸ್ಥಳೀಯ ಭಾಷಾ ಮಾದರಿಗಳು. ಪ್ರೋಗ್ರಾಮರ್ ಆಗದೆಯೇ, ನೀವು ಮಾದರಿಯ ಟೋನ್, ತಾಂತ್ರಿಕ ಮಟ್ಟ ಅಥವಾ ಸಂದರ್ಭದ ಉದ್ದವನ್ನು ಸರಿಹೊಂದಿಸಬಹುದು, ಅಥವಾ ಎಲ್ಲವನ್ನೂ ಡೀಫಾಲ್ಟ್ ಆಗಿ ಬಿಟ್ಟು ನಿಮಿಷಗಳಲ್ಲಿ ಅದನ್ನು ಬಳಸಲು ಪ್ರಾರಂಭಿಸಬಹುದು.
ಈ ವಿಧಾನವು ತುಂಬಾ ಪ್ರಾಯೋಗಿಕವಾಗಿದೆ: ಡಿಸ್ಕವರಿ ಟ್ಯಾಬ್ನಿಂದ ನೀವು ಮಾದರಿಗಳನ್ನು ಕಂಡುಕೊಳ್ಳುತ್ತೀರಿ, ಅವುಗಳನ್ನು ಒಂದೇ ಕ್ಲಿಕ್ನಲ್ಲಿ ಡೌನ್ಲೋಡ್ ಮಾಡಿ ಮತ್ತು ತಕ್ಷಣದ ಚಾಟ್ಗಾಗಿ ಅವುಗಳನ್ನು ಮೆಮೊರಿಗೆ ಲೋಡ್ ಮಾಡಿ. ಇದು ನಿಮಗೆ ಪ್ರಮುಖ ನಿಯತಾಂಕಗಳನ್ನು ಹೊಂದಿಸಲು ಸಹ ಅನುಮತಿಸುತ್ತದೆ, ಉದಾಹರಣೆಗೆ GPU ಮೇಲೆ ಲೋಡ್ ಮಾಡಿ (ಬಳಸಲು VRAM), CPU ಥ್ರೆಡ್ಗಳು, ಸಂದರ್ಭದ ಉದ್ದ (ಡೀಪ್ಸೀಕ್ R1 ಡಿಸ್ಟಿಲ್ನಲ್ಲಿ ಇದು 131.072 ಟೋಕನ್ಗಳಂತಹ ಅಂಕಿಗಳನ್ನು ತಲುಪುತ್ತದೆ) ಮತ್ತು ಮೆಮೊರಿ ಆಯ್ಕೆಗಳಂತೆ ಮಾದರಿಯನ್ನು ಸ್ಮರಣೆಯಲ್ಲಿ ಇರಿಸಿ o mmap() ಪ್ರಯತ್ನಿಸಿನೀವು ವಿಷಯಗಳನ್ನು ಸಂಕೀರ್ಣಗೊಳಿಸಲು ಬಯಸದಿದ್ದರೆ, ಡೀಫಾಲ್ಟ್ ಸೆಟ್ಟಿಂಗ್ಗಳನ್ನು ಬಳಸಿ ಮತ್ತು "ಲೋಡ್ ಮಾಡೆಲ್" ಒತ್ತಿರಿ.
LM ಸ್ಟುಡಿಯೋದಲ್ಲಿ DeepSeek R1 ಅನ್ನು ಹಂತ ಹಂತವಾಗಿ ಸ್ಥಾಪಿಸಿ ಮತ್ತು ಬಳಸಿ.
ಮ್ಯಾಕ್ನಲ್ಲಿ ಪ್ರಾರಂಭಿಸಲು ಸುಲಭವಾದ ಮಾರ್ಗವೆಂದರೆ LM ಸ್ಟುಡಿಯೋ ಡೌನ್ಲೋಡ್ ಮಾಡುವುದು, ಸರಿಯಾದ ಮಾದರಿಯನ್ನು ಕಂಡುಹಿಡಿಯುವುದು ಮತ್ತು ಅದನ್ನು ಲೋಡ್ ಮಾಡುವುದು. ಅಪ್ಲಿಕೇಶನ್ ಪ್ರಕ್ರಿಯೆಯ ಮೂಲಕ ನಿಮಗೆ ಮಾರ್ಗದರ್ಶನ ನೀಡುತ್ತದೆ ಮತ್ತು, ನಿಮ್ಮ ಉಪಕರಣಗಳು ನಿರ್ದಿಷ್ಟ ಮಾದರಿಗೆ ಸೂಕ್ತವಲ್ಲದಿದ್ದರೆ, "ಈ ಯಂತ್ರಕ್ಕೆ ಬಹುಶಃ ತುಂಬಾ ದೊಡ್ಡದಾಗಿದೆ" ಎಂಬಂತಹ ಎಚ್ಚರಿಕೆಗಳನ್ನು ಸಹ ಪ್ರದರ್ಶಿಸುತ್ತದೆ.
ಹಂತ 1: ಮಾದರಿಯನ್ನು ಹುಡುಕಿ. LM ಸ್ಟುಡಿಯೋ ತೆರೆಯಿರಿ ಮತ್ತು "ಡಿಸ್ಕವರ್" ಅಥವಾ "ಮಾದರಿ ಹುಡುಕಾಟ" ಗೆ ಹೋಗಿ. ಹುಡುಕಾಟ ಪಟ್ಟಿಯಲ್ಲಿ "deep" ಎಂದು ಟೈಪ್ ಮಾಡಿ ಮತ್ತು " ಅನ್ನು ಹುಡುಕಿ"ಡೀಪ್ಸೀಕ್ R1 ಡಿಸ್ಟಿಲ್ (ಕ್ವೆನ್ 7B)”. ಬಲ ಫಲಕದಲ್ಲಿ ನೀವು ಅಂದಾಜು ಗಾತ್ರ (ಉದಾ., 4,68 GB) ಮತ್ತು ಅದರ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ನೋಡುತ್ತೀರಿ. ಈ ಆವೃತ್ತಿಯು ತರ್ಕಿಸಲು ಬಹಳ ಪರಿಣಾಮಕಾರಿ ಮತ್ತು ಸೀಮಿತ ಮೆಮೊರಿ ಹೊಂದಿರುವ ಕಂಪ್ಯೂಟರ್ಗಳಲ್ಲಿ ಚೆನ್ನಾಗಿ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ.
ಹಂತ 2: ಡೌನ್ಲೋಡ್ ಮಾಡಿ. ಹಸಿರು "ಡೌನ್ಲೋಡ್" ಬಟನ್ ಅನ್ನು ಕ್ಲಿಕ್ ಮಾಡಿ (ನೀವು ಗಾತ್ರವನ್ನು ನೋಡುತ್ತೀರಿ, ಉದಾಹರಣೆಗೆ, 4,68 GB). ಪಕ್ಕದ ವಿಂಡೋ ನಿಮಗೆ ಪ್ರಗತಿ, ವೇಗ ಮತ್ತು ಅಂದಾಜು ಸಮಯವನ್ನು ತೋರಿಸುತ್ತದೆ. ಅದು ಪೂರ್ಣಗೊಂಡಾಗ, ಮಾದರಿಯು ನಿಮ್ಮ ಲಭ್ಯವಿರುವ ಡೌನ್ಲೋಡ್ಗಳ ಪಟ್ಟಿಯಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತದೆ. "DeepSeek R1 Distill Qwen 7B" ಕಾಣಿಸಿಕೊಳ್ಳುವುದನ್ನು ದೃಢಪಡಿಸುತ್ತದೆ ಮುಂದುವರಿಯುವ ಮೊದಲು.
ಹಂತ 3: ಹೊಂದಿಸಿ ಮತ್ತು ಲೋಡ್ ಮಾಡಿ. “ಲೋಡ್ ಮಾಡೆಲ್” ಅನ್ನು ಕ್ಲಿಕ್ ಮಾಡುವ ಮೊದಲು, ನೀವು ಕಾನ್ಫಿಗರ್ ಮಾಡಬಹುದು: ಸಂದರ್ಭದ ಉದ್ದ, ಬಳಸಲು VRAM, CPU ಥ್ರೆಡ್ಗಳ ಸಂಖ್ಯೆ, ಮತ್ತು ಮಾದರಿಯನ್ನು ಮೆಮೊರಿಯಲ್ಲಿ ಇಡಬೇಕೆ ಎಂದು. ಪ್ರಾರಂಭಿಸಲು, ಡೀಫಾಲ್ಟ್ ಸೆಟ್ಟಿಂಗ್ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಆದಾಗ್ಯೂ, ನಿಮ್ಮ ಮ್ಯಾಕ್ ಮಿನಿ ಸಾಕಷ್ಟು ಏಕೀಕೃತ ಮೆಮೊರಿಯನ್ನು ಹೊಂದಿದ್ದರೆ, " ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುವುದು ಒಳ್ಳೆಯದು.ಮಾದರಿಯನ್ನು ಸ್ಮರಣೆಯಲ್ಲಿ ಇರಿಸಿ"ವೇಗವಾದ ಮರುಪೂರಣಕ್ಕಾಗಿ."
ಹಂತ 4: ಚಾಟ್ ಮಾಡಿ. “ಚಾಟ್” ವೀಕ್ಷಣೆಯನ್ನು ತೆರೆಯಿರಿ, ಲೋಡ್ ಮಾಡಲಾದ ಮಾದರಿಯನ್ನು ಆರಿಸಿ ಮತ್ತು “ಹಾಯ್, ನೀವು ಯಾವ ಮಾದರಿ ಮತ್ತು ನಿಮಗೆ ಯಾರು ತರಬೇತಿ ನೀಡಿದರು?” ಎಂದು ಟೈಪ್ ಮಾಡಿ ಅವರು ತಮ್ಮ ಗುರುತು ಮತ್ತು ಸಾಮರ್ಥ್ಯಗಳೊಂದಿಗೆ ಪ್ರತ್ಯುತ್ತರಿಸಿದರೆ, ಎಲ್ಲವೂ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿದೆ ಎಂದು ನಿಮಗೆ ತಿಳಿಯುತ್ತದೆ. ನೀವು ದೊಡ್ಡ ಮಾದರಿಯನ್ನು ಪ್ರಯತ್ನಿಸಿದರೆ (ಉದಾ., ಬಹಳ ಮಹತ್ವಾಕಾಂಕ್ಷೆಯ “ಡೀಪ್ಸೀಕ್-ವಿ3-4ಬಿಟ್”) ಮತ್ತು ಅದು ಕೆಂಪು ಬಣ್ಣದಲ್ಲಿ ಗೋಚರಿಸುತ್ತದೆ, “ಈ ಯಂತ್ರಕ್ಕೆ ತುಂಬಾ ದೊಡ್ಡದಾಗಿರಬಹುದು.”, ನೀವು ಹಗುರವಾದ ರೂಪಾಂತರವನ್ನು ಆರಿಸಿಕೊಳ್ಳಬೇಕು ಅಥವಾ ಹೊಂದಾಣಿಕೆಯ ಕಂಪ್ಯೂಟರ್ಗಳಲ್ಲಿ RAM/VRAM ಅನ್ನು ಸೇರಿಸಬೇಕು.
ಒಮ್ಮೆ ಕಾರ್ಯಾರಂಭ ಮಾಡಿದ ನಂತರ, ನೀವು ಅದನ್ನು ಬಳಸಬಹುದು. ಇಂಟರ್ನೆಟ್ ಸಂಪರ್ಕವಿಲ್ಲಇದನ್ನು ಪರಿಶೀಲಿಸಲು ಒಂದು ಉಪಯುಕ್ತ ತಂತ್ರವೆಂದರೆ ಸಿಸ್ಟಮ್ ಸೆಟ್ಟಿಂಗ್ಗಳಲ್ಲಿ ವೈ-ಫೈ ಅನ್ನು ನಿಷ್ಕ್ರಿಯಗೊಳಿಸುವುದು ಮತ್ತು ನೀವು ಮಾದರಿಯೊಂದಿಗೆ ಚಾಟ್ ಮಾಡುವಾಗ GPU ಬಳಕೆಯನ್ನು ವೀಕ್ಷಿಸಲು ಚಟುವಟಿಕೆ ಮಾನಿಟರ್ ಅನ್ನು ತೆರೆಯುವುದು; ಗ್ರಾಫ್ ಚಲಿಸಿದರೆ, ಎಲ್ಲಾ ಕೆಲಸಗಳು ನಿಮ್ಮ ಮ್ಯಾಕ್ನಲ್ಲಿಯೇ ಮುಗಿದಿವೆ..
ಪರ್ಯಾಯ: ಮ್ಯಾಕೋಸ್ನಲ್ಲಿ ಒಲ್ಲಾಮಾ ಜೊತೆಗೆ ಡೀಪ್ಸೀಕ್ ಅನ್ನು ಸ್ಥಾಪಿಸಿ
ನೀವು ಟರ್ಮಿನಲ್ನ ಹಗುರತೆಯನ್ನು ಬಯಸಿದರೆ, ಒಲ್ಲಮ ಇದು ಬಹಳ ಜನಪ್ರಿಯ ಸ್ಥಳೀಯ LLM ಮಾದರಿ ಸರ್ವರ್ ಆಗಿದೆ. ನೀವು ಅದರ ಅಪ್ಲಿಕೇಶನ್ ಅನ್ನು macOS ಗಾಗಿ ಡೌನ್ಲೋಡ್ ಮಾಡಿ, ಇತರ ಯಾವುದೇ ರೀತಿಯಂತೆ ಸ್ಥಾಪಿಸಿ ಮತ್ತು ನೀವು ಸರಳ ಆಜ್ಞೆಯೊಂದಿಗೆ ಮಾದರಿಗಳನ್ನು ಆಹ್ವಾನಿಸಬಹುದು.
ಪ್ರಾರಂಭಿಸಲು, ಅದರ ಅಧಿಕೃತ ವೆಬ್ಸೈಟ್ನಿಂದ ಒಲ್ಲಾಮಾವನ್ನು ಸ್ಥಾಪಿಸಿ ಮತ್ತು ಅದನ್ನು ಚಲಾಯಿಸಿ. ಟರ್ಮಿನಲ್ನಲ್ಲಿ, ಸಣ್ಣ ಆವೃತ್ತಿಯ ವಿಶಿಷ್ಟ ಆಜ್ಞೆ ಹೀಗಿದೆ: ಒಲ್ಲಾಮಾ ರನ್ ಡೀಪ್ಸೀಕ್-ಆರ್1:7ಬಿ. ನಿಮ್ಮಲ್ಲಿ ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಇದ್ದರೆ (ಉದಾಹರಣೆಗೆ 32 GB ಅಥವಾ ಹೆಚ್ಚಿನದು) ನೀವು ಹೆಚ್ಚಿನ ರೂಪಾಂತರಗಳನ್ನು ಪ್ರಯತ್ನಿಸಬಹುದು (13B ಅಥವಾ, ನೀವು ಧೈರ್ಯವಿದ್ದರೆ, 67B), ಆದಾಗ್ಯೂ ಮ್ಯಾಕ್ ಮಿನಿಯಲ್ಲಿ ಅನುಭವವು ಸಾಮಾನ್ಯವಾಗಿ 7B ಅಥವಾ 8B ಯೊಂದಿಗೆ ಹೆಚ್ಚು ಸ್ಥಿರವಾಗಿರುತ್ತದೆ.
ಹೆಚ್ಚು ದೃಶ್ಯ ಇಂಟರ್ಫೇಸ್ ಬಯಸುವವರು ಅದನ್ನು ಒಲ್ಲಾಮದ ಮೇಲೆ ಸಂಪರ್ಕಿಸಬಹುದು. ಕೆಲವು ಆಯ್ಕೆಗಳು ಚಾಟ್ಬಾಕ್ಸ್ AI (ನೀವು ಪೂರೈಕೆದಾರರನ್ನು “Ollama API” ಗೆ ಸೂಚಿಸಿ ಮತ್ತು “DeepSeek R1 7B” ಆಯ್ಕೆಮಾಡಿ) ಅಥವಾ ವಿಸ್ತರಣೆಯನ್ನು ಆಯ್ಕೆಮಾಡಿ ಪುಟ ಸಹಾಯ - ಸ್ಥಳೀಯ AI ಮಾದರಿಗಳಿಗಾಗಿ ವೆಬ್ UI, ಇದು ಬ್ರೌಸರ್ನಲ್ಲಿ ChatGPT-ಶೈಲಿಯ ಫಲಕವನ್ನು ನೀಡುತ್ತದೆ ಆದರೆ ನಿಮ್ಮ ಸ್ಥಳೀಯ AI ಅನ್ನು ಅವಲಂಬಿಸಿದೆ.
ಎಲ್ಲವೂ ನಿಜವಾಗಿಯೂ ಸ್ಥಳೀಯವಾಗಿದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಲು, Wi-Fi ಅನ್ನು ಆಫ್ ಮಾಡಿ, ಪ್ರಶ್ನೆಯನ್ನು ರನ್ ಮಾಡಿ ಮತ್ತು GPU ಟ್ಯಾಬ್ನಲ್ಲಿ ಚಟುವಟಿಕೆ ಮಾನಿಟರ್ ಅನ್ನು ಮತ್ತೊಮ್ಮೆ ನೋಡಿ. ನೀವು ಸಿಸ್ಟಮ್ ಇಂಟಿಗ್ರೇಟೆಡ್ ಗ್ರಾಫಿಕ್ಸ್ ಅಥವಾ ಆಪಲ್ ಸಿಲಿಕಾನ್ನ ಏಕೀಕೃತ ಮೆಮೊರಿಯನ್ನು ಬಳಸುವುದನ್ನು ನೋಡುತ್ತೀರಿ. ಮೋಡಕ್ಕೆ ಯಾವುದೇ ಸಂಚಾರವಿಲ್ಲ ಎಂದು ಖಚಿತಪಡಿಸುತ್ತದೆ.
R1 ಡಿಸ್ಟಿಲೇಟ್ ಅಥವಾ V3? ಗಾತ್ರಗಳು, ಹಾರ್ಡ್ವೇರ್ ಮತ್ತು ಮಾದರಿ ಆಯ್ಕೆ
ಬಟ್ಟಿ ಇಳಿಸಿದ ಆವೃತ್ತಿಗಳಲ್ಲಿ (ಕ್ವೆನ್ 7B ಅಥವಾ ಲಾಮಾ 8B-ಆಧಾರಿತ ಆಯ್ಕೆಗಳಂತಹವು) DeepSeek R1 ಎಂಬುದು ಗೃಹೋಪಯೋಗಿ ಉಪಕರಣಗಳಿಗೆ ಸಿಹಿ ತಾಣಇದು ಹೆಜ್ಜೆಗುರುತನ್ನು ಕಡಿಮೆ ಮಾಡುವಾಗ ತಾರ್ಕಿಕತೆಯ ಸಾರವನ್ನು ಕಾಯ್ದುಕೊಳ್ಳುತ್ತದೆ: ನಾವು 4 ರಿಂದ 8 GB ನಡುವಿನ ಪ್ಯಾಕೇಜ್ಗಳ ಬಗ್ಗೆ ಮಾತನಾಡುತ್ತಿದ್ದೇವೆ, 16 GB ಏಕೀಕೃತ RAM ಹೊಂದಿರುವ Mac Mini ಗೆ ಇದು ತುಂಬಾ ನಿರ್ವಹಿಸಬಹುದಾಗಿದೆ.
ಅತ್ಯುತ್ತಮ ಶ್ರೇಣಿಯ ಪೂರ್ಣ ಆವೃತ್ತಿ, ಡೀಪ್ಸೀಕ್-ಆರ್1:671ಬಿ, ಡೇಟಾ ಸೆಂಟರ್ ವಸ್ತುವಾಗಿದೆ. ಸಂಕುಚಿತಗೊಳಿಸಿದಾಗ, ಇದು ಸುಮಾರು 120 GB ಆಗಿರಬಹುದು (ನೂರಾರು GB ಗಳಲ್ಲಿ ಮೂಲಗಳೊಂದಿಗೆ) ಮತ್ತು ಅದರ ವಾಸ್ತವಿಕ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆಗೆ ಅಗತ್ಯವಿದೆ ಬಹು ವೃತ್ತಿಪರ ದರ್ಜೆಯ GPU ಗಳು ದೊಡ್ಡ ಪ್ರಮಾಣದ VRAM ನೊಂದಿಗೆ. ಉದಾಹರಣೆಗೆ, ಎಂಟು 192GB AMD ಇನ್ಸ್ಟಿಂಕ್ಟ್ MI300X GPU ಗಳು, ಡಜನ್ಗಟ್ಟಲೆ ಅಥವಾ ನೂರಾರು CPU ಕೋರ್ಗಳು ಮತ್ತು ಟೆರಾಬೈಟ್ಗಳ RAM ಹೊಂದಿರುವ ನೋಡ್ಗಳಲ್ಲಿ ಕ್ಲೌಡ್ ಡೆಮೊಗಳಿವೆ. ಇದು ನಿಖರವಾಗಿ ಗ್ರಾಹಕ ಡೆಸ್ಕ್ಟಾಪ್ ಅಲ್ಲ.
ನೀವು LM ಸ್ಟುಡಿಯೋ ಬಳಸುತ್ತಿದ್ದರೆ, ದಯವಿಟ್ಟು ಅದರ ಹೊಂದಾಣಿಕೆ ಸೂಚನೆಗಳನ್ನು ಪರಿಶೀಲಿಸಿ. ನೀವು ಒಲ್ಲಾಮ ಬಳಸುತ್ತಿದ್ದರೆ, ದಯವಿಟ್ಟು ಆದ್ಯತೆ ನೀಡಿ 7B; ಅದು ಸರಾಗವಾಗಿ ಚಲಿಸಿದರೆ ಮತ್ತು ನಿಮ್ಮ ಬಳಕೆಗೆ ಅದು ಅಗತ್ಯವಿದ್ದರೆ, 13B ಅನ್ನು ಪ್ರಯತ್ನಿಸಿ. ಆಪಲ್ ಸಿಲಿಕಾನ್ನಲ್ಲಿ, ವಿದ್ಯುತ್ ದಕ್ಷತೆಯು ಹೊಳೆಯುತ್ತದೆ, ಮತ್ತು dGPU ಇಲ್ಲದಿದ್ದರೂ ಸಹ, ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ ಟೋಕನ್ಗಳು ತುಂಬಾ ಯೋಗ್ಯವಾಗಿವೆ. ಬರವಣಿಗೆ, ಬುದ್ದಿಮತ್ತೆ, ಬೆಳಕಿನ ಕಾರ್ಯಕ್ರಮ ಮತ್ತು ತಾಂತ್ರಿಕ ಸಮಾಲೋಚನೆಗಳಿಗಾಗಿ.
ಆಪಲ್ ಸಿಲಿಕಾನ್ನೊಂದಿಗೆ ಮ್ಯಾಕ್ ಮಿನಿ ಮತ್ತು ಇತರ ಮ್ಯಾಕ್ಗಳಲ್ಲಿ ನೈಜ-ಪ್ರಪಂಚದ ಕಾರ್ಯಕ್ಷಮತೆ
ಪರೀಕ್ಷೆಗಳು a ನಲ್ಲಿ M4 ಚಿಪ್ ಮತ್ತು 16GB ಹೊಂದಿರುವ ಮ್ಯಾಕ್ ಮಿನಿ ಸಣ್ಣ/ಮಧ್ಯಮ ಸ್ಥಳೀಯ ಮಾದರಿಗಳು ತ್ವರಿತವಾಗಿ ಪ್ರತಿಕ್ರಿಯಿಸುತ್ತವೆ ಎಂದು ತೋರಿಸಿ. ಯಾವುದೇ ಮೀಸಲಾದ ಗ್ರಾಫ್ ಇಲ್ಲದಿದ್ದರೂ, ದಿ ಏಕೀಕೃತ ಮೆಮೊರಿ ಮತ್ತು ವೇಗವರ್ಧಕಗಳು SoC ಯ ಸಾಮರ್ಥ್ಯಗಳು ಸಾಮಾನ್ಯ ಪ್ರಾಂಪ್ಟ್ಗಳಲ್ಲಿ ವೇಗದ, ಕಡಿಮೆ-ಸುಪ್ತತೆಯ ಪಠ್ಯ ಉತ್ಪಾದನೆಗೆ ಅವಕಾಶ ಮಾಡಿಕೊಡುತ್ತವೆ.
ChatGPT (GPT‑4), Claude 3.5 Sonnet, Gemini 1.5 Flash ಅಥವಾ ಆನ್ಲೈನ್ DeepSeek V3 ನಂತಹ ವೆಬ್ ಆಯ್ಕೆಗಳೊಂದಿಗೆ ಅನೌಪಚಾರಿಕ ಹೋಲಿಕೆಗಳಲ್ಲಿ, ಸ್ಥಳೀಯ ಮಾದರಿಗಳಾದ ಲಾಮಾ 3.1‑8B, ಫಿ-4-14B o ಡೀಪ್ಸೀಕ್ R1-14B ಏಕಕಾಲದಲ್ಲಿ ಓಡುವಾಗಲೂ ಸಹ, ಅವುಗಳ ಪ್ರತಿಕ್ರಿಯೆಯ ವೇಗವು ಆಶ್ಚರ್ಯಕರವಾಗಿದೆ. ಆದಾಗ್ಯೂ, ಭಾರವಾದ ಹೊರೆಗಳು ಅಥವಾ ದೀರ್ಘ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಎದುರಿಸಿದಾಗ, ಮೋಡವು ಕಚ್ಚಾ ಸ್ನಾಯುಗಳನ್ನು ಪಡೆಯುತ್ತಲೇ ಇದೆ.
"ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ ಟೋಕನ್ಗಳನ್ನು" ಸ್ಥಳೀಯವಾಗಿ ಅಳೆಯುವುದು ಹಾರ್ಡ್ವೇರ್ ಅಪ್ಗ್ರೇಡ್ಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಅಥವಾ ದೊಡ್ಡ ಮಾದರಿ ಗಾತ್ರಕ್ಕೆ ಅಪ್ಗ್ರೇಡ್ ಮಾಡಬೇಕೆ ಎಂದು ನಿರ್ಧರಿಸಲು ಉಪಯುಕ್ತವಾಗಿದೆ. LM ಸ್ಟುಡಿಯೋ ಮತ್ತು ಒಲ್ಲಾಮಾದೊಂದಿಗೆ, ಅದೇ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಪುನರಾವರ್ತಿಸುವುದು ಸುಲಭ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ರೆಕಾರ್ಡ್ ಮಾಡಿ ಸಂರಚನೆಗಳನ್ನು ಹೋಲಿಸಲು (ಹೆಚ್ಚಿನ CPU ಥ್ರೆಡ್ಗಳು, VRAM ವ್ಯತ್ಯಾಸಗಳು, ಸಂದರ್ಭದ ಉದ್ದ, ಇತ್ಯಾದಿ).
ಅವರು ಸರಿಯಾಗಿ ಮಾಡುವುದೇ (ಮತ್ತು ಸರಿಯಾಗಿ ಮಾಡದೇ ಇರುವುದು): ತಾರ್ಕಿಕತೆ, ಸಂಗತಿಗಳು ಮತ್ತು ಪೂರ್ವಾಗ್ರಹಗಳು
ಅಕ್ಷರಗಳನ್ನು ಎಣಿಸುವಂತಹ "ತಾರ್ಕಿಕ" ಪರೀಕ್ಷೆಗಳು ಕುತೂಹಲಕಾರಿ ಫಲಿತಾಂಶಗಳನ್ನು ನೀಡುತ್ತವೆ. ಪದದೊಂದಿಗೆ "ಸ್ಟ್ರಾಬೆರಿ", ಕೆಲವು ಸ್ಥಳೀಯ ಮಾದರಿಗಳು ವಿಫಲಗೊಳ್ಳುತ್ತವೆ ಅಥವಾ ವೇಗವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ, ಆದರೆ ಡೀಪ್ಸೀಕ್ R1 ಬಟ್ಟಿ ಇಳಿಸುವಿಕೆಯು ಯೋಚಿಸಲು ಹೆಚ್ಚಿನ ಸಮಯವನ್ನು ಹೂಡಿ ಆದರೆ ಅದನ್ನು ಸರಿಯಾಗಿ ಅರ್ಥಮಾಡಿಕೊಳ್ಳಿ, "r" ಅನ್ನು ಹೇಗೆ ಸೇರಿಸುವುದು ಎಂಬುದನ್ನು ಹಂತ ಹಂತವಾಗಿ ವಿವರಿಸಿ.
"ಸೇಂಟ್ ರೋಕ್ ನಾಯಿಗೆ ಬಾಲವಿಲ್ಲ ಏಕೆಂದರೆ ರಾಮೋನ್ ರಾಮಿರೆಜ್ ಅದನ್ನು ಕದ್ದಿದ್ದಾರೆ" ಎಂಬ ಸ್ಪ್ಯಾನಿಷ್ ನುಡಿಗಟ್ಟು ಪರಿಸ್ಥಿತಿ ಹೆಚ್ಚು ಜಟಿಲವಾಗುತ್ತದೆ: ಹಲವಾರು ವೆಬ್ ಚಾಟ್ಬಾಟ್ಗಳು ಆರಂಭದಲ್ಲಿ ತಪ್ಪುಗಳನ್ನು ಮಾಡುತ್ತವೆ ಮತ್ತು ಮತ್ತೆ ಕೇಳಿದ ನಂತರ ತಮ್ಮನ್ನು ತಾವು ಸರಿಪಡಿಸಿಕೊಳ್ಳುತ್ತವೆ. ಸ್ಥಳೀಯವಾಗಿ, R1 ಮತ್ತು ಇತರ ಮಾದರಿಗಳು ಅವರು ಭಾಷೆಯಿಂದ ಗೊಂದಲಕ್ಕೊಳಗಾಗಬಹುದು. ಅಥವಾ ಹುಡುಕಾಟದ ಉದ್ದೇಶದಿಂದ (“r” ಅನ್ನು “e” ನೊಂದಿಗೆ ಗೊಂದಲಗೊಳಿಸುವುದು), ಇದು ಅವರಿಗೆ ಮಾರ್ಗದರ್ಶನ ನೀಡುವುದು ಸೂಕ್ತವೆಂದು ಸ್ಪಷ್ಟಪಡಿಸುತ್ತದೆ ಮತ್ತು ಅಗತ್ಯವಿದ್ದರೆ, ಹೆಚ್ಚು ನಿಖರವಾದ ಸೂಚನೆಗಳೊಂದಿಗೆ ಮತ್ತೆ ಪ್ರಯತ್ನಿಸಿ.
ಬಿಲಿಯರ್ಡ್ ಚೆಂಡುಗಳ 7-9-11-13 ರಂತಹ ಪಾರ್ಶ್ವ ಚಿಂತನೆಯ ಒಗಟುಗಳಲ್ಲಿ, ನೀವು 9 ಅನ್ನು ತಿರುಗಿಸಿ ಅದನ್ನು 6 ಆಗಿ ಮಾಡಿದರೆ 30 ಕ್ಕೆ ಸೇರಿಸಿದಾಗ, ಸ್ಪಷ್ಟ ಉತ್ತರವು ಸಾಮಾನ್ಯವಾಗಿ "ನಿಮಗೆ ಸಾಧ್ಯವಿಲ್ಲ" ಎಂದಾಗಿರುತ್ತದೆ. ನೀವು "ಒಂದು ತಂತ್ರವಿದೆ" ಎಂದು ಒತ್ತಾಯಿಸಿದರೂ ಸಹ, ಅನೇಕ ಸ್ಥಳೀಯರು ಸೃಜನಶೀಲ ಮಾರ್ಗವನ್ನು ಕಂಡುಕೊಳ್ಳುವುದಿಲ್ಲ., ಕೆಲವು ವೆಬ್ ಸೇವೆಗಳು, ಹಾದಿಯಲ್ಲಿ, ಅದನ್ನು ಪರಿಹರಿಸುತ್ತವೆ.
ವಾಸ್ತವಿಕ ಪ್ರಶ್ನೆಗಳಲ್ಲಿ (ಉದಾ. ವಿಶ್ವಕಪ್ ವಿಜೇತರು ಮತ್ತು ರನ್ನರ್-ಅಪ್ಗಳ ಪಟ್ಟಿ), ಕ್ಲೌಡ್ ಸೇವೆಗಳು ಅದನ್ನು ಇತ್ತೀಚಿನ ಬ್ರಾಕೆಟ್ನಲ್ಲಿ ಇರಿಸಿದವು, ಆದರೆ ಆವರಣದಲ್ಲಿ ಭ್ರಮೆಗಳು ಮತ್ತು ತಪ್ಪು ಡೇಟಾ (ಆವಿಷ್ಕರಿಸಿದ ಅಂತಿಮ ಸ್ಪರ್ಧಿಗಳು, ತಪ್ಪಾಗಿ ನಿಯೋಜಿಸಲಾದ ಶೀರ್ಷಿಕೆಗಳು, ಇತ್ಯಾದಿ). ಇಲ್ಲಿ ಶಿಫಾರಸು ಎಂದರೆ ವ್ಯತಿರಿಕ್ತವಾಗಿ ಹೇಳುವುದು ಮತ್ತು ನಿಮಗೆ ಐತಿಹಾಸಿಕ ನಿಖರತೆಯ ಅಗತ್ಯವಿದ್ದರೆ, ಪರಿಶೀಲಿಸಿದ ಮೂಲಗಳನ್ನು ಅವಲಂಬಿಸಿ ಅಥವಾ ದೊಡ್ಡ/ನವೀಕರಿಸಿದ ಮಾದರಿಯನ್ನು ಬಳಸಿ.
ಸೂಕ್ಷ್ಮ ವಿಷಯಗಳನ್ನು (ಟಿಯಾನನ್ಮೆನ್, ತೈವಾನ್, ನಾಯಕರ ಟೀಕೆ) ತಿಳಿಸುವಾಗ, ಸೂಕ್ಷ್ಮ ವ್ಯತ್ಯಾಸಗಳನ್ನು ಪ್ರಶಂಸಿಸಲಾಗುತ್ತದೆ: ಕೆಲವು ವೆಬ್ ಮಾದರಿಗಳು ವಿಷಯವನ್ನು ನಿರ್ಬಂಧಿಸುತ್ತವೆ ಮತ್ತು DeepSeek R1 ಸ್ಥಳೀಯವಾಗಿ ಫಿಲ್ಟರ್ಗಳು ಅಥವಾ ಶಾರ್ಟ್ಕಟ್ಗಳೊಂದಿಗೆ ಪ್ರತ್ಯುತ್ತರಿಸಿ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಅವಲಂಬಿಸಿ, ಕೆಲವೊಮ್ಮೆ ಅವರ "ಚಿಂತನೆ" ಸಮಯದಲ್ಲಿ ಇತರ ಭಾಷೆಗಳಲ್ಲಿ ಸಂದೇಶಗಳೊಂದಿಗೆ. ವಿಷಯಗಳ ಸಕಾರಾತ್ಮಕ ಅಂಶವೆಂದರೆ, ಸಾಮಾನ್ಯವಾಗಿ, ಸ್ಥಳೀಯರು ಸಂಯಮ ಮತ್ತು ಗೌರವಾನ್ವಿತರು, ಮತ್ತು ಅವರು ಅಪಾಯಕಾರಿ ಸೂಚನೆಗಳನ್ನು (ಬಾಂಬ್ ತಯಾರಿಸುವಂತಹವು) ತಪ್ಪಿಸುತ್ತಾರೆ, ಸಮಂಜಸವಾದ ಎಚ್ಚರಿಕೆಗಳೊಂದಿಗೆ ನಿರಾಕರಿಸುತ್ತಾರೆ.
ಗೌಪ್ಯತೆ ಮತ್ತು ಸ್ಥಳೀಯ ಅನುಭವ: ನೀವು ತಿಳಿದುಕೊಳ್ಳಬೇಕಾದದ್ದು
ನಿಮ್ಮ ಮ್ಯಾಕ್ನಲ್ಲಿ ಡೀಪ್ಸೀಕ್ ಅನ್ನು ಅಳವಡಿಸಲು ದೊಡ್ಡ ವಾದವೆಂದರೆ ನಿಮ್ಮ ಚಾಟ್ಗಳನ್ನು ಓದುವ ಯಾವುದೇ ಮೂರನೇ ವ್ಯಕ್ತಿಗಳಿಲ್ಲ.ನೀವು ಕೋಟಾಗಳು ಅಥವಾ ಬಳಕೆಯ ಮಿತಿಗಳನ್ನು ಅವಲಂಬಿಸಿಲ್ಲ, ಮತ್ತು ನೀವು ಕವರೇಜ್ ಇಲ್ಲದೆ ಕೆಲಸ ಮಾಡುವುದನ್ನು ಮುಂದುವರಿಸಬಹುದು. ಆದಾಗ್ಯೂ, ನೀವು ಮಾಡೆಲಿಂಗ್ ವೆಬ್ಸೈಟ್ಗಳು ಅಥವಾ ಫೋರಮ್ಗಳನ್ನು ಬ್ರೌಸ್ ಮಾಡಿದರೆ, ನಿಮ್ಮ ಒಪ್ಪಿಗೆಯನ್ನು ಕೇಳುವ ಕುಕೀ ಸೂಚನೆಗಳನ್ನು (ರೆಡ್ಡಿಟ್ನಲ್ಲಿರುವಂತೆ) ನೀವು ನೋಡುತ್ತೀರಿ; ಇದು ಅವರ ಪ್ಲಾಟ್ಫಾರ್ಮ್ನ ಮೇಲೆ ಮಾತ್ರ ಪರಿಣಾಮ ಬೀರುತ್ತದೆ. ನಿಮ್ಮ ಸ್ಥಳೀಯ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆಗೆ ಬೇಡ..
ಆವರಣದಲ್ಲಿ, ಎಲ್ಲವೂ ನಿಮ್ಮ ನಿಯಂತ್ರಣದಲ್ಲಿದೆ: ನೀವು ಸಂಭಾಷಣೆಗಳನ್ನು ಉಳಿಸಬಹುದು, ನಿಯತಾಂಕಗಳನ್ನು ಹೊಂದಿಸಬಹುದು ಮತ್ತು ಮಾದರಿಗಳನ್ನು ಯಾವಾಗ ನವೀಕರಿಸಬೇಕು ಅಥವಾ ಬದಲಾಯಿಸಬೇಕು ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸಬಹುದು. ಜೊತೆಗೆ, ಪರಿಕರಗಳು ಯಾವುದಾದರೂ LLM o ಎನಿವೇರ್ ಎಲ್ಎಲ್ಎಂ ಅವು ಸ್ಥಳೀಯ ಸರ್ವರ್ಗಳೊಂದಿಗೆ ಪರ್ಯಾಯ ಹರಿವುಗಳನ್ನು ಮತ್ತು ಸೂಕ್ತವಾದಲ್ಲಿ ವೆಬ್ ಇಂಟರ್ಫೇಸ್ಗಳನ್ನು ನೀಡುತ್ತವೆ. ಆನ್ಲೈನ್ ಚಾಟ್ಬಾಟ್ಗಳಂತೆಯೇ ಆದರೆ ನಿಮ್ಮ ಡೇಟಾವನ್ನು ಹೊರತೆಗೆಯದೆ.
ಸೆಟಪ್ ಸಲಹೆಗಳು: ನಿಮ್ಮ ಮ್ಯಾಕ್ನಿಂದ ಹೆಚ್ಚಿನದನ್ನು ಪಡೆಯಿರಿ
ನೀವು ನಿಧಾನಗತಿಯನ್ನು ಅನುಭವಿಸಿದರೆ, ಮಾದರಿ ಗಾತ್ರವನ್ನು ಕಡಿಮೆ ಮಾಡಿ ಅಥವಾ ರೂಪಾಂತರಗಳನ್ನು ಬಳಸಿ. 4-ಬಿಟ್ ಕ್ವಾಂಟೈಸ್ ಮಾಡಲಾಗಿದೆ ಲಭ್ಯವಿದ್ದಾಗ. LM ಸ್ಟುಡಿಯೋದಲ್ಲಿ, ನೀವು "ಈ ಯಂತ್ರಕ್ಕೆ ತುಂಬಾ ದೊಡ್ಡದಾಗಿರಬಹುದು" ಎಂದು ಕಂಡುಕೊಂಡರೆ, ಅದನ್ನು ಒತ್ತಾಯಿಸಬೇಡಿ: ಚೆನ್ನಾಗಿ ಟ್ಯೂನ್ ಮಾಡಲಾದ 7B/8B ನೊಂದಿಗೆ ಸ್ಥಿರವಾದ ಸೆಷನ್ ಮಿತಿಯಲ್ಲಿ 13B ಗಿಂತ ಹೆಚ್ಚಿನ ಇಳುವರಿ ನೀಡುತ್ತದೆ.
ಸಕ್ರಿಯಗೊಳಿಸಿ "ಮಾದರಿಯನ್ನು ಸ್ಮರಣೆಯಲ್ಲಿ ಇರಿಸಿ” ಚಾಟ್ಗಳು ಮತ್ತು ಬ್ರ್ಯಾಂಡ್ಗಳ ನಡುವೆ ತ್ವರಿತವಾಗಿ ಬದಲಾಯಿಸಲು “mmap() ಪ್ರಯತ್ನಿಸಿ"ಪ್ಲಾಟ್ಫಾರ್ಮ್ ಅದನ್ನು ಬೆಂಬಲಿಸಿದರೆ; ಆಪಲ್ ಸಿಲಿಕಾನ್ನಲ್ಲಿ ಇದು ಮೆಮೊರಿ ನಿರ್ವಹಣೆಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಇತರ ಕಾರ್ಯಗಳನ್ನು ಸ್ಯಾಚುರೇಟ್ ಮಾಡದಂತೆ CPU ಥ್ರೆಡ್ಗಳ ಸಂಖ್ಯೆಯನ್ನು ನಿಮ್ಮ ಕೋರ್ಗಳ ಅರ್ಧ ಅಥವಾ ಮುಕ್ಕಾಲು ಭಾಗಕ್ಕೆ ಹೊಂದಿಸಿ ಮತ್ತು ನಿಯೋಜಿಸಿ ವಿಆರ್ಎಎಂ ನೀವು ಭಾರೀ ಅಪ್ಲಿಕೇಶನ್ಗಳೊಂದಿಗೆ ಸಮಾನಾಂತರವಾಗಿ ಕೆಲಸ ಮಾಡಿದರೆ (ವೀಡಿಯೊ ಸಂಪಾದನೆ, IDE ಗಳು, ಇತ್ಯಾದಿ) ಸಂಪ್ರದಾಯವಾದಿಯಾಗಿ.
ಸನ್ನಿವೇಶದ ಉದ್ದವು ಆಕರ್ಷಕವಾಗಿದೆ (ಉದಾ., 131.072 ಟೋಕನ್ಗಳು), ಆದರೆ ನಿಮಗೆ ಯಾವಾಗಲೂ ಅಷ್ಟೊಂದು ಅಗತ್ಯವಿಲ್ಲ. ಅದನ್ನು ಕಡಿಮೆ ಮಾಡುವುದರಿಂದ ಸುಪ್ತತೆ ಮತ್ತು ವಿದ್ಯುತ್ ಬಳಕೆ ಸುಧಾರಿಸುತ್ತದೆ. ಇದಕ್ಕಾಗಿ ದೊಡ್ಡ ಸಂದರ್ಭಗಳನ್ನು ಕಾಯ್ದಿರಿಸಿ ದೀರ್ಘ ದಾಖಲೆಗಳು ಅಥವಾ ಕೋಡ್ ವಿಶ್ಲೇಷಣೆ, ಮತ್ತು ಪ್ರತಿದಿನ ಸಾರಾಂಶ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಬಳಸಿ.
ನೀವು ಏಕಕಾಲದಲ್ಲಿ ಬಹು ಮಾದರಿಗಳೊಂದಿಗೆ ಪ್ರಯೋಗ ಮಾಡುತ್ತಿದ್ದರೆ, 16GB ಯಂತ್ರಗಳಲ್ಲಿ ಅವುಗಳನ್ನು ಸಮಾನಾಂತರವಾಗಿ ಚಲಾಯಿಸುವುದನ್ನು ತಪ್ಪಿಸಿ; ಪರ್ಯಾಯ ಅವಧಿಗಳು ಅಥವಾ ನೀವು ಬಳಸದೇ ಇರುವದನ್ನು ಮುಚ್ಚಿ. ಏಕೀಕೃತ ಮೆಮೊರಿಯನ್ನು ವ್ಯವಸ್ಥೆಗೆ ಹಿಂತಿರುಗಿಸಲು. ಚಟುವಟಿಕೆ ಮಾನಿಟರ್ ಅನ್ನು ಪರಿಶೀಲಿಸಿ: ನೀವು ಹೆಚ್ಚಿನ ಮೆಮೊರಿ ಒತ್ತಡವನ್ನು ನೋಡಿದರೆ, ಮಾದರಿಯನ್ನು ಇಳಿಸಲು, ಸಂಪನ್ಮೂಲಗಳನ್ನು ಮುಕ್ತಗೊಳಿಸಲು ಅಥವಾ ಅನುಸರಿಸಲು ಸಮಯ. ನಿಮ್ಮ ಮ್ಯಾಕ್ ಲಾಕ್ ಆಗಿರುವಾಗ ಮಾರ್ಗದರ್ಶಿ.
ಶಿಫಾರಸು ಮಾಡಲಾದ ಕೆಲಸದ ಹರಿವುಗಳು
ನೀವು Ollama ಮೇಲೆ ChatGPT-ಶೈಲಿಯ ಇಂಟರ್ಫೇಸ್ ಅನ್ನು ಬಯಸಿದರೆ, Chatbox AI ಅಥವಾ Page Assist ಅನ್ನು ಬಳಸಿ. “Ollama API” ಅನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡಿ, “DeepSeek R1 7B” ಅನ್ನು ಆಯ್ಕೆಮಾಡಿ, ಅಷ್ಟೆ: ನಿಮಗೆ ಒಂದು ಕ್ಲೀನ್ ವಿಂಡೋ ಇರುತ್ತದೆ ಅಲ್ಲಿ ಪರೀಕ್ಷಾ ಪ್ರಾಂಪ್ಟ್ಗಳು, ಸೆಷನ್ಗಳನ್ನು ಉಳಿಸಿ ಮತ್ತು ಮಾದರಿಗಳನ್ನು ಬದಲಾಯಿಸಿ ಆಜ್ಞೆಗಳನ್ನು ಟೈಪ್ ಮಾಡದೆಯೇ.
ತ್ವರಿತ ಪ್ರಶ್ನೆಗಳು
- ನಾನು ಇಂಟರ್ನೆಟ್ ಇಲ್ಲದೆಯೇ DeepSeek ಬಳಸಬಹುದೇ? ಹೌದು. ಮಾದರಿಯನ್ನು ಡೌನ್ಲೋಡ್ ಮಾಡಿ ಮತ್ತು ಒಮ್ಮೆ ಲೋಡ್ ಮಾಡಿದ ನಂತರ, ನೀವು ವೈ-ಫೈ ಅನ್ನು ಆಫ್ ಮಾಡಬಹುದು. ಲೆಕ್ಕಾಚಾರವು ನಿಮ್ಮ ಮ್ಯಾಕ್ನಲ್ಲಿ ಮಾಡಲಾಗುತ್ತದೆ ಮತ್ತು ಡೇಟಾವನ್ನು ಔಟ್ಪುಟ್ ಮಾಡಲಾಗುವುದಿಲ್ಲ.
- ನನಗೆ ಯಾವ ಮ್ಯಾಕ್ ಬೇಕು? ಆಪಲ್ ಸಿಲಿಕಾನ್ (M-ಸರಣಿ) ಮತ್ತು 16GB ಏಕೀಕೃತ ಮೆಮೊರಿಯೊಂದಿಗೆ, 7GB/8GB ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ನೀವು 8GB ಅನ್ನು ಪ್ರಯತ್ನಿಸಬಹುದು, ಆದರೆ ನಿಮಗೆ ಕಡಿಮೆ ಹೆಡ್ರೂಮ್ ಇರುತ್ತದೆ.
- ಇದು ಮೋಡದಷ್ಟು ನಿಖರವಾಗಿದೆಯೇ? ಇದು ಪ್ರಕರಣವನ್ನು ಅವಲಂಬಿಸಿರುತ್ತದೆ. ಇದು ತಾರ್ಕಿಕತೆ ಮತ್ತು ಸೃಜನಶೀಲತೆಗೆ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ; ನಿರ್ಣಾಯಕ ವಾಸ್ತವಿಕ ದತ್ತಾಂಶಕ್ಕಾಗಿ, ಮೂಲಗಳನ್ನು ಪರಿಶೀಲಿಸಿ ಅಥವಾ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ಬಳಸಿ.
- ನಾನು ಮಾದರಿಗಳನ್ನು ಸುಲಭವಾಗಿ ಬದಲಾಯಿಸಬಹುದೇ? ಹೌದು. ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಶೈಲಿಯನ್ನು ಹೋಲಿಸಲು LM ಸ್ಟುಡಿಯೋ ಮತ್ತು ಒಲ್ಲಾಮಾ ನಿಮಗೆ ಮಾದರಿಗಳನ್ನು (ಲಾಮಾ, ಫಿ, ಕ್ವೆನ್, ಇತ್ಯಾದಿ) ಡೌನ್ಲೋಡ್ ಮಾಡಲು ಮತ್ತು ಬದಲಾಯಿಸಲು ಅನುಮತಿಸುತ್ತದೆ.
ನಿಮ್ಮ ಮ್ಯಾಕ್ ಮಿನಿಯಲ್ಲಿ ಡೀಪ್ಸೀಕ್ ಅನ್ನು ಅಳವಡಿಸುವುದು AI ಅನ್ನು ನಿಮ್ಮ ಡೆಸ್ಕ್ಟಾಪ್ಗೆ ತರಲು ಒಂದು ಸೂಕ್ತ ಮಾರ್ಗವಾಗಿದೆ ವೇಗ, ಗೌಪ್ಯತೆ ಮತ್ತು ಸಂಪೂರ್ಣ ನಿಯಂತ್ರಣLM ಸ್ಟುಡಿಯೋದಲ್ಲಿ ನಿಮಗೆ ಮಾರ್ಗದರ್ಶಿ ಅನುಭವವಿದೆ, ಮತ್ತು Ollamaದಲ್ಲಿ ನೀವು ಪ್ರತಿ ಟರ್ಮಿನಲ್ಗೆ ಹಗುರವಾದ ಹರಿವನ್ನು ಹೊಂದಿದ್ದೀರಿ; ಎರಡೂ ನಿಮಗೆ ಬಹಳ ಸಮರ್ಥವಾದ ಬಟ್ಟಿ ಇಳಿಸಿದ ಆವೃತ್ತಿಗಳಿಗೆ ಪ್ರವೇಶವನ್ನು ನೀಡುತ್ತದೆ, ಅನೇಕ ಕಾರ್ಯಗಳಲ್ಲಿ ಮನವೊಪ್ಪಿಸುವ ತಾರ್ಕಿಕತೆಯನ್ನು ನೀಡುತ್ತದೆ ಮತ್ತು ಬರೆಯಲು, ಪ್ರೋಗ್ರಾಂ ಮಾಡಲು ಮತ್ತು ಪ್ರಯೋಗಿಸಲು ಸಾಕಷ್ಟು ಶಕ್ತಿಯನ್ನು ನೀಡುತ್ತದೆ, ಅದನ್ನು ತಿಳಿದುಕೊಳ್ಳುವುದು ಎಲ್ಲಾ ಪ್ರಕ್ರಿಯೆಗಳು ನಿಮ್ಮ ಕಂಪ್ಯೂಟರ್ನಲ್ಲಿ ನಡೆಯುತ್ತವೆ..
