Dasturchilar uchun AI va Avtomatlashtirish
Texnik talablar va
Kvantizatsiya
Modul 3 · Dars 3.3
"Menda 16GB RAM.
Qaysi model ko‘taradi?"
Bugundan keyin bu savolga birovdan so‘ramay, o‘zingiz hisoblab javob berasiz
Dars 3.3
Shu darsdan nima olasiz
- Xotira formulasini o‘rganasiz: parametr × bayt = kerakli xotira
- Kvantizatsiya (Q4, Q8, GGUF) nima ekanini va nimani yo‘qotishini bilasiz
- O‘z RAM'ingizga qaysi hajmdagi model to‘g‘ri kelishini aniqlaysiz
Arifmetika
Parametr × bayt = kerakli xotira
- 7B = 7 milliard parametr; har biri FP16 da 2 bayt joy oladi
- 7B × 2 bayt = ~14 GB — bu faqat modelning o‘zi!
- 70B → ~140 GB. Xo‘sh, odamlar buni noutbukda qanday ishlatyapti?
- Javob: kvantizatsiya — model og‘irligini siqib kichraytirish
Kvantizatsiya = siqish, xuddi JPEG kabi
Siqish hajmni qanchaga kichraytiradi?
| Daraja | Bayt/param | 7B hajmi | Sifat |
|---|
| FP16 | 2 | ~14 GB | 100% etalon |
| Q8 | ~1 | ~7–8 GB | deyarli sezilmas yo‘qotish |
| Q4 | ~0,5 | ~4–5 GB | ko‘p vazifada yetarli |
Boshlash uchun Q4_K_M oling — hajm bilan sifatning oltin o‘rtaligi. GGUF esa shu siqilgan modelning fayl formati
Uskuna
Nega bir xil model bir joyda tez, boshqa joyda sekin?
- Eng tez rejim: model to‘liq GPU xotirasiga (VRAM) sig‘sa
- VRAM yetmasa → qismi RAM/CPU'ga to‘kiladi → javob "tomchilaydi"
- Apple Silicon: birlashgan xotira — RAM va VRAM bitta hovuz, alohida video karta shart emas
- SSD shart: model har ishga tushganda diskdan o‘qiladi (HDD — daqiqalar, NVMe — soniyalar)
Mening xotiramga qaysi model to‘g‘ri keladi? (Q4)
| Xotira | Model hajmi | Daraja |
|---|
| 8 GB | 3–4B | engil vazifalar |
| 16 GB | 7–8B | kundalik minimal |
| 32 GB | 14–32B | jiddiy yordamchi |
| 64 GB+ | 32–70B | professional |
Qoida: model fayli + 2–4 GB (kontekst va tizim) < bo‘sh xotirangiz
Tekshirib ko‘ring
Uchta buyruq — hisobingiz to‘g‘rimi?
- ollama list — model fayli aslida necha GB joy olgan
- ollama show <model> — qaysi kvantizatsiya va kontekst bilan kelgan
- ollama ps — model ishlaganda xotirada qancha joy egallayapti
Javob sekin "tomchilasa" — model xotirangizga to‘liq sig‘magan. Kichikroq hajmga tushing
Shubhada qolsangiz:
kichikroq model + Q8 ko‘pincha
kattaroq model + Q3 dan yaxshi.
Esda qoling
Darsdan uchta gap
- Xotira hisobi: parametrlar soni × bayt/parametr + 2–4 GB
- Q4 — standart tanlov; Q8 — xotirangiz mo‘l bo‘lsa
- Model VRAM/RAM'ga to‘liq sig‘sa tez ishlaydi, sig‘masa sekinlashadi
Hozir qiling
O‘zingizniki hisoblang
- RAM (Mac'da — birlashgan xotira) va VRAM hajmingizni aniqlang
- Yuqoridagi jadvaldan mos eng katta model hajmini tanlang
- O‘sha modelni Q4 variantda yuklab, ishga tushiring
Shpargalka: materials/cheatsheet-ram-model.md
Keyingi dars
Uch model — jonli jangda
DeepSeek R1 vs Qwen Coder vs Llama · Dars 3.4