部份操作可以直接看这个文章和视频

https://www.xchaoge.com/23.html

对于已经安装好OLLAMA的情况,只需要一条命令

ollama run hf.co/TrevorJS/gemma-4-E4B-it-uncensored-GGUF:Q4_K_M

或者使用下面的配置文件可以自定义名字.

创建配置文件 (Modelfile)

FROM hf.co/TrevorJS/gemma-4-E4B-it-uncensored-GGUF:Q4_K_M

# --- 硬件与推理优化 ---
PARAMETER num_gpu 99
PARAMETER num_ctx 16384
PARAMETER temperature 0.2
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.2
PARAMETER stop "<|turn|>"
PARAMETER stop "<turn|>"

# --- Gemma 4 专用格式 ---
# 建议保留 TEMPLATE，确保对话逻辑不乱
TEMPLATE """<|turn|>system
{{ .System }}<turn|>
<|turn|>user
{{ .Prompt }}<turn|>
<|turn|>model
{{ .Response }}<turn|>"""

ollama create gemma-q4 -f Modelfile

如果用q8版本就用下面的创建(q8智商高点) 4060TI 16G推荐这个

创建配置文件 (Modelfile)

FROM hf.co/TrevorJS/gemma-4-E4B-it-uncensored-GGUF:Q8_0

# --- 硬件与推理优化 ---
PARAMETER num_gpu 99
# 16G 显存运行 Q8 版 E4B，16384 的上下文非常稳
PARAMETER num_ctx 16384
PARAMETER temperature 0.2
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.2
PARAMETER stop "<|turn|>"
PARAMETER stop "<turn|>"

# --- Gemma 4 专用格式 ---
TEMPLATE """<|turn|>system
{{ .System }}<turn|>
<|turn|>user
{{ .Prompt }}<turn|>
<|turn|>model
{{ .Response }}<turn|>"""

ollama create gemma-q8 -f Modelfile