Update app.py

app.py

@@ -1,34 +1,43 @@
 import gradio as gr
-from huggingface_hub import hf_hub_download
-from llama_cpp import Llama
+from transformers import pipeline
+
+print("正在初始化纯 Python 推理引擎（免编译方案）...")
 
-print("正在从云端下载微调模型，请稍候...")
-# 自动从 Hugging Face 仓库下载微调好的模型（此处以 Arduino 0.5B 模型为例）
 try:
-    # 注意：如果运行时报错，请确认原作者或您克隆的仓库中 GGUF 的确切文件名
-# ✏️ 把那两行替换成下面这样：
-    model_path = hf_hub_download(
-        repo_id="eoinedge/edgeai-docs-qwen2.5-coder-0.5b-lora", 
-        filename="edgeai-docs-qwen2.5-coder-0.5b-lora.Q4_K_M.gguf" 
+    # 使用 Hugging Face 官方的 pipeline 直接加载 EdgeAI 模型的 GGUF 文件
+    pipe = pipeline(
+        "text-generation", 
+        model="eoinedge/edgeai-docs-qwen2.5-coder-0.5b-lora", 
+        model_kwargs={"gguf_file": "edgeai-docs-qwen2.5-coder-0.5b-lora.Q4_K_M.gguf"}
     )
-    llm = Llama(model_path=model_path, n_ctx=2048)
-    print("模型加载成功！")
+    print("EdgeAI 模型加载成功！")
 except Exception as e:
-    llm = None
-    print(f"模型加载失败，错误信息: {e}")
+    pipe = None
+    print(f"模型加载失败: {e}")
 
 def predict(message, history):
-    if llm is None:
-        return "抱歉，服务器模型加载失败，请检查 Hugging Face 上的模型路径与文件名是否正确。"
+    if pipe is None:
+        return "服务器模型加载失败，请检查模型路径。"
+    
+    # 🧠 自动构建带有聊天记忆的上下文 Prompt
+    prompt = ""
+    for user_msg, ai_msg in history:
+        prompt += f"<|im_start|>user\n{user_msg}<|im_end|>\n<|im_start|>assistant\n{ai_msg}<|im_end|>\n"
+    
+    # 加上当前的最新提问
+    prompt += f"<|im_start|>user\n{message}<|im_end|>\n<|im_start|>assistant\n"
+    
+    # 开始推理
+    outputs = pipe(prompt, max_new_tokens=512, do_sample=True, temperature=0.7)
     
-    # 按照 Qwen 模型的标准 Chat 格式拼接 Prompt
-    prompt = f"<|im_start|>user\n{message}<|im_end|>\n<|im_start|>assistant\n"
-    response = llm(prompt, max_tokens=512, stop=["<|im_end|>"])
-    return response["choices"][0]["text"]
+    # 提取新生成的文本
+    generated_text = outputs[0]["generated_text"]
+    response = generated_text[len(prompt):].replace("<|im_end|>", "").strip()
+    return response
 
-# 构筑精美的 Gradio 聊天交互界面
+# 构筑高颜值聊天网页
 gr.ChatInterface(
     fn=predict, 
-    title="🤖 Arduino & EdgeAI 网页编程助手",
-    description="基于 Qwen2.5-Coder-0.5B 微调模型的在线轻量化版本。数据完全在 Hugging Face 独立沙盒内运行。"
+    title="🤖 EdgeAI 网页编程助手 (纯净免编译版)",
+    description="已完美集成 Edge Impulse 官方文档微调模型，支持上下文对话记忆，由 Hugging Face 独立沙盒托管。"
 ).launch()