- Libraries
- sentence-transformers
How to use lastmass/Qwen3-Embedding-Medical-0.6B with sentence-transformers:
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("lastmass/Qwen3-Embedding-Medical-0.6B")
sentences = [
"舍曲林的医疗用途是什么?",
"大腿刺痛指大腿根部发生针刺一样的疼痛，持续时间短，无固定发作时间。这种情况常见的原因有两种，腰椎间盘突出或者是大腿局部的炎症。腰椎间盘突出；由于神经受到压迫所以出现大腿刺痛，如果不能及时诊断治疗，随着压迫越来越严重，疼痛也越来越严重，最后可能影响走路，还可能出现下肢萎缩。大腿局部炎症；例如淋巴结肿大，严重时也可影响肢体功能。多为单侧发病。其症状主要表现为大腿的外侧出现各种异常感觉，如蚁爬感、麻木感、疼痛等。这种感觉异常往往会在病人行走、活动时加重。症状严重者，上述异常感觉会持续存在，而且夜间的症状更为明显，常常影响病人的睡眠质量淋巴结与淋巴管相连通。受风受寒或劳损导致的腿痛。引起大腿外侧痛的股外侧皮神经炎和股外侧皮神经卡压综合征相鉴别。股外侧皮神经炎。又称感觉异常性股痛，股外侧皮神经系由第二到三腰神经发出，通过腰大肌外侧缘，斜过髂肌，沿骨盆经腹股沟韧带之深面，在髂前上棘以下厘十米处穿出阔筋膜至股部皮肤。在该神经行程中，如果由于受压、外伤等某种原因影响到股外侧皮神经时，即可能发生股外侧皮神经炎。多见于较肥胖的中青年男性。股外侧皮神经卡压综合征。该神经在途经之处因某种致压因素卡压而引起的神经功能障碍。大腿疼痛除了股骨头的问题的外，还有内收肌的问题，女性内收肌痛，内收肌的拉伤，股直肌的拉伤，还包括常说的最常见的新疝气，也会引起大腿根部的疼痛。包括妇科的某些疾病，表现的也是大腿根部的疼痛。",
"舍曲林适用于多种情况包括：重度抑郁症、恐慌症和社交焦虑症。舍曲林也用来治疗早泄与血管性头痛，但是还没有足够充分的证据证明它的效果。",
"由于引起腹水的病因甚多，无论是腹水呈漏出性还是渗出性，均可因多种疾病而引起。因此，遇腹水患者时，应尽快地确定其腹水的性质，继而再积极寻找病因。只有针对病因治疗，腹水才可能减少或消失；如果在病因尚未明确，为了减轻大量腹水引起的症状（包括腹胀、呼吸受限等）可进行必要的对症治疗。此外，像晚期肝硬化肝功能严重受损结缔组织病等所致的腹水，虽然针对病因进行了治疗，但其腹水常不能完全消退，有时甚至成为顽固性腹水，这种情况下，也仅能进行综合性治疗。一般而言，腹水的治疗可采取以下措施。１．限制水、钠的摄入腹水患者，尤其是低蛋白血症所致者，应严格控制钠盐的摄入量，其次是水的摄入量；饮食上宜进高糖、高蛋白、高维生素、低脂饮食；低盐饮食也适用于所有的漏出性或渗出性腹水患者，目的是尽可能多的将体内多余的水经肾脏排出体外。２．应用利尿药为了加速水分从肾脏的排出可选择使用利尿药。一般情况下应联合使用保钾和排钾利尿药，或者联合使用作用于肾脏不同部位的利尿药，以达到最佳的利尿效果，而又不发生电解质紊乱（尤其是防止出现血清钾离子的增高或降低）。利尿药的种类与剂量应遵循因人而异、因腹水多少而异及因原发病而异的原则一般而言，腹水可经腹膜回吸收入血液中，再经肾脏排出体外，但腹膜每天回吸收入血液中的腹水量有一定的极限，因此，并非利尿药的用量愈大，腹水减少愈明显越好，为此利尿药的用量应根据不同疾病而定并应从小剂量开始逐渐增大用量。3．放腹水治疗当大量腹水影响到患者的呼吸或患者腹胀症状重而难以忍受时，可采取放腹水治疗，以减轻症状。每次抽完腹水后可向腹腔内注射合适的药物，可增强利尿效果由于大量多次放腹水可导致蛋白质与电解质的丢失，腹水感染的机会也会增加故应避免。4．应用血管扩张药当腹水为漏出液且量大而利尿效果欠佳时，为改善肾脏的血流供应，可适当应用血管扩张药，有利于增强利尿效果。"
]
embeddings = model.encode(sentences)
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [4, 4] - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use lastmass/Qwen3-Embedding-Medical-0.6B with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf lastmass/Qwen3-Embedding-Medical-0.6B:F16
# Run inference directly in the terminal:
llama cli -hf lastmass/Qwen3-Embedding-Medical-0.6B:F16
Install from WinGet (Windows)
winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf lastmass/Qwen3-Embedding-Medical-0.6B:F16
# Run inference directly in the terminal:
llama cli -hf lastmass/Qwen3-Embedding-Medical-0.6B:F16
Use pre-built binary
# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf lastmass/Qwen3-Embedding-Medical-0.6B:F16
# Run inference directly in the terminal:
./llama-cli -hf lastmass/Qwen3-Embedding-Medical-0.6B:F16
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf lastmass/Qwen3-Embedding-Medical-0.6B:F16
# Run inference directly in the terminal:
./build/bin/llama-cli -hf lastmass/Qwen3-Embedding-Medical-0.6B:F16
Use Docker
docker model run hf.co/lastmass/Qwen3-Embedding-Medical-0.6B:F16
- LM Studio
- Jan
- Ollama
How to use lastmass/Qwen3-Embedding-Medical-0.6B with Ollama:
ollama run hf.co/lastmass/Qwen3-Embedding-Medical-0.6B:F16
- Unsloth Desktop
- Pi
How to use lastmass/Qwen3-Embedding-Medical-0.6B with Pi:
Start the llama.cpp server
# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf lastmass/Qwen3-Embedding-Medical-0.6B:F16
Configure the model in Pi
# Install Pi:
npm install -g @earendil-works/pi-coding-agent
# Add to ~/.pi/agent/models.json:
{
"providers": {
"llama-cpp": {
"baseUrl": "http://localhost:8080/v1",
"api": "openai-completions",
"apiKey": "none",
"models": [
{
"id": "lastmass/Qwen3-Embedding-Medical-0.6B:F16"
}
]
}
}
}Run Pi
# Start Pi in your project directory:
pi
- Docker Model Runner
How to use lastmass/Qwen3-Embedding-Medical-0.6B with Docker Model Runner:
docker model run hf.co/lastmass/Qwen3-Embedding-Medical-0.6B:F16
- Lemonade
How to use lastmass/Qwen3-Embedding-Medical-0.6B with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/
lemonade pull lastmass/Qwen3-Embedding-Medical-0.6B:F16
Run and chat with the model
lemonade run user.Qwen3-Embedding-Medical-0.6B-F16
List all available models
lemonade list
- Hermes Agent
How to use lastmass/Qwen3-Embedding-Medical-0.6B with Hermes Agent:
Start the llama.cpp server
# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf lastmass/Qwen3-Embedding-Medical-0.6B:F16
Configure Hermes
# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup
# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default lastmass/Qwen3-Embedding-Medical-0.6B:F16
Run Hermes
hermes
- Atomic Chat
- OpenClaw
How to use lastmass/Qwen3-Embedding-Medical-0.6B with OpenClaw:
Start the llama.cpp server
# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf lastmass/Qwen3-Embedding-Medical-0.6B:F16
Configure OpenClaw
# Install OpenClaw:
npm install -g openclaw@latest
# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
--auth-choice custom-api-key \
--custom-base-url http://127.0.0.1:8080/v1 \
--custom-model-id "lastmass/Qwen3-Embedding-Medical-0.6B:F16" \
--custom-provider-id llama-cpp \
--custom-compatibility openai \
--custom-text-input \
--accept-risk \
--skip-health
Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"
