Add SetFit model
Browse files- README.md +32 -30
- model.safetensors +1 -1
- model_head.pkl +2 -2
README.md
CHANGED
|
@@ -5,11 +5,12 @@ tags:
|
|
| 5 |
- text-classification
|
| 6 |
- generated_from_setfit_trainer
|
| 7 |
widget:
|
| 8 |
-
- text:
|
| 9 |
-
- text:
|
| 10 |
-
- text:
|
| 11 |
-
- text:
|
| 12 |
-
- text: Как
|
|
|
|
| 13 |
metrics:
|
| 14 |
- accuracy
|
| 15 |
pipeline_tag: text-classification
|
|
@@ -48,7 +49,7 @@ The model has been trained using an efficient few-shot learning technique that i
|
|
| 48 |
- **Sentence Transformer body:** [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2)
|
| 49 |
- **Classification head:** a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance
|
| 50 |
- **Maximum Sequence Length:** 128 tokens
|
| 51 |
-
- **Number of Classes:**
|
| 52 |
<!-- - **Training Dataset:** [Unknown](https://huggingface.co/datasets/unknown) -->
|
| 53 |
<!-- - **Language:** Unknown -->
|
| 54 |
<!-- - **License:** Unknown -->
|
|
@@ -60,17 +61,16 @@ The model has been trained using an efficient few-shot learning technique that i
|
|
| 60 |
- **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
|
| 61 |
|
| 62 |
### Model Labels
|
| 63 |
-
| Label | Examples
|
| 64 |
-
|
| 65 |
-
|
|
| 66 |
-
|
|
| 67 |
-
| 7 | <ul><li>'
|
| 68 |
-
|
|
| 69 |
-
|
|
| 70 |
-
|
|
| 71 |
-
|
|
| 72 |
-
|
|
| 73 |
-
| 3 | <ul><li>'Что такое «баллы за индивидуальные достижения»?'</li><li>'Расскажи о допполнительных баллах при поступлении'</li></ul> |
|
| 74 |
|
| 75 |
## Evaluation
|
| 76 |
|
|
@@ -97,7 +97,7 @@ from setfit import SetFitModel
|
|
| 97 |
# Download from the 🤗 Hub
|
| 98 |
model = SetFitModel.from_pretrained("Maxim01/Intent_Classification_Test")
|
| 99 |
# Run inference
|
| 100 |
-
preds = model("
|
| 101 |
```
|
| 102 |
|
| 103 |
<!--
|
|
@@ -129,22 +129,21 @@ preds = model("Как можно подать документы?")
|
|
| 129 |
### Training Set Metrics
|
| 130 |
| Training set | Min | Median | Max |
|
| 131 |
|:-------------|:----|:-------|:----|
|
| 132 |
-
| Word count |
|
| 133 |
|
| 134 |
| Label | Training Sample Count |
|
| 135 |
|:------|:----------------------|
|
| 136 |
-
| 0 |
|
| 137 |
-
| 1 |
|
| 138 |
| 2 | 5 |
|
| 139 |
-
| 3 |
|
| 140 |
-
| 4 |
|
| 141 |
-
| 5 |
|
| 142 |
-
| 6 |
|
| 143 |
-
| 7 |
|
| 144 |
-
| 8 | 4 |
|
| 145 |
|
| 146 |
### Training Hyperparameters
|
| 147 |
-
- batch_size: (
|
| 148 |
- num_epochs: (1, 1)
|
| 149 |
- max_steps: -1
|
| 150 |
- sampling_strategy: oversampling
|
|
@@ -165,8 +164,11 @@ preds = model("Как можно подать документы?")
|
|
| 165 |
### Training Results
|
| 166 |
| Epoch | Step | Training Loss | Validation Loss |
|
| 167 |
|:------:|:----:|:-------------:|:---------------:|
|
| 168 |
-
| 0.
|
| 169 |
-
| 0.
|
|
|
|
|
|
|
|
|
|
| 170 |
|
| 171 |
### Framework Versions
|
| 172 |
- Python: 3.11.11
|
|
|
|
| 5 |
- text-classification
|
| 6 |
- generated_from_setfit_trainer
|
| 7 |
widget:
|
| 8 |
+
- text: Экзамены для поступления
|
| 9 |
+
- text: Какие документы нужны для поступления
|
| 10 |
+
- text: Продолжительность приемной кампании
|
| 11 |
+
- text: Общежитие
|
| 12 |
+
- text: Как получить дополнительные баллы для поступленияКак получить дополнительные
|
| 13 |
+
баллы
|
| 14 |
metrics:
|
| 15 |
- accuracy
|
| 16 |
pipeline_tag: text-classification
|
|
|
|
| 49 |
- **Sentence Transformer body:** [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2)
|
| 50 |
- **Classification head:** a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance
|
| 51 |
- **Maximum Sequence Length:** 128 tokens
|
| 52 |
+
- **Number of Classes:** 8 classes
|
| 53 |
<!-- - **Training Dataset:** [Unknown](https://huggingface.co/datasets/unknown) -->
|
| 54 |
<!-- - **Language:** Unknown -->
|
| 55 |
<!-- - **License:** Unknown -->
|
|
|
|
| 61 |
- **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
|
| 62 |
|
| 63 |
### Model Labels
|
| 64 |
+
| Label | Examples |
|
| 65 |
+
|:------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
|
| 66 |
+
| 3 | <ul><li>'Количество специальностей для поступления'</li><li>'На сколько специальностей можно подать документы?'</li><li>'На сколько направлений подготовки можно подать документы?'</li></ul> |
|
| 67 |
+
| 5 | <ul><li>'Я после колледжа. Как мне поступить?'</li><li>'Вуз после колледжа'</li><li>'Как поступить в вуз после колледжа?'</li></ul> |
|
| 68 |
+
| 7 | <ul><li>'Кто претендует на предоставление общежития'</li><li>'Общага'</li><li>'Кто может жить в общежитии?'</li></ul> |
|
| 69 |
+
| 6 | <ul><li>'Назови вступительные испытания'</li><li>'Какие есть вступительные испытания?'</li><li>'Внутренние экзамены для поступления'</li></ul> |
|
| 70 |
+
| 0 | <ul><li>'Приемная кампания'</li><li>'Приемная кампания в вузе'</li><li>'Как долго длится приемная кампания'</li></ul> |
|
| 71 |
+
| 4 | <ul><li>'Есть ли военная кафедра'</li><li>'Направления подготовки в вуцНа каком курсе начинается Военная кафедра'</li><li>'Военный учебный центр'</li></ul> |
|
| 72 |
+
| 2 | <ul><li>'Как получить дополнительные баллы для поступленияКак получить дополнительные баллы'</li><li>'Как получить доп баллы'</li><li>'Расскажи о допполнительных баллах при поступлении'</li></ul> |
|
| 73 |
+
| 1 | <ul><li>'Какие документы нужны для поступления'</li><li>'Необходимые документы для поступления'</li><li>'Документы на поступление каким способом подать можно?'</li></ul> |
|
|
|
|
| 74 |
|
| 75 |
## Evaluation
|
| 76 |
|
|
|
|
| 97 |
# Download from the 🤗 Hub
|
| 98 |
model = SetFitModel.from_pretrained("Maxim01/Intent_Classification_Test")
|
| 99 |
# Run inference
|
| 100 |
+
preds = model("Общежитие")
|
| 101 |
```
|
| 102 |
|
| 103 |
<!--
|
|
|
|
| 129 |
### Training Set Metrics
|
| 130 |
| Training set | Min | Median | Max |
|
| 131 |
|:-------------|:----|:-------|:----|
|
| 132 |
+
| Word count | 1 | 4.3878 | 9 |
|
| 133 |
|
| 134 |
| Label | Training Sample Count |
|
| 135 |
|:------|:----------------------|
|
| 136 |
+
| 0 | 7 |
|
| 137 |
+
| 1 | 8 |
|
| 138 |
| 2 | 5 |
|
| 139 |
+
| 3 | 4 |
|
| 140 |
+
| 4 | 7 |
|
| 141 |
+
| 5 | 6 |
|
| 142 |
+
| 6 | 5 |
|
| 143 |
+
| 7 | 7 |
|
|
|
|
| 144 |
|
| 145 |
### Training Hyperparameters
|
| 146 |
+
- batch_size: (8, 8)
|
| 147 |
- num_epochs: (1, 1)
|
| 148 |
- max_steps: -1
|
| 149 |
- sampling_strategy: oversampling
|
|
|
|
| 164 |
### Training Results
|
| 165 |
| Epoch | Step | Training Loss | Validation Loss |
|
| 166 |
|:------:|:----:|:-------------:|:---------------:|
|
| 167 |
+
| 0.0041 | 1 | 0.0986 | - |
|
| 168 |
+
| 0.2041 | 50 | 0.0729 | - |
|
| 169 |
+
| 0.4082 | 100 | 0.016 | - |
|
| 170 |
+
| 0.6122 | 150 | 0.0063 | - |
|
| 171 |
+
| 0.8163 | 200 | 0.0031 | - |
|
| 172 |
|
| 173 |
### Framework Versions
|
| 174 |
- Python: 3.11.11
|
model.safetensors
CHANGED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
size 470637416
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:5907423a9906f5255b78828184b6eafc33d4b5a003620ec1aa2b6938f8321939
|
| 3 |
size 470637416
|
model_head.pkl
CHANGED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
-
size
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:d655cb90ee7e60bbddf7e606591bed67a2b4d58dc5a4cd9ab5a25af033709ba7
|
| 3 |
+
size 25543
|