Inference Widget (Featherless AI) is broken: severe hallucinations and repetition loops due to missing chat template
Hello,
I want to report that the Inference Widget on the model card (provided by Featherless AI) is producing incoherent and broken outputs.
It appears that the chat template is not being applied correctly (or is missing entirely), causing the model to treat the prompt as raw text completion rather than a structured dialogue.
Observed behavior:
- Identity Hallucinations: The model claims to be developed by "Stability AI" and states that the "IT" suffix stands for "Italian".
- Repetition Loops: The model gets stuck in infinite generation loops, repeating the same word (e.g., "порівняно") dozens of times.
- Factually Incorrect Definitions: It provides completely nonsensical definitions for simple words.
Please check the chat template configuration for the Featherless AI integration, as the model is currently unusable via the widget.
Thanks.
Hi
@Vldcheeky
Apologies for late response
Thanks for the heads-up. I've tested the widget from my end and it appears to be providing structured responses at the moment. Could you share the exact prompt you used when the model claimed to be from Stability AI or started the repetition loop? I’d like to use your exact input to verify if the chat template is still dropping out during specific types of queries.
Hi, thanks for the quick reply.
I am currently using Gemini Pro as an AI assistant, and it actually analyzed these errors and suggested I report this issue to you.
Crucial detail: The conversation was conducted in Ukrainian. This might be why you couldn't reproduce it with English prompts (tokenization or template issues often appear with non-Latin scripts).
Here is the exact log of the session where the model hallucinated (claiming to be Stability AI) and entered a repetition loop:
Context: Ukrainian language input.
Interaction 1:
User: Привіт. Що значить gemma-3-12b-it? (Translation: Hello. What does gemma-3-12b-it mean?)
Model Output (Broken): "Привіт! Gemma-3-12b-it - це велика мовна модель, розроблена командою Stability AI... ...порівняно порівняно порівняно порівняно порівняно [infinite loop]..."
Interaction 2:
User: gemma-3-12b-it - що значить IT в кінці назви? (Translation: gemma-3-12b-it - what does IT mean at the end of the name?)
Model Output (Hallucination): "IT" в кінці назви "gemma-3-12b-it" означає "Italian" (італійський)..."
Hopefully, testing with these Ukrainian prompts will help you reproduce the bug.
I have preserved only part of the dialogue.
Here he is:
Input a message to start chatting with google/gemma-3-12b-it.
Я: - Привіт. Що значить gemma-3-12b-it?
модель: - Привіт! Gemma-3-12b-it - це велика мовна модель, розроблена командою Stability AI. Ось ключові факти про неї:
Відкритий код: Це модель із відкритим кодом, що робить широкому доступу та використанню.
Архітектура: Вона базується на архітектурі трансформера, що є загально для великих мовних моделей.
Розмірність: Має 3 мільярди параметрів (3B), що
робить відносно невеликою порівняно порівняно порівняно порівняно
порівняно порівняно порівняно порівняно порівняно порівняно порівняно
порівняно порівняно порівняно порівняно порівняно порівняно порівняно
порівняно порівняно порівняно порівняно порівняно порівняно порівняно
порівняно порівняно порівняно порівняно порівняно порівняно порівняно
порівняно порівняно порівняно порівняно порівняно порівняно порівняно
порівняно порівняно порівняно порівняно порівняно порівняно порівняно
порівняно порівняно порівняно порівняно порівняно порівняно порівняно
порівняно порівняно порівняно порівняно порівняно порівняно
Я: - gemma-3-12b-it - що значить IT в кінці назви?
Модель: - "IT" в кінці назви "gemma-3-12b-it" означає "Italian" (італійський). Це
вказує, що модель була спеціально навчена і оптимізована на італійському
тексті. Це робить моделі подивитися в задачах, де потрібне добре
розуміння італійської мови.
The same questions today.
There are questions about the model in grammar and hallucinations.:
Привіт. Що значить gemma-3-12b-it?
Привіт! "gemma-3-12b-it" - це назва великої мовної моделі (LLM), створеної Google. Ось розбиття:
Gemma: Назва проєкту, створеного Google. Gemma - це сімей сімей і стабіль сімей.
3: Розмірність моделі (3 miliardi параметрів).
12b: Теж позначення для кількості параметрів (12 мільярдів). Може бути помилкою в назві або версією моделі.
it: Вказує, що модель оптимізована та оптимізована для використання з процесорами Intel.
По-суті, gemma-3-12b-it - це версія моделі Gemma, призначена для високої продуктивності на обладнанні Intel.
gemma-3-12b-it - що значить IT в кінці назви?
Ви правильно підкреслили! "IT" в кінці назви "gemma-3-12b-it" вказує на те, що ця версія моделі Gemma оптимізована для Intel.
Оптимізація - це процес, який оптимізує модель для конкретного обладнання (в даному випадку Intel) для досягнення кращої продуктивності та ефективності.
Тож, "gemma-3-12b-it" значе модель Gemma з 3/12 мільярдами параметрів, оптимізована для роботи на обладнанні Intel.