-
Notifications
You must be signed in to change notification settings - Fork 27
Open
Labels
enhancementNew feature or requestNew feature or request
Description
Some tokenizers do not have max_model_length in their parameters, and truncation is turned off for these. However, the model still expects truncated inputs, so extraction fails in this case. Test case:
python -m neurox.data.extraction.transformers_extractor qarib/bert-base-qarib <(echo 'ناصر غمض عيون تنهد فتح عيون هو يطالع تركي : من كمان سنة تقريبا تقدر تقول من يوم انا في ثالث ثانوي كنت واجد في بيت اخت ليلى ( ام جازية ) كنت اجلس عند عيال بنات كانت بنت اخت في اول ثانوي انزين عقب يوم دخلت اول سنة جامعة بنت اخت كانت ثاني ثانوي انت تدري مرحلة لازم يشدون حيل عشان يجبن نسبة حلوة ترفع معدل سنة اخيرة كانت واجد تعزم ربيعات في بيت في ذاك يوم كنت راد من جامعة عقب امتحان سعي انت بعد اللي كنت موصل بيت دخلت بيت انا تعبان جلست في صالة اترجى حد يجي ابى بندول شفت وحدة في مطبخ سرت عند اتحرى جزوي بنت اخت جالس اكلم اقول ل ابى بندول راس يعور مب متحمل وجع بس ما لفت صوب وقت كنت مضيق مب ناقص اي ردة فعل ثانية سرت لفيت صوب ليت ما لفيت شفت ملاك تعرف شو يعني ما ابى اقول ل تجنن ما ادري عكس جمال بدوي صدق عيون لوزية بشرة بيضا ناعمة بنت كبر ناعمة كل شي في حلو ناعم حتى صوت انا تبلمت يوم شفت قالت ل اخو هذا بندول هذا ماي تخيل هي طلعت صورة في بال شربت بندول جلست على طاولة اترجى حد يجي حاولت اعرف هي منو بس ما قدرت دموع اللي كانت في عيون من خوف من لين حين في بال عمر ما شفت وحدة شرات قلت ما على انسى انا عمر ما اهتميت بنات تجي على هاي عقب شهرين من سالفة جزوي بنت اخت تعبت مرضت انت تدري تعب كان قلب يوم كان عند مشروع يسون هي تصيح تبى ربيعات حول سارت ليلو اخت دقت بنات عزمت قالت ل ان جازية تبى فعلا جن بس اكثر وحدة كانت موجودة هي بنت اللي من شهرين صورة في بال انا اقنع نفس ان مب مهتم كانت ويا بنت عمة ان حد من ربيعات طاع يجي الا هاي بنت عمة واحدة من ربيعات دخلت انا عمدا في حجرة اون اطمن على جزوي انا غرض كان شي ثاني تخيل انت ان نشت تغشت بعدت عن بس استغربت من بنت عمة ليش ما استحت ليش ما تغشت بس تحجبت وقفت بعيد عن قلت يمكن جاهل فعلا طلعت وقت هي في ثالث اعدادي اظن او اول ثانوي ما كانت متعودة على غشوة مهم قلت اجلس عند اللي هي بنت اخت جلست عدال كانت تعبانة انت تدري ان كان لازم تتسوى عملية اقرب وقت كانن يبن يسلمن بروجكت عشان يطمنن على ان جزوي قالت ل ان هي تروح ويا كانن يحاولن ويا ان هن يتكفلن موضوع بس هي ما طاعت لين اخر لحظة كانت تبى تشارك في بروجكت فعل سارن لين مدرسة سلمن بروجكت عقب تعبت جزوي ما رامت تكمل يوم دراسي ما كان في غير خيار واحد ان اطلع من جامعة اجي اشل تقول ل شو درى اقول ل ان ربيعة اتصلت في عقب') test.jsonProbably solution is to let user define max_length in extraction, and use model.config.max_position_embeddings as a proxy (tracking if thats the right solution here: huggingface/transformers#16186). Order of priority:
user defined max length > tokenizer defined max length > model.config.max_position_embeddings
Reactions are currently unavailable
Metadata
Metadata
Assignees
Labels
enhancementNew feature or requestNew feature or request