წარმოგიდგენთ Bonsai 27B-ს: პირველი 27B კლასის მოდელი, რომელიც მუშაობს ტელეფონზე

პრესრელიზის თარგმანი:

დღეს ჩვენ ვაანონსებთ Bonsai 27B-ს, რომელიც დაფუძნებულია Qwen3.6 27B-ზე. ეს არის Bonsai-ს ოჯახის ახალი მულტიმოდალური ფლაგმანი და თავისი შესაძლებლობების კლასში პირველი მოდელი, რომელიც მუშაობს სმარტფონზე.

ჩვენმა ადრეულმა გამოშვებებმა დაამტკიცა, რომ 1-ბიტიანი და ტერნარული წონების მქონე მოდელებს შეუძლიათ კომერციულად გამოსადეგი ენობრივი მოდელების შექმნა. Bonsai 27B ამ ზღვარს შესაძლებლობების ახალ საფეხურზე წევს: მრავალსაფეხურიანი მსჯელობა, სტრუქტურირებული ხელსაწყოების გამოძახება (tool calls), ვიზუალური ამოცანები და კომპიუტერის გამოყენების აგენტური ციკლები, რომლებიც ინარჩუნებენ თანმიმდევრულობას მრავალ ნაბიჯზე. დღემდე, ამ დონის მოდელის ლოკალურად განთავსება არაპრაქტიკული იყო კონკრეტული მიზეზის გამო: 27B მოდელი 16-ბიტიანი სიზუსტით დაახლოებით 54 გბ-ს იკავებს, ხოლო კარგი 4-ბიტიანი ვერსიაც კი, 18 გბ-ით, ზედმეტად დიდია ტელეფონისთვის და ლეპტოპების უმეტესობისთვის.

Bonsai 27B ამას ცვლის. იგი წარმოდგენილია ორი ვარიანტით:

Ternary Bonsai 27B იყენებს ტერნარულ {−1, 0, +1} წონებს FP16 ჯგუფური მასშტაბირებით (group-wise scaling), რაც იძლევა რეალურ 1.71 ეფექტურ ბიტს თითოეულ წონაზე. 5.9 გბ მოცულობით, ეს არის ხარისხზე ორიენტირებული ვარიანტი: ის მუშაობს ყოველდღიურ ლეპტოპზე სრული მსჯელობის, ხელსაწყოების გამოძახების და აგენტური შესაძლებლობებით.

1-bit Bonsai 27B იყენებს ბინარულ {−1, +1} წონებს იგივე ჯგუფური მასშტაბირებით, რაც იძლევა 1.125 ეფექტურ ბიტს თითოეულ წონაზე. 3.9 გბ მოცულობით, ეს არის კომპაქტურობაზე ორიენტირებული ვარიანტი, რომელიც თავსდება iPhone 17 Pro-ს მეხსიერებაში და პირველად შემოაქვს 27B კლასის მოდელი ტელეფონში.

როგორც Bonsai-ს ყველა გამოშვების შემთხვევაში, დაბალბიტიანი რეპრეზენტაცია ვრცელდება მთლიან სისტემაზე — ენობრივ ქსელზე, ემბედინგებზე (embeddings), Attention მექანიზმზე, MLP-ებსა და LM head-ზე, ყოველგვარი მაღალი სიზუსტის „გამოსასვლელების“ გარეშე. ორივე ვარიანტი მულტიმოდალურია, ხოლო ვიზუალური ნაწილი (vision tower) წარმოდგენილია კომპაქტური 4-ბიტიანი ფორმით, რათა მოწყობილობაზე შესრულებულმა სამუშაო პროცესებმა აღიქვან სკრინშოტები, დოკუმენტები და კამერის გამოსახულება და არა მხოლოდ ტექსტი. Bonsai 27B ფლობს სრულ 262K-ტოკენიან კონტექსტს და მხარს უჭერს სპეკულაციურ დეკოდირებას, რაც ზრდის სიჩქარეს უდანაკარგო „შემოწმება-დადასტურების“ (draft-and-verify) აჩქარებით. ყველაფერი ხელმისაწვდომია დღეიდან Apache 2.0 ლიცენზიით.

ინტელექტის შენარჩუნება

15 ბენჩმარკისგან შემდგარ ნაკრებში, რომელიც მოიცავს ცოდნას, მსჯელობას, მათემატიკას, კოდირებას, ინსტრუქციების შესრულებას, ხელსაწყოების გამოძახებას და ხედვას (შეფასებულია „ფიქრის რეჟიმში“, სადაც მოდელის სრული მსჯელობაა ჩართული), Ternary Bonsai 27B ინარჩუნებს სრული სიზუსტის საბაზისო მოდელის შესაძლებლობების 95%-ს, ხოლო 1-bit Bonsai 27B — 90%-ს.

ბენჩმარკების შედარება

| კატეგორია (ბენჩმარკები) | Qwen 3.6 27B | Ternary Bonsai 27B | 1-bit Bonsai 27B |
| :— | :— | :— | :— |
| მათემატიკა (GSM8K, MATH-500, AIME25, AIME26) | 95.3 | 93.4 | 91.7 |
| კოდირება (HumanEval+, MBPP+, LiveCodeBench) | 88.7 | 86.0 | 81.9 |
| აგენტური და ხელსაწყოების გამოძახება (BFCL v3, TauBench) | 80.0 | 74.0 | 66.0 |
| ინსტრუქციების შესრულება (IFEval, IFBench) | 78.4 | 71.8 | 65.8 |
| ცოდნა / STEM (MMLU-Redux, MuSR) | 83.1 | 77.0 | 73.4 |
| ხედვა (MMMU Pro, OCRBench) | 72.6 | 65.2 | 59.6 |
| საერთო (15 ბენჩმარკი) | 85.0 | 80.5 | 76.1 |

ნახ. I: Bonsai 27B-ის ბენჩმარკების ქულები (ფიქრის რეჟიმში) სრული სიზუსტის საბაზისო მოდელის წინააღმდეგ. სრული შედეგები თითოეული ბენჩმარკისთვის მოცემულია თეთრ წიგნში.

თუ ცხრილს შესაძლებლობების მიხედვით გადახედავთ, სურათი უფრო მკაფიოა, ვიდრე საშუალო მაჩვენებლები: მათემატიკა და კოდირება თითქმის ხელუხლებელია, ხელსაწყოების გამოძახება კი სრული სიზუსტის მაჩვენებლებთან სულ რამდენიმე პუნქტით ჩამორჩება — ეს სწორედ ის შესაძლებლობებია, რომლებზეც აგენტური სამუშაო პროცესებია დამოკიდებული. შედარებისთვის, იგივე საბაზისო მოდელის ყველაზე აგრესიული ტრადიციული დაბალბიტიანი ვერსია მნიშვნელოვნად დაბალ ქულებს აჩვენებს, ვიდრე 1-bit Bonsai 27B, მიუხედავად იმისა, რომ 2.5-ჯერ მეტ მეხსიერებას იკავებს.

ეს არის იგივე პარეტო-ცვლილება (Pareto shift), რომელიც ჩვენ ვაჩვენეთ ჩვენი ადრეული ენობრივი და გამოსახულების მოდელების შემთხვევაში, ახლა უკვე 27B მასშტაბით: 27B კლასის შესაძლებლობები იმაზე მცირე მოცულობით, ვიდრე სრული სიზუსტის 2B მოდელი. ინტელექტის სიმკვრივით — საზომი, რომელიც ჩვენ შემოვიღეთ 1-bit Bonsai 8B-თან ერთად — 1-bit Bonsai 27B იძლევა 0.53-ს თითოეულ გბ-ზე: ეს 10-ჯერ მეტია სრული სიზუსტის საბაზისო მოდელზე და დაახლოებით 2.7-ჯერ მეტი საუკეთესო ალტერნატიულ დაბალბიტიან ვერსიაზე.

რატომ არის ეს მნიშვნელოვანი პარადიგმული ცვლილება

ყველაზე ღირებული AI სამუშაო პროცესები ერთჯერადი პასუხებიდან გადადის ხანგრძლივ მუშაობაზე: ასისტენტები, რომლებიც მართავენ რეალურ ხელსაწყოებს; პროცესები, რომლებიც დამოუკიდებლად სრულდება შედეგის დაბრუნებამდე; და კვლევები, რომლებიც ათეულობით დოკუმენტის სინთეზს ახდენენ. ეს ცვლილება ცვლის დატვირთვის ფორმას — აგენტი არ აკეთებს ერთ გამოძახებას, ის აკეთებს ასობით გამოძახებას, რომელთაგან თითოეულს გადააქვს კონტექსტი, ქმნის სტრუქტურირებულ შედეგს და კვებავს შემდეგ ნაბიჯს.

ღრუბლოვანი API-ები კვლავ დარჩება სწორ არჩევანად მრავალი პროდუქტისთვის. თუმცა, აგენტური პროცესებისთვის, მხოლოდ ღრუბლოვანი შესრულება აწესებს სტრუქტურულ შეზღუდვებს: ყოველი ნაბიჯი არის დისტანციური მოთხოვნა, თითოეულ ტოკენზე დანახარჯი იზრდება ყოველ იტერაციაზე და ყოველი გეგმა, ხელსაწყოს გამოძახება თუ შუალედური შედეგი გადის ქსელში, მომხმარებლის პირადი ფაილების, ეკრანისა და მონაცემების ჩათვლით.

ლოკალური შესრულება ცვლის ამ განტოლებას. როდესაც ხანგრძლივი აგენტური მუშაობის უნარის მქონე მოდელი თავსდება მოწყობილობაზე, აგენტს შეუძლია იცხოვროს პროდუქტის შიგნით: ას-საფეხურიანი ციკლის დამატებითი ღირებულება ნულის ტოლია, ხოლო მომხმარებლის მონაცემები არასოდეს ტოვებს მანქანას. იხსნება სრულიად ახალი კატეგორიები — მუდმივი ლოკალური აგენტები, ასისტენტები, რომლებიც მუშაობენ ოფლაინ რეჟიმში და ასისტენტები, რომლებიც მსჯელობენ პირად ლოკალურ მონაცემებზე თავისივე კონსტრუქციით. აქამდე აკლდა მოდელი, რომელიც საკმარისად მცირე იქნებოდა ასეთი განთავსებისთვის და საკმარისად ძლიერი, რომ მასზე სამუშაოს მინდობა ყოფილიყო შესაძლებელი. Bonsai 27B სწორედ ასეთი მოდელია.

ეს ასევე ხსნის სისტემის ახალ არქიტექტურას: ჰიბრიდულ განთავსებას, რომელიც ნაკლებად რთულ და კონფიდენციალურობის მიმართ მგრძნობიარე ამოცანებს მიმართავს ძლიერ ლოკალურ მოდელთან, ხოლო უახლეს ღრუბლოვან მოდელებს ინახავს ყველაზე რთული ნაბიჯებისთვის — რაც მკვეთრად ამცირებს აგენტური სისტემების ხარჯებს თითოეულ დავალებაზე.

Bonsai 27B აღწევს 163 ტოკენს წამში 1-ბიტიან ვერსიაში და 134 ტოკენს წამში ტერნარულ ვერსიაში NVIDIA GeForce RTX 5090-ზე. M5 Max-ზე ის აღწევს 87 ტოკენს წამში 1-ბიტიან ვერსიაში და 58 ტოკენს წამში ტერნარულში.

ტელეფონში ჩატევა უფრო მკაცრი ბარიერია, ვიდრე ამას მეხსიერების ციფრები მიგვანიშნებს. ტელეფონი არასოდეს უთმობს თავის სრულ მეხსიერებას ერთ აპლიკაციას — 12 გბ-იანი iPhone სთავაზობს დაახლოებით 6 გბ-ს მოდელს ლოკალური გამოყენებისთვის და მოდელმა ეს ბიუჯეტი უნდა გაიზიაროს თავის KV cache-სა და აქტივაციებთან. 27B მოდელის არცერთი ტრადიციული ვერსია ამ ბარიერს ვერც კი უახლოვდება. დაახლოებით 4 გბ-ით, 1-bit Bonsai 27B არის პირველი, რომელიც ამ ზღვარს გადალახავს და ტოვებს ადგილს მუშაობისთვის.

ეს შეზღუდვაა მიზეზი იმისა, თუ რატომ უშვებს ეს ოჯახი ორ მიზანმიმართულ ვარიანტს: ტერნარულს — ლეპტოპის კლასის ხარისხისთვის და 1-ბიტიანს — ტელეფონის კლასის მოცულობისთვის.

ზღვარი კვლავ წინ მიიწევს

Bonsai-ს ყოველმა გამოშვებამ „ინტელექტი თითოეულ გიგაბაიტზე“ ზღვარი წინ გადასწია, ხოლო Bonsai 27B-ს ის პრაქტიკულ ზღვარს მიღმა გადაჰყავს: თანამედროვე მოდელის სრული შესაძლებლობები მსჯელობით, მულტიმოდალური აღქმით, ხედვითა და ხელსაწყოების საიმედო გამოყენებით, ახლა თავსდება მოწყობილობებში, რომლებსაც ადამიანები უკვე ფლობენ.

ჩვენ გვჯერა, რომ ინტელექტის სიმკვრივე იქნება AI პროგრესის შემდეგი ეტაპის ერთ-ერთი განმსაზღვრელი ღერძი. ნედლი შესაძლებლობები განსაზღვრავს, თუ რისი გაკეთება შეუძლია მოდელს; სიმკვრივე კი განსაზღვრავს, თუ სად შეუძლია მას ამის გაკეთება. ზღვრის ყოველი გადაწევა აფართოებს მოწყობილობების, პროდუქტებისა და გარემოების წრეს, სადაც მოწინავე AI-ს მუშაობა შეუძლია და ცვლის ეკონომიკას ყველა პლატფორმისთვის, ტელეფონებიდან დაწყებული ერთ-GPU-იან სერვერებამდე. Bonsai-ს მეთოდოლოგია არქიტექტურისგან დამოუკიდებელია და ზღვარი კვლავ გააგრძელებს წინსვლას: უფრო დიდი მოდელები და ახალი არქიტექტურები უკვე დამუშავების პროცესშია.

ადრეული კომპიუტერები მთელ ოთახებს იკავებდნენ; დღეს ისინი ჩვენს ჯიბეებში ცხოვრობენ. ინტელექტი იმავე გზას გადის და Bonsai 27B მისი ყველაზე დიდი ნაბიჯია.

პლატფორმების მხარდაჭერა

Bonsai 27B მუშაობს ნატიურად Apple-ის მოწყობილობებზე (Mac, iPhone, iPad) MLX-ის მეშვეობით და NVIDIA GPU-ებზე CUDA-ს მეშვეობით, სპეციალურად შექმნილი დაბალბიტიანი ბირთვების (kernels) დახმარებით, რომლებიც მორგებულია მის ჰიბრიდული Attention-ის არქიტექტურაზე. მოდელის წონები ხელმისაწვდომია დღეიდან Apache 2.0 ლიცენზიით. ამ გამოშვებასთან ერთად, ჩვენ ვთავაზობთ დეველოპერებს უფასო, შეზღუდული დროით ხელმისაწვდომ სატესტო API-ს (developer preview API), რათა მათ მარტივად შეძლონ ჩვენი მოდელის გამოცდა.

ჩვენი კომპრესიის, შეფასებისა და ბენჩმარკინგის პროცესების სრული ტექნიკური დეტალები ხელმისაწვდომია ჩვენს თეთრ წიგნში.