SGLang টিমের কিছু সদস্য রেডিক্সআর্ক নামে নতুন স্টার্টআপ চালু করেছে এবং সাম্প্রতিক তহবিল রাউন্ডে প্রায় ৪০০ মিলিয়ন ডলারের মূল্যায়ন পেয়েছে। এই উদ্যোগের মূল লক্ষ্য হল কৃত্রিম বুদ্ধিমত্তা মডেলের ইনফারেন্স প্রক্রিয়াকে দ্রুত ও দক্ষ করা, যা সার্ভার খরচ কমাতে সহায়তা করে।
SGLang একটি ওপেন‑সোর্স টুল, যা xAI, Cursor সহ বিভিন্ন কোম্পানি ব্যবহার করে AI মডেল প্রশিক্ষণের গতি বাড়ায়। ২০২৩ সালে UC Berkeley ল্যাবের মধ্যে ডেটাব্রিক্সের সহ‑প্রতিষ্ঠাতা Ion Stoica তত্ত্বাবধানে এই প্রকল্প শুরু হয়।
রেডিক্সআর্কের তহবিল সংগ্রহে Accel প্রধান বিনিয়োগকারী হিসেবে কাজ করেছে এবং দুইজন সূত্রের মতে রাউন্ডের পর কোম্পানির মূল্যায়ন প্রায় ৪০০ মিলিয়ন ডলার হয়েছে। টেকক্রাঞ্চ এই রাউন্ডের সঠিক পরিমাণ নিশ্চিত করতে পারেনি, তবে মূল্যায়নের তথ্য সূত্র থেকে পাওয়া গেছে।
অ্যাঞ্জেল পর্যায়ের তহবিলে Intelের সিইও Lip‑Bu Tan সহ অন্যান্য বিনিয়োগকারীর নাম উল্লেখ করা হয়েছে। এই বিনিয়োগকারীরা প্রকল্পের প্রাথমিক বিকাশে গুরুত্বপূর্ণ ভূমিকা পালন করেছে।
Ying Sheng, যিনি পূর্বে xAI-তে ইঞ্জিনিয়ার এবং Databricks‑এ গবেষণা বিজ্ঞানী হিসেবে কাজ করেছেন, রেডিক্সআর্কের সহ‑প্রতিষ্ঠাতা ও সিইও হিসেবে দায়িত্ব গ্রহণ করেছেন। তিনি সম্প্রতি LinkedIn-এ এই পদক্ষেপের ঘোষণা দেন।
রেডিক্সআর্কের মূল কাজ হল ইনফারেন্স প্রসেসিংকে অপটিমাইজ করা, যাতে একই হার্ডওয়্যারে মডেল দ্রুত চালানো যায়। ইনফারেন্স এবং মডেল প্রশিক্ষণ উভয়ই AI সেবার সার্ভার ব্যয়ের বড় অংশ গঠন করে; তাই এই ধরণের টুল ব্যবহার করলে তাৎক্ষণিক সঞ্চয় সম্ভব।
ইনফারেন্স অপটিমাইজেশন সরঞ্জামগুলো দ্রুত জনপ্রিয়তা অর্জন করছে, কারণ তারা AI পরিষেবার স্কেলিং ও খরচ নিয়ন্ত্রণে গুরুত্বপূর্ণ ভূমিকা রাখে। রেডিক্সআর্কের মতো স্টার্টআপগুলো এই চাহিদা পূরণে নতুন সমাধান প্রদান করছে।
অনুরূপভাবে, vLLM নামের আরেকটি ওপেন‑সোর্স প্রকল্পও সম্প্রতি স্টার্টআপে রূপান্তরিত হয়েছে। Forbes অনুসারে, vLLM প্রায় ১৬০ মিলিয়ন ডলার তহবিল সংগ্রহের আলোচনা চালাচ্ছে এবং তার মূল্যায়ন প্রায় ১ বিলিয়ন ডলার হতে পারে। এই রাউন্ডে Andreessen Horowitz প্রধান বিনিয়োগকারী হিসেবে যুক্ত হওয়ার কথা, তবে চূড়ান্ত সংখ্যা এখনও প্রকাশিত হয়নি।
vLLM‑এর সহ‑প্রতিষ্ঠাতা Simon Mo এই তহবিল সংক্রান্ত তথ্যকে “সত্যিকারের ভুল” বলে মন্তব্য করেছেন এবং টেকক্রাঞ্চকে জানিয়েছেন যে রিপোর্ট করা সংখ্যাগুলো সঠিক নয়।
সারসংক্ষেপে, AI ইনফারেন্স অপটিমাইজেশনের বাজার দ্রুত বিস্তৃত হচ্ছে এবং রেডিক্সআর্ক ও vLLM এর মতো স্টার্টআপগুলো এই ক্ষেত্রে নতুন মানদণ্ড স্থাপন করছে। ভবিষ্যতে এই প্রযুক্তিগুলো AI সেবার খরচ কমিয়ে ব্যবহারকারীর অভিজ্ঞতা উন্নত করতে গুরুত্বপূর্ণ ভূমিকা পালন করবে।
