في عصر المعلومات والبيانات الضخمة، أصبح من الضروري استخدام أدوات متقدمة للبحث وتحليل المعلومات. في هذا المقال، سنستعرض كيفية استخدام تقنيتي “Zilliz” و”OpenAI” لتوليد توصيفات كتب وتحليلها. سنعمل على توليد نماذج التضمين (embeddings) من أوصاف الكتب باستخدام خدمات OpenAI، ومن ثم سنستخدم هذه النماذج في “Zilliz” للعثور على كتب ذات صلة. بفضل مجموعة بيانات تشتمل على أكثر من مليون عنوان ووصف كتاب، سنوضح كيف يمكن لهذه التقنيات أن تعزز من تجربة البحث عن الكتب المناسبة. تابعونا لاستكشاف خطوات تنفيذ هذه العملية وكيف يمكن تيسير البحث عن المعرفة باستخدام الذكاء الاصطناعي.
مقدمة عن Zilliz و OpenAI
تعتبر تقنيات التعلم الآلي والذكاء الاصطناعي من أهم التطورات التكنولوجية في عصرنا الحديث. لقد حظيت الأدوات التي تستخدم الذكاء الاصطناعي، مثل OpenAI، بشعبية كبيرة في مجالات متعددة، من بينها معالجة اللغة الطبيعية. تضم الحلول السحابية مثل Zilliz القدرة على التعامل مع قواعد البيانات بشكل يضمن سرعة وكفاءة عالية. في هذا السياق، يُظهر هذا المزيج كيفية استخدام OpenAI في إنشاء تمثيلات نصية (التضمينات) لوصف الكتب وكيف يمكن لـ Zilliz أن تساعد في البحث عن الكتب ذات الصلة باستخدام هذه التضمينات. من خلال تقديم نموذج مُنفصل لجمع البيانات، يمكننا معالجة المعلومات بسرعة وسلاسة.
نبدأ بمكتبة OpenAI التي تُستخدم للتواصل مع خدمة تضمين النصوص. كما يتم استخدام مكتبة pymilvus للاتصال بقاعدة بيانات Zilliz. يستخدم هذا المشروع مجموعة بيانات مصدرها HuggingFace تضم أكثر من مليون زوج من العناوين والأوصاف للكتب. الهدف هو خلق بيئة مُبسطة تساعد المستخدمين في العثور على كتب تتعلق بمواضيع معينة بناءً على الأوصاف المدخلة.
إعداد بيئة العمل
لكي نبدأ العمل بكفاءة، يجب أولاً إعداد البيئة المناسبة. يتطلب ذلك تثبيت المكتبات اللازمة مثل openai وpymilvus وdatasets لضمان تكامل الأدوات المختلفة. بعد اختبرها، تأكد من أن لديك إصداراً حديثاً من كل مكتبة وأن جميع المتطلبات الأخرى مُتاحة. تُثبت هذه المكتبات عبر إدخال أوامر معينة مثل:
“`bash
pip install openai pymilvus datasets tqdm
“`
بعد ذلك، راجع التعليمات الخاصة بتكوين Zilliz وتأكد من أنك على دراية بكيفية إعداد قاعدة البيانات الخاصة بك، من اختيار اسم المجموعة إلى إعداد معلمات الفهرسة. تتضمن عملية إعداد Zilliz تشغيل بعض الأكواد بما في ذلك الاتصال بقاعدة البيانات وإنشاء مجموعة تتضمن الحقول المطلوبة مثل العنوان والوصف والتضمين.
إدخال البيانات في Zilliz
بعد إعداد بيئة العمل، يأتي الدور على استيراد البيانات إلى Zilliz. من المهم أولاً أن تُحمّل مجموعة البيانات الخاصة بالكتب، والتي تحتوي على آلاف من الأوصاف. في هذا المثال، نستخدم مجموعة بيانات تتعلق بالكتب من مكتبة HuggingFace. نُحمّل مجموعة البيانات بشكل مباشر ونستخدم القسم المخصص للتدريب منه. يمكن استخدام ما يزيد عن مليون مدخل للحصول على نتائج دقيقة وداعمة للبحث.
بعد استيراد البيانات، تأتي المرحلة التالية وهي استخدام الدالة المخصصة لإنشاء التضمينات. تُستخدم تقنية تضمين النصوص لتوفير تمثيل عددي لكل وصف. يُجري التطبيق استعلاماً إلى OpenAI ويقوم بحفظ النتائج في Zilliz. يُفضل معالجة الإدخال في دفعات، مما يُسهل عملية الإدخال السريع في الحالة التي يتم فيها التعامل مع كميات ضخمة من البيانات. مثلاً، يمكن إعداد الدالة بحيث تعمل على تحويل الأوصاف إلى تضمينات ومن ثم إدخالها في Zilliz على دفعات من 1000 وصف في المرة الواحدة.
استعلام قاعدة البيانات للحصول على نتائج دقيقة
الآن وقد تم إدخال البيانات بنجاح، يمكننا الشروع في استعلام قاعدة البيانات للبحث عن الكتب ذات الصلة. يُسمح للمستخدم بإدخال عبارة أو قائمة بعبارات للبحث. واحدة من الميزات الهامة هي أن النتائج تُظهر العنوان والوصف المرتبط بالكتاب مع نقاط تصنيف واضحة. من خلال واجهة مستخدم بسيطة، يمكن لأي شخص يبحث عن الكتب العثور على الخيارات المناسبة بناءً على الأوصاف المدخلة.
عندما يتم إجراء استعلام ما، تحدد المكتبة المطور لها نقاط التشابه بين التضمينات والبيانات الموجودة في قاعدة البيانات. تُرجع النتائج، مع توضيح ترتيبها بناءً على مدى قربها من الوصف المطلوب. على سبيل المثال، إذا طلب المستخدم كتاباً يتعلق بـ “كتاب عن كلب”، فإن النظام سيبحث في التضمينات ويقدم اقتراحات تتعلق بالكتب التي تتضمن مواضيع مشابهة، مما يُعد مفيداً جداً للمستخدمين الراغبين في اكتشاف كتب جديدة ذات اهتمامات مشابهة.
تساعد هذه الوظائف المتكاملة على تحسين تجربة البحث بشكل ملحوظ، وتتيح للقراء العثور على كتب قد لا يعرفونها، ولكنها تعكس اهتماماتهم. عبر استخدام Zilliz مع OpenAI، يتم توفير واجهة قوية للتفاعل مع البيانات ولتقديم معلومات تفصيلية وبسيطة للمستخدم.
رابط المصدر: https://cookbook.openai.com/examples/vector_databases/zilliz/getting_started_with_zilliz_and_openai
تم استخدام الذكاء الاصطناعي ezycontent
اترك تعليقاً