في عصر تتزايد فيه الحاجة إلى استغلال البيانات وتحليلها، تبرز قواعد البيانات المتجهة كأداة حيوية لتمكين الذكاء الاصطناعي من التعامل مع كميات هائلة من المعلومات. يُعَد نظام Azure Data Explorer المعروف باسم “Kusto” من الحلول المتقدمة التي تجعل من الممكن تخزين وإدارة تمثيلات البيانات، أو ما يعرف بـ “embeddings”، بشكل فعال. في هذه المقالة، سنستعرض كيفية استخدام Kusto كقاعدة بيانات متجهة، حيث سنتناول الخطوات اللازمة لتحميل وتخزين البيانات المتجهة المستخرجة بواسطة واجهة برمجة تطبيقات OpenAI، إلى جانب إجراء عمليات بحث موجهة تعتمد على تشابه البيانات باستخدام تقنيات متقدمة. تابعونا لاستكشاف هذا الموضوع الذي يستقطب اهتمام الباحثين والمطورين في مجال الذكاء الاصطناعي وتحليل البيانات!
استخدام Kusto كقاعدة بيانات للمتجهات
تعتبر Kusto، والمعروفة أيضًا باسم Azure Data Explorer، من الأدوات الهامة في مجال الذكاء الاصطناعي، حيث تتيح للمستخدمين إمكانية معالجة وتحليل كميات كبيرة من البيانات بسرعة وكفاءة. يناقش هذا القسم كيفية استخدام Kusto كقاعدة بيانات للمتجهات، بما في ذلك تخزين المتجهات المستخرجة من نماذج الذكاء الاصطناعي وإجراء عمليات البحث المتقدمة باستخدام تقنيات المقارنة المثلثية. تعتبر هذه العملية أمرًا حاسمًا خاصة في سياقات مثل معالجة اللغة الطبيعية والتعلم العميق، حيث تتطلب النماذج معالجة بيانات على شكل متجهات لتعكس السمات والخصائص المعقدة.
يتطلب الاستخدام الفعال لـ Kusto كقاعدة بيانات للمتجهات إعداد بيئة مناسبة تتضمن خادم Kusto وعناصر أخرى مثل مفاتيح واجهة برمجة التطبيقات لـ OpenAI. الخطوة الأولى تكون بتحضير البيانات، وهو ما يتم عن طريق تحميل المتجهات المحضرة مسبقًا من مصادر مثل مقالات ويكيبيديا المُدمجة. بعد تحميل البيانات، يجب علينا تخزينها بمزيد من التنظيم في قاعدة البيانات، على شكل جداول تحتوي على المتجهات وغيرها من المعلومات.
هذا يفتح المجال أمام أنواع جديدة من الاستفسارات، مثل تحسين عمليات البحث عن المعلومات استنادًا إلى المعايير الشبيهة بالمفاهيم، مما يجعل عمليات البحث أكثر دقة وفعالية. على سبيل المثال، إذا كان لديك مجموعة من مقالات ويكيبيديا المخزنة، يمكنك استخدام Kusto لإجراء بحث عن مقالات مشابهة تحتوي على محتوى متطابق بحسب المتجه الموجود في قاعدة البيانات.
إعداد واجهة برمجة التطبيقات لـ OpenAI والحصول على المتجهات
بعد أن يتم إعداد Kusto كقاعدة بيانات، فإن الخطوة التالية هي إعداد مفاتيح واجهة برمجة التطبيقات لاتحاد OpenAI التي ستُستخدم لتوليد المتجهات من النصوص. يجب على المستخدم التأكد من استخدام النموذج الصحيح प्रदानًا للتمثيل، وفي هذه الحالة، غالبًا ما يُفضل استخدام نموذج “text-embedding-3-small”. هذه العملية لا تتطلب فقط الحصول على المفاتيح، بل أيضًا إعداد الأذونات الصحيحة وعدد من المكتبات في Python مثل مكتبة “openai” التي تتيح لك الاتصال بخدمة OpenAI وإجراء المناورات السريعة.
بمجرد إعداد كود API بشكل صحيح، يمكنك إرسال نصوص للاستعلام عنها، وتطبيق نموذج المتجهات لتحويل هذه النصوص إلى هيكل متجه. يتيح لك ذلك تهيئة البيانات بحيث تتمكن من إدماجها في قاعدة بيانات Kusto لاستخدامها لاحقًا في عمليات البحث والمقارنة الحسابية المتقدمة.
من المهم أيضًا ملاحظة أن الأداء يتأثر بشدة بكيفية إعداد واستخدام هذه التطبيقات معًا. فعلى سبيل المثال، عند إرسال نص للاستعلام، سترجع هذه العملية متجهات يمكن استخدامها في تقنيات البحث المثلثية للتحقق من مدى اتصال النصوص المخزنة بالاستعلام. يعزز هذا التعاون بين OpenAI وKusto من قوة النظام بأكمله، مما يوفر معلومات بسرعة أكبر ويعزز من دقة نتائج البحث.
إجراء البحث الدلالي باستخدام Kusto
البحث الدلالي هو أحد الاستخدامات الرئيسية لـ Kusto كقاعدة بيانات للمتجهات، حيث تساعد الكفاءة العالية في تحليل البيانات وفهم النصوص على تحقيق استجابة دقيقة وفعالة. يعتمد هذا الأسلوب على المقارنة المثلثية بين المتجهات المخزنة والمتجه الناتج عن الاستعلام، مما يسمح للمستخدمين بالعثور على معلومات متعلقة بشكل أكثر دقة.
عند تنفيذ البحث عن طريق Kusto، يتم إنشاء استعلام يتم بناؤه باستخدام معلومات من قاعدة البيانات بالإضافة إلى المتجه الناتج عن استعلام المستخدم. تستخدم Kusto دالة خاصة تُعرف باسم “series-cosine-similarity-fl” لتعزيز فعالية البحث. تتيح هذه الدالة مقارنة المتجهات بشكل متسارع وتحديد 10 من العناصر الأكثر تشابهًا استنادًا إلى مسافة الزاوية بين المتجهات. هذه الأساليب تعكس فكرة الفهم المنطقي للمعلومات بدلاً من الاعتماد فقط على البيانات الحرفية.
من خلال عمليات البحث الدلالية، يمكن للمستخدمين إجراء استعلامات مثل “أماكن العبادة” أو “أحداث مؤسفة في التاريخ”، مما ينتج عنه استرجاع مقالات ذات صلة من قاعدة البيانات، مما يشجع على الانغماس العميق في الموضوعات المعقدة. التطبيقات العملية لهذه العملية عديدة، من دعم اتخاذ القرار في الأعمال التجارية إلى تحسين تجربة المستخدم في التطبيقات والمواقع الإلكترونية.
رابط المصدر: https://cookbook.openai.com/examples/vector_databases/kusto/getting_started_with_kusto_and_openai_embeddings
تم استخدام الذكاء الاصطناعي ezycontent
اترك تعليقاً