سألنا المنتجين نفس العشر طلبات سفر الثابتة، بالإنجليزي وبالعربي، في قعدة واحدة، وراجعنا الأسعار بعدها على طول. كل منتج اتجرّب على واجهته العامة هو: «Ask AI» بتاع KAYAK من غير تسجيل دخول، وChatGPT على الخطة المجانية في محادثة مؤقتة. كل رد اتسجّل فيديو شاشة وعليه كارت وقت. الدرجات على المعايير المنشورة، من 0 لـ5 في كل بند. «N/A» معناها إن البند ماكانش ينفع يتقاس، وعمرها ما بتتحسب صفر. كل درجة بيراجعها شخص.
الدرجات
| البند | KAYAK | ChatGPT |
|---|---|---|
| الفهم | 3.0 | 4.4 |
| السؤال بدل التخمين | 2.1 | 4.2 |
| دقة السعر | 4.0 (4 مراجعات) | 3.0 (مراجعة واحدة) |
| الهلوسة (5 = مفيش) | 4.2 | 4.5 |
| الإتمام | 2.0 | 2.0 |
| الزمن | 3.2 | 4.4 |
| العربي | 1.0 | 3.4 |
| الشفافية | 3.2 | 4.5 |
| المتوسط | 2.83 | 3.79 |
اللي شفناه
- لما طلبنا 30 فبراير، ChatGPT قال إن فبراير السنة الجاية 28 يوم. KAYAK قال إنه 29 وعرض يوم 29، بالإنجليزي وبالعربي.
- KAYAK فهم العشر طلبات العربي كلهم، ورد على العشرة بالإنجليزي. ChatGPT رد على العشرة بالعربي.
- نفس طلب فندق جنب الحرم: KAYAK جاب 3 فنادق بالإنجليزي، ورفض الطلب بالعربي.
- في الأسعار اللي قدرنا نراجعها لنفس التواريخ على Booking.com، أسعار فنادق KAYAK كانت في حدود 2–4% من سعر Booking.com قبل الضرايب. وأرخص أسبوع طيران عنده كان أقل بـ13.6% من أرخص سعر على Google Flights وقت المراجعة.
- ChatGPT كتب على أغلب أسعار الفنادق إنها استرشادية ومش للتواريخ المطلوبة، وقال كده صراحة.
- ولا منتج فيهم كمّل حجز. رد واحد بس من الأربعين سأل «احجزه» يقصد أنهي رحلة.
- رد ChatGPT خلص الأول في 16 طلب من الـ19 اللي اتوقّتوا على المنتجين.
لو كنا مكانهم
KAYAK: رد بنفس اللغة اللي اتسألت بيها · راجع التقويم قبل ما تعرض تاريخ · اسأل سؤال قصير لما المدينة أو عدد المسافرين ناقص.
ChatGPT: سعّر التواريخ اللي الشخص قالها · اسأل قبل ما تفترض المدينة · خلّي المعلومة نفسها في اللغتين.
المنهج والمعايير: /ar/benchmark/