قمت في الأسبوع الماضي بعرض فكرة أحد المستخدمين من خلال Pro Validate، وهو أداة التحقق من الذكاء الاصطناعي التي قمت بدمجها في MonetScope. لقد عادت PIVOT، ثقة 65٪. لا متابعة، لا وقفة. المحورية.
جلست مع ذلك لمدة عشر ثوان تقريبا. ثم ظهر سؤال غير مريح أكثر: إذا قال المدقق الخاص بي PIVOT لفكرتها، فماذا سيقول لمنتجي الخاص؟
وكانت النتيجة مطمئنة ووحشية على حد سواء. مطمئن لأنه أثبت أن الأداة ليست مصممة للتملق. وحشية لأن الأسباب الثلاثة التي قدمتها لي كانت بالضبط الأجزاء التي كنت أتجنبها بهدوء.
تعاني معظم أدوات "التحقق من فكرة الذكاء الاصطناعي" من مشكلة المصداقية. أنت تطعمهم فكرة، وتستعيد شيئًا يبدو ذكيًا، وليس لديك أي فكرة عما إذا كانت الإجابة ستكون مختلفة إذا كتبت شيئًا مختلفًا تمامًا. نفس المدخلات لا تعطي دائما نفس المخرجات. فالمخرج لا يكشف عن أدلته. إنها فقط تقول بثقة نعم.
ولهذا السبب قمت ببناء Pro Validate بالطريقة التي قمت بها. ترتبط كل إشارة في التقرير بمنشورات Reddit أو Hacker News أو X الفعلية التي تبلغه. ولكن هناك اختبارًا أعمق لم أجريه بنفسي: هل ستخبرني الأداة بالنفي؟
هذا السؤال هو الشيء الوحيد الذي يهم. لأنه إذا كانت أداة التحقق الخاصة بك تعطي "متابعة" لكل إدخال يبدو معقولاً (بما في ذلك وصف المنتج الخاص بك)، فهي ليست أداة التحقق. إنها مرآة.