ما يجب أن يتضمنه السجل
يكمن الاختبار في معرفة ما إذا كان السجل وحده يكفي لتفسير القرار دون الحاجة إلى الوصول إلى النظام قيد التشغيل.
- المدخلات كما وردت
- أو مرجع ثابت له. إذا كان المصدر قابلاً للتغيير، فقم بتخزين قيمة التجزئة حتى تتمكن من إثبات ما رأيته.
- السياق المسترجع
- أي مستندات، وأي أجزاء، وأي إصدارات. لا يمكن تفسير نتيجة البحث بدون هذه المعلومات.
- إصدارات النموذج والموجه
- كلاهما. عبارة «نموذج من فئة GPT، مع بعض المطالبات» لا توضح شيئًا. هذا هو المجال الذي يحول اللغز إلى فرق.
- النتيجة كما تم إنتاجها
- قبل إجراء أي معالجة لاحقة، وكذلك النسخة المعالجة إن اختلفت عن النسخة الأصلية.
- الثقة والبدائل
- عندما يوفرها النموذج. فالقرار الذي يُتخذ عند مستوى 0.51 يروي قصة مختلفة عن القرار الذي يُتخذ عند مستوى 0.99.
- أدوات تُسمى
- مع عرض الحجج والنتائج بالترتيب.
- العمل البشري
- هل تمت الموافقة عليه أم تم تجاوزه أم تم تجاهله، ومن الذي قام بذلك؟ إنه الحقل الأكثر أهمية على الإطلاق في المتجر.
الهدف هو عمليات التجاوز
إذا قمت بتسجيل ما قرره النظام فحسب، فسيكون لديك سجل. أما إذا قمت بتسجيل ما فعله شخص ما حيال ذلك، فستكون لديك حلقة تغذية مرتدة.
- كل تجاوز هو حالة «تقييم» محددة، تأتي دون أي شروط، من الأشخاص الذين تعكس حكمهم.
- يُعد ارتفاع معدل التجاوز في فئة معينة أول مؤشر على حدوث انحراف ما، وذلك قبل أن تتغير أي مؤشرات إجمالية بفترة طويلة.
- إن معدل التجاوز القريب من الصفر يعني إما أن النظام ممتاز أو أن لا أحد يقوم بالمراجعة فعليًّا. وكلا الأمرين يستحقان المعرفة، وهما يبدوان متطابقين من الخارج.
- عادةً ما تشير عمليات التجاوز المجمعة في عامل واحد إلى وجود مشكلة في التدريب أو المواصفات، وليس إلى مشكلة في النموذج.
اطلب سبب التجاوز، من قائمة قصيرة محددة بالإضافة إلى نص حر. لن يتم ملء النص الحر وحده؛ كما أن القائمة وحدها لن تكشف عن الحالات المهمة.
ما هي تكلفته، وكيف يمكن الحفاظ على أسعاره في متناول الجميع
تكون السجلات الكاملة كبيرة الحجم، ويرجع ذلك في الغالب إلى السياق المسترجع. ويمكن التعامل مع هذا الأمر إذا اتخذت قرارًا بشأنه في مرحلة مبكرة، بدلاً من الانتظار حتى يصبح التخزين بندًا في الميزانية.
- قم بتخزين الإشارات إلى المستندات، وليس نسخها، مع استخدام قيمة التجزئة لإثبات الإصدار.
- التصنيف حسب العمر: يتم الاحتفاظ بالتفاصيل الكاملة في حالة «ساخنة» لمدة تسعين يومًا، ثم يتم ضغطها ونقلها إلى التخزين «البارد». ستكون للقطاعات الخاضعة للتنظيم هنا حد أدنى للاحتفاظ بالبيانات؛ لذا يجب تحديد هذا الحد قبل البدء في التصميم.
- لا تدع عملية تدوين السجلات تعيق عملية اتخاذ القرار أبدًا. اكتب بشكل غير متزامن، لكن اكتب بشكل دائم؛ فالسجل الذي يتم حذفه يظل غير مرئي حتى تحتاج إليه.
- يجب حجب البيانات عند الكتابة، وليس عند القراءة. فالبيانات الشخصية التي لا ينبغي أن تكون مخزنة يصعب إزالتها بشكل كبير بمجرد تخزينها.
اجعل المسؤولية تقع على عاتق الأشخاص الذين يطرحون الأسئلة
مسار التدقيق الذي لا يمكن الاستعلام عنه إلا من قِبل مهندس البيانات لا يُعتبر مسارًا حقيقيًّا. فالأشخاص الذين يطلبون ذلك هم قادة العمليات ومسؤولو الامتثال، وأحيانًا الجهات التنظيمية.
- شاشة واحدة: أدخل مرجعًا، واطلع على القرار، والأسس المنطقية، والمصادر، والإجراء البشري.
- لغة بسيطة، وليس أسماء الحقول. «تم مطابقته مع المورد "Al Noor Trading" لأن الرقم الضريبي الوارد في الصفحة 2 كان متطابقًا» هي الجملة التي يحتاجها الشخص.
- قابل للتصدير، لأن الجهة التنظيمية ستطلب ملفًا بدلاً من بيانات تسجيل الدخول.
- يمكن البحث عنها باستخدام المعرّفات التي تستخدمها الشركة، وليس باستخدام معرّفاتك الداخلية.
هل تريد أن ننفّذ هذا معك؟
التدقيق هو هذه المنهجية موجّهة إلى أنظمتك، وفي نهايته خطة بناء مُسعّرة.
تحديد موعد مكالمة