سمعت عن الأخطاء المنهجية في أبحاث السببية وودك تعرف وش هي أو تبي تعرف وش ممكن يفسر نتائج الدراسات. في هالمحاضرة أشرحها بطريقة مختلفة تعتمد على محاكاة للبيانات عشان تصير أقرب للفهم. أبتكلم عنها في هالتغريدات.
shorturl.at
@Acad_Research @SaudiAcademics #البحث_العلمي
shorturl.at
@Acad_Research @SaudiAcademics #البحث_العلمي
الغالبية (إذا مو الكل) مر عليهم مخطط الاختبارات الإحصائية. ممكن يكون بمثابة المرجع للتحليل الإحصائي للدراسة في كثير من الأحيان. أعتقد إن الإعتماد بشكل رئيسي على مثل هالمخططات يضر بجودة الدراسات اللي نسويها لأنه يفترض عدم وجود أخطاء منهجية ويجعل التحليل ثانوي بعد تصميم الدراسة.
قبل ما أبدأ لازم أشرح أحد مقاييس الارتباط بين عاملين اللي يقارن خطر حصول مرض معين في مجموعة بخطر حصول نفس المرض في مجموعة ثانية عن طريق طرحها من بعض (risk difference). إذا كان 0 يعني ما فيه ارتباط (لازم يكون بين 1 و -1). إذا موجب يعني العامل يزيد من خطر المرض (والعكس إذا سالب).
لنفترض عندي عامل (التهاب اللثة) وعامل ثاني (سرطان الفم) وأبي أعرف الارتباط اللي بينهم. فسويت دراسة وطلعت البيانات على هالشكل. خطر حصول سرطان الفم في الناس اللي عندهم التهاب لثة 0.5 وفي الناس اللي بدون التهاب 0.2. الrisk difference طلع 0.3 (فيه ارتباط بينها لأنه مو 0).
السؤال ليش طلع فيه ارتباط بين التهاب اللثة وسرطان الفم في الدراسة! وش الأشياء اللي ممكن تفسر وجود هالارتباط ؟ هل لأنه التهاب اللثة فعلاً يسبب سرطان الفم؟ ولا فيه تفسيرات ثانية؟
أي ارتباط بين عاملين في الحياة لا يخرج من أحد 6 تفسيرات أو أكثر (تشمل الخطأ العشوائي أو أخطاء منهجية).
أي ارتباط بين عاملين في الحياة لا يخرج من أحد 6 تفسيرات أو أكثر (تشمل الخطأ العشوائي أو أخطاء منهجية).
الخطأ العشوائي يأثر على معايير تشتت البيانات (التبياين/الانحراف المعياري) وممكن يأثر على مقاييس الارتباط مثل الrisk difference. بينما الخطأ المنهجي يأثر على مقاييس الارتباط فقط. الخطاً العشوائي مرتبط بالدقة والمنهجي مرتبط بالصحة كما هو موضح في الصورة.
طيب كيف ممكن الخطأ العشوائي يفسر الارتباط بين التهاب اللثة وسرطان الفم؟
لنفترض إن فعلاً ما فيه ارتباط بين هالعاملين (risk difference=0) في مجتمع مكون من مئة ألف نسمة لكن حنا ما عندنا المعلومة هذي وحابين نعرف. فنسوي دراسة بأخذ عينة عشوائية من 50 واحد ونحسب الrisk difference.
لنفترض إن فعلاً ما فيه ارتباط بين هالعاملين (risk difference=0) في مجتمع مكون من مئة ألف نسمة لكن حنا ما عندنا المعلومة هذي وحابين نعرف. فنسوي دراسة بأخذ عينة عشوائية من 50 واحد ونحسب الrisk difference.
وطلع عندنا الrisk difference 0.15 (مو نفس الصح اللي هو 0 ومقدار الخطأ 0.15). عدنا الدراسة وأخذنا عينة عشوائية مرة ثانية من 50 واحد وطلع الrisk difference 0.10 (الخطأ كان 0.10). بالصدفة ما حصلت على الrisk difference الصحيح (0). لو أعيد الدراسة 100 مرة ثنتين بتكون صح! الخطأ كبير.
كيف ممكن أقلل الخطأ العشوائي؟
لاحظ انه لو زدنا العينة راح تزيد المرات اللي نحصل على الإجابة الصح بس مو معقول انه حتى لو ناخذ 20 ألف يمكن نحصل على الإجابة الخطأ في 20% من المرات! الحلو في الموضوع ان مقدار الخطأ راح يكون ضئيل جداً.الخطأ العشوائي يقل مع زيادة العينة (المنهجي لا).
لاحظ انه لو زدنا العينة راح تزيد المرات اللي نحصل على الإجابة الصح بس مو معقول انه حتى لو ناخذ 20 ألف يمكن نحصل على الإجابة الخطأ في 20% من المرات! الحلو في الموضوع ان مقدار الخطأ راح يكون ضئيل جداً.الخطأ العشوائي يقل مع زيادة العينة (المنهجي لا).
شرحت الخطأ العشوائي فخل ننتقل للأخطاء المنهجية بالترتيب:
-التحيز الناتج عن التحيير.
-التحيز الناتج عن اختيار العينة (قد تشمل البيانات المفقودة).
-التحيز التانج عن خطأ في القياس.
-البيانات المفقودة.
للأسف غالباً نتصرف وكأنها غير موجودة في أبحاثنا (نفترض افتراضات قوية جداً).
-التحيز الناتج عن التحيير.
-التحيز الناتج عن اختيار العينة (قد تشمل البيانات المفقودة).
-التحيز التانج عن خطأ في القياس.
-البيانات المفقودة.
للأسف غالباً نتصرف وكأنها غير موجودة في أبحاثنا (نفترض افتراضات قوية جداً).
افتراض عدم وجود أخطاء منهجية من الافتراضات اللي مبنية عليها ال p-value و الconfidence interval وممكن يكون افتراض خاطئ (كفيل بأنه يعطي p-value و confidence interval خطاً). لازم ما ناخذ هالافتراض كشيء بديهي (نتأكد منه في التحليل الإحصائي).
ذكرت من قبل اننا نركز على مخططات الاختبارات الإحصائية. الاعتماد على هالمخطط مسموح في حالات معينة من التجارب السريرية بوجود افتراضات غالباً ما تتحقق. حتى لو تحققت لا يتم التركيز على التأثير السببي المراد الحصول عليه من الدراسة (مقارنة بين أي مجموعات؟).
طيب وإذا صار عندي خطأ منهجي وش المشكلة؟
باختصار راح يأثر على نتائج الدراسة وخلاصتها واللي ممكن تأثر على السياسات والدلائل الارشادية الاكلينيكية وطريقة ممارسة الطب (تقدر تتخيل تبعات الموضوع على كورونا!).
باختصار راح يأثر على نتائج الدراسة وخلاصتها واللي ممكن تأثر على السياسات والدلائل الارشادية الاكلينيكية وطريقة ممارسة الطب (تقدر تتخيل تبعات الموضوع على كورونا!).
قبل ما أشرح الأخطاء المنهجية لازم اني أتكلم عن ميكانيكية توليد البيانات. هذي قوانين الحياة اللي تؤدي إلى ظهور البيانات في الواقع. كمثال معادلة نيوتن هي اللي تحكم سقوط قلم (في الشريحة). نيوتن اضطر يتعرف على هالقانون.
ميكانيكية توليد البيانات في العلوم الاجتماعية والطب غير واضحة زي ما هي في الفيزياء (مو معناته انها غير موجودة). أقرب شيء لهالميكانيكية هي الرسوم السببية.
فمثلاً لو رسمت سهم من التهاب اللثة لسرطان الفم أقصد انه يسببه risk difference≠0
من دوم سهم يعني ما يسبب risk difference=0
فمثلاً لو رسمت سهم من التهاب اللثة لسرطان الفم أقصد انه يسببه risk difference≠0
من دوم سهم يعني ما يسبب risk difference=0
ذكرت في أول تغريدة إني راح أشرح الأخطاء المنهجية باستخدام المحاكاة بس السؤال ليش؟ باختصار المحاكاة تطلعلك بيانات بناء على ميكانيكية توليد معينة تخليك عارف الارتباط الحقيقي (السببي) بين العوامل وتقدر تقارنه بالارتباط اللي في البيانات. هالشيء بيساعدنا في فهم الأخطاء المنهجية.
خل نبدأ بأول خطأ منهجي. لو الميكانيكية الحقيقية بين التهاب اللثة وسرطان الفم كانت على هالشكل (الالتهاب ما يسبب سرطان والتدخين يسبب الاثنين). هل ممكن يصير فيه ارتباط بين الالتهاب والسرطان؟ خل نحاكي هالميكانيكية ونشوف. طلع ال RD=0.11. حنا افترضنا في المحاكاة انها 0 فليش طلعت 0.11!
اللي صار انه بهالميكانيكية الالتهاب والسرطان ممكن يرتبطون بطريقة سببية (ما فيه هنا) وبطريقة غير سببية عن طريق التدخين (التدخين يسبب السرطان ويصادف انه المدخنين عندهم التهاب لثة). فالارتباط كان كله عن طريق التدخين (غير سببي). هذا هو التحيير (العاملين يشتركون بمسبب لهم).
طيب كيف نقدر نحل الموضوع؟
لازم ناخذ التدخين في عين الاعتبار في التحليل الإحصائي (نتحكم فيه أو نجمده). فبعد ما تحكمنا في التدخين طلع ال RD=0.02 (مرة قريب من 0 اللي هو الRD الحقيقي). التحيير ما يصير في الدراسات التجريبية لكن يصير في دراسات الملاحظة.
لازم ناخذ التدخين في عين الاعتبار في التحليل الإحصائي (نتحكم فيه أو نجمده). فبعد ما تحكمنا في التدخين طلع ال RD=0.02 (مرة قريب من 0 اللي هو الRD الحقيقي). التحيير ما يصير في الدراسات التجريبية لكن يصير في دراسات الملاحظة.
طبعاً فيه طرق كثيرة للتعرف على عوامل التحيير في الدراسات وأفضلها باستخدام الرسوم السببية. بعد تحديد العوامل لازم تأخذها في عين الاعتبار في تصميم الدراسة أو في التحليل الإحصائي. الطريقة اللي كانت في التغريدة السابقة هي regression.
في الواقع الميكانيكية أعقد من مثالنا (آخر صورة).
في الواقع الميكانيكية أعقد من مثالنا (آخر صورة).
شرحت الخطأ المنهجي الأول (التحيير) فخل ننتقل للخطأ اللي بعده.
لو عندك قرشين مستقلة وأطلب منك ترمي الثنين وتسجل النتيجة (وجه أو قفا) وتعيد التجربة 100 مرة. لو نحسب الارتباط بينها باستخدام الcorrelation يطلع 0.02 (إذا عرفت نتيجة القرش الأول ما تقدر تعرف نتيجة الثاني).
لو عندك قرشين مستقلة وأطلب منك ترمي الثنين وتسجل النتيجة (وجه أو قفا) وتعيد التجربة 100 مرة. لو نحسب الارتباط بينها باستخدام الcorrelation يطلع 0.02 (إذا عرفت نتيجة القرش الأول ما تقدر تعرف نتيجة الثاني).
طيب لو أقولك لا تسجل كل ال100 مرة بس سجل المرات اللي كان فيها القرش الأول وجه أو الثاني وجه. حطيتلك النتائج فهل تشوف فيها شيء؟
أبعطيك تلميحة (ركز على لما تكون نتيجة قرش قفا أو tails).
أبعطيك تلميحة (ركز على لما تكون نتيجة قرش قفا أو tails).
لاحظ إنه لما يكون قرش قفا الثاني دائماً وجه (إذا عرفت نتيجة القرش الأول تقدر تعرف نتيجة القرش الثاني). لو نحسب الارتباط بين القرشين الحين بيطلع 0.47- (ارتباط عكسي). ميكانيكية توليد البيانات في الصورة الثانية (إذا القرش الأول وجه يسبب اختيار التجربة وبعد إذا القرش الثاني كان وجه).
فلما نحلل كل التجارب ال100 ما يكون فيه ارتباط بس لما نحلل التجارب ال77 اللي اخترناها يصير فيه ارتباط عكسي (لما القرش الأول وجه وسبب اختيار التجربة القرش الثاني قفا والعكس صحيح). هذا الخطأ المنهجي الثاني بسبب اختيار العينة (العاملين يسببون نفس النتيجة وفقط نحلل جزء من النتيجة).
خل نرجع لمثالنا السابق (الاتهاب والسرطان). لو الميكانيكية بهالشكل (الالتهاب ما يأثر على السرطان وكلهم يأثرون على المشاركة في الدراسة). لو نحلل الارتباط في كل الناس (اللي شاركوا أو لا) الارتباط بيكون صحيح اللي هو 0 (RD=-0.01). لكن لما نحلل بس اللي شاركوا الRD=-0.12 (لازم يكون 0).
شرحت الخطأ المنهجي الثاني (اختيار العينة) فخل ننتقل للخطأ الأخير.
لو عندنا مجتمع من 1000 و50% عندهم سرطان في الواقع باستخدام أفضل مقياس. بس في دراستنا قسنا السرطان بأداة ثانية وطلع كل الناس اللي عندهم سرطان بأفضل مقياس برضو عندهم سرطان بمقياس الدراسة (نفس الشيء للي ما عندهم).
لو عندنا مجتمع من 1000 و50% عندهم سرطان في الواقع باستخدام أفضل مقياس. بس في دراستنا قسنا السرطان بأداة ثانية وطلع كل الناس اللي عندهم سرطان بأفضل مقياس برضو عندهم سرطان بمقياس الدراسة (نفس الشيء للي ما عندهم).
طبعاً هذا ما يصير الا في مدينة أفلاطون. في الواقع أغلب المقاييس حقتنا (إذا مو كلها) مو دقيقة 100% (فيه ناس عندهم سرطان في الواقع بس مقياسنا بالغلط ما يصيدهم وفيه ناس ما عندهم سرطان في الواقع بس المقياس يبين ان عندهم سرطان بالغلط).
خل نرجع لمثالنا السابق (الاتهاب والسرطان). لو الميكانيكية بهالشكل (الالتهاب يأثر على السرطان RD=0.2). لكن بدل ما نقيس التهاب اللثة بفحص الفم أسأل الناس إذا عندهم التهاب أو لا (فيه ناس في الواقع عندهم التهاب بس يقولون ما عندنا! وفيه ناس في الواقع ما عندهم التهاب بس يقولون عندنا!)
لو نجي نحسب الارتباط بين الالتهاب والسرطان بعد ما قسنا الالتهاب بسؤال بدل فحص يطلع عندنا ال RD=0.12 (لكن المفترض يصير 0.20). هذا الخطأ المنهجي الثالث بسبب القياس الغير مثالي. باختصار أحد العاملين أو أكثر قسناها بشكل خاطئ (ممكن يشمل العوامل المحيرة).
وهذي صورة تختصر التفسيرات الستة لأي ارتباط بين عاملين.
طيب الآن شرحت الأخطاء المنهجية لكن السؤال هل تصير في دراسات معينة؟
صحيح إن الدراسات التجريبية ما يصير فيها خطأ التحيير لكن ممكن يصير فيها خطأ بسبب اختيار العينة أو بسبب القياس الغير مثالي. الحلو إن فيه طرق للتعامل مع الأخطاء المنهجية لكن تحتاج خبرات عالية في التحليل.
صحيح إن الدراسات التجريبية ما يصير فيها خطأ التحيير لكن ممكن يصير فيها خطأ بسبب اختيار العينة أو بسبب القياس الغير مثالي. الحلو إن فيه طرق للتعامل مع الأخطاء المنهجية لكن تحتاج خبرات عالية في التحليل.
أحب أوضح بأن هدف العلوم إنك تبين إن نتيجة دراستك خطأ. وكل الدراسات مبنية على افتراضات فكون اننا ما صرحنا فيها ما يعني انها مو موجودة! وواجبنا اننا ننأكد إذا هالافتراضات صحيحة أو لا.
الرسالة؟
تصميم الدراسات وتحليلها مو سهل ويحتاج خبرات من ناس ملمين بصلب موضوع البحث وآخرين ملمين في طرق البحث والتحليل (إحصائيين ووبائيين وعلماء بيانات). لا يمكن فصل السؤال البحثي عن الأهداف وتصميم الدراسة والتحليل الإحصائي فعشان كذا لا بد من تكوين الفريق البحثي من البداية.
تصميم الدراسات وتحليلها مو سهل ويحتاج خبرات من ناس ملمين بصلب موضوع البحث وآخرين ملمين في طرق البحث والتحليل (إحصائيين ووبائيين وعلماء بيانات). لا يمكن فصل السؤال البحثي عن الأهداف وتصميم الدراسة والتحليل الإحصائي فعشان كذا لا بد من تكوين الفريق البحثي من البداية.
جاري تحميل الاقتراحات...