افزایش شفافیت و قابل اعتماد بودن هوش مصنوعی در مراقبت های بهداشتی

این قسمت پنجم الف است سری وبلاگ در مورد مدل های پیش بینی، هوش مصنوعی (AI) و یادگیری ماشین (ML) در سلامت. ما خوانندگان را تشویق می‌کنیم که از چهار پست قبلی وبلاگ برای یافتن زمینه‌های مهم در ادامه (دوباره) بازدید کنند.

از طریق مجموعه‌ای از پست‌های وبلاگ در سال گذشته، درک خود را از کاربردهای فعلی و بالقوه مدل‌های پیش‌بینی‌کننده و الگوریتم‌های یادگیری ماشین در مراقبت‌های بهداشتی و نقشی که ONC می‌تواند در شکل‌دهی به توسعه و استفاده از آنها ایفا کند، شرح داده‌ایم. در این پست، نقاط بین درک خود از این چشم انداز و قانون پیشنهادی خود را با عنوان داده های سلامت، فناوری و قابلیت همکاری: به روز رسانی های برنامه صدور گواهینامه، شفافیت الگوریتم و به اشتراک گذاری اطلاعات یا HTI-1 به هم وصل خواهیم کرد.

بازنگری معیار گواهی پشتیبانی تصمیم موجود ONC برای شامل AI، ML، و سایر پشتیبانی های تصمیم گیری پیش بینی کننده

در دو پست اول خود، روندهای اساسی و تاریخچه مهم مربوط به استفاده از فناوری اطلاعات (IT) (نرم افزار) را برای کمک به تصمیم گیری در مراقبت های بهداشتی شرح دادیم. در اولین پست خود، اشاره کردیم که بخش مراقبت های بهداشتی در مرحله نوپایی قرار دارد که در آن مدل های پیش بینی بیشتر، به ویژه آنهایی که توسط یادگیری ماشین هدایت می شوند، برای اطلاع رسانی جنبه های متعدد مراقبت های بهداشتی استفاده می شوند. ما همچنین خاطرنشان کردیم که فناوری اطلاعات سلامت تایید شده، به‌ویژه پرونده‌های سلامت الکترونیکی (EHRs)، به طور فزاینده‌ای به عنوان منبع داده و مکانیزم تحویل برای خروجی مدل‌های پیش‌بینی‌کننده، اغلب به عنوان توصیه‌هایی به پزشکان و سایر کاربران فناوری اطلاعات سلامت تایید شده، عمل می‌کند.

در پست بعدی، با توصیف تاریخچه معیار صدور گواهینامه پشتیبانی تصمیم بالینی (CDS) و الزامات موجود ما که فناوری اطلاعات سلامت تایید شده از «تصمیم مبتنی بر شواهد» پشتیبانی می‌کند، بیشتر به نقش ONC در پیشبرد توسعه و استفاده از فناوری برای پشتیبانی تصمیم‌گیری می‌پردازیم. از مداخلات پشتیبانی می کند، «CDS ارجاعی مرتبط»، و اطلاعات «ویژگی منبع» را به کاربران ارائه می دهد، مانند اطلاعات کتابشناسی CDS. این رویکرد منجر به چشم‌اندازی پویا و شکوفا از فناوری‌های پشتیبانی تصمیم شده است که از نظر هدف و دامنه متفاوت است، از ایمنی بیمار و مدیریت بالینی گرفته تا عملکردهای اداری و مستندسازی. رویکرد ما به DSI ها در قانون پیشنهادی این مشاهدات را منعکس می کند:

پیشنهاد ONC در HTI-1: با توجه به مرکزیت فناوری اطلاعات سلامت تایید شده برای این فناوری‌های نوظهور، و الزامات موجود ما برای CDS، پیشنهاد می‌کنیم «مداخلات پشتیبانی تصمیم‌گیری پیش‌بینی‌کننده» یا DSIs پیش‌بینی‌کننده را به عنوان بخشی از نسخه اصلاح‌شده معیار گواهی CDS تعریف کنیم. این تعریف شامل بسیاری از انواع مدل‌های پیش‌بینی است که ما شاهد ظهور آن‌ها در سراسر مراقبت‌های بهداشتی هستیم، از جمله مدل‌هایی که توسط طرف‌های دیگر مانند سیستم‌های بهداشتی یا شرکت‌های فناوری ایجاد شده‌اند و از طریق فناوری اطلاعات سلامت تایید شده توسعه‌دهندگان به کار گرفته شده‌اند.

نکته مهم این است که پیشنهاد ما نیازی به پشتیبانی تایید شده فناوری اطلاعات سلامت از DSI های پیش بینی کننده ندارد. در عوض، ما پیشنهاد می‌کنیم که ماژول‌های فناوری اطلاعات سلامت که یک DSI پیش‌بینی‌کننده را فعال می‌کنند یا با آن ارتباط برقرار می‌کنند، گام‌های خاصی را برای کاربران خود بردارند.

ما همچنین پیشنهاد می‌کنیم از الزامات موجود خود برای ویژگی‌های منبع استفاده کنیم تا اطمینان حاصل کنیم که کاربران می‌دانند چه زمانی داده‌های مربوط به برابری سلامت، مانند نژاد، قومیت، و عوامل اجتماعی تعیین‌کننده سلامت در DSI استفاده می‌شوند. پیشنهاد ما همچنین شامل یک عملکرد جدید برای فعال کردن “حلقه های بازخورد” کاربر در عملکرد این DSI ها است.

ارتقاء دسترسی الکترونیکی مداوم و معمول به اطلاعات فنی و عملکرد در پشتیبانی تصمیم گیری پیش بینی شده

در پست‌های سوم و چهارم، نگاه انتقادی‌تری به خطراتی که DSI‌های پیش‌بینی‌کننده می‌توانند باعث آسیب شوند، انداختیم. برخی از این خطرات شامل پتانسیل DSI های پیش بینی کننده است:

بازتولید یا تقویت سوگیری های ضمنی و ساختاری جامعه، بهداشت و ارائه مراقبت های بهداشتی؛
ایجاد تفاوت های موجود و غیرقابل توضیح در مراقبت های بهداشتی و نتایج سلامت و
از جمله توصیه هایی به کاربرانی ارائه دهید که ناکارآمد یا ناایمن هستند.

در طول یک جلسه استماع عمومی کمیته مشاوره فناوری اطلاعات سلامت درباره مفهوم برابری سلامت بر اساس طراحی در سال گذشته، یکی از مجریان خاطرنشان کرد که پزشکان نیازهای برآورده نشده برای اطلاعات و شفافیت دارند و تا زمانی که این نیازها برآورده نشوند، پزشکان بعید به نظر می‌رسند که از ابزارهای مبتنی بر ML استفاده کنند. یا خطر استفاده نادرست از آنها برای بیماران خود را دارند. به عنوان مثال، شرکت کنندگان در پانل خاطرنشان کردند که پزشکان باید بدانند که یک محصول هوش مصنوعی در شرایط مراقبت آنها ارزیابی شده است، این فناوری بر روی داده هایی آموزش دیده است که جمعیت عمل آنها را منعکس می کند، و اینکه محصول به طور مداوم نظارت خواهد شد. ما همچنین شنیدیم که فناوری مبتنی بر ML نابرابری‌های سیستمی را بازآفرینی یا تشدید کرده است که با عدم دسترسی افراد به بیمه سلامت و مراقبت با کیفیت همراه است و پتانسیل انجام این کار را در مقیاس بزرگ‌تر دارد. رویکرد قانون پیشنهادی برای افزایش شفافیت الگوریتمی برای کاربران، کمک به رفع نگرانی‌هایی است که درباره خطرات الگوریتم‌ها در EHR شنیده‌ایم:

پیشنهاد ONC در HTI-1: برای رسیدگی به طیف وسیعی از خطرات احتمالی، پیشنهاد می‌کنیم که ماژول‌های فناوری اطلاعات سلامت که یک DSI پیش‌بینی‌کننده را فعال می‌کنند یا با آن ارتباط برقرار می‌کنند، اطلاعاتی را در چهار دسته از ویژگی‌های منبع مرتبط با استفاده مورد نظر به کاربران ارائه دهند. توسعه؛ ارزیابی اعتبار، انصاف و اثربخشی؛ و نظارت مستمر و استفاده از DSI های پیش بینی کننده (اطلاعات فنی و عملکرد)، از جمله اطلاعات خاص اضافی مربوط به عدالت. ما قصد داریم اطلاعاتی را در مورد ویژگی های منبع ارائه کنیم تا کاربران بالقوه را قادر به تعیین اینکه آیا DSI پیش بینی منصفانه، مناسب، معتبر، موثر، و ایمن است یا FAVES است.

در حالی که بسیاری از افراد علاقه مند اصطلاحات مختلفی برای توصیف آنچه ما به عنوان FAVES می نامیم دارند، ما معتقدیم که هر مفهوم FAVES – و آن مفاهیم مرتبط که در مخفف جذاب ما گنجانده نشده اند، مانند قابل اعتماد یا امن – برای توصیف جنبه های قابل اعتماد یا ” الگوریتم با کیفیت بالا

ارتقاء مدیریت شفاف ریسک برای حمایت از تصمیم گیری پیش بینی و مدیریت آن

همچنین در پست چهارم اشاره کردیم که اطلاعات مربوط به توسعه و اعتبارسنجی مدل‌ها به تنهایی برای جلوگیری از آسیب ناشی از استفاده از مدل‌های پیش‌بینی در صنعت خدمات مالی کافی نیست و نظارت اضافی مربوط به شایستگی‌های سازمانی (یعنی حاکمیت) برای مدیریت ریسک‌ها مربوط به DSI های پیش بینی نیز برای جلوگیری از آسیب لازم بود. نمونه‌هایی از صنایع دیگر و همچنین نگرانی‌های رو به رشد بیمار، ارائه‌دهنده و صنعت در مورد حاکمیت هوش مصنوعی بخش‌هایی از قانون پیشنهادی مربوط به حاکمیت و مدیریت داده‌ها را نشان می‌دهد:

پیشنهاد ONC در HTI-1: با تکیه بر تجربیات صنعت خدمات مالی، ما پیشنهاد می‌کنیم که از توسعه‌دهندگان فناوری اطلاعات سلامت تایید شده بخواهیم که اطلاعات مربوط به شیوه‌های مدیریت ریسک مداخله مربوط به تجزیه و تحلیل ریسک، کاهش ریسک و حاکمیت را انجام دهند، مستند کنند و اطلاعاتی را در دسترس عموم قرار دهند. ما چندین دسته ریسک را شناسایی می‌کنیم که به‌تازگی با چارچوب مدیریت ریسک هوش مصنوعی NIST که اخیراً منتشر شده است، از جمله ریسک‌های مربوط به اعتبار، قابلیت اطمینان، حریم خصوصی و امنیت مرتبط هستند. ما همچنین پیشنهاد می‌کنیم که توسعه‌دهندگان شیوه‌های حاکمیت و مدیریت داده‌های خود را توصیف کنند، با توجه به اینکه می‌دانیم بسیاری از ریسک‌ها تحت تأثیر میزان، کیفیت، منبع و نمایندگی داده‌های مورد استفاده برای توسعه مدل‌های پیش‌بینی هستند.

نقش ONC در پیشبرد فناوری پیش بینی شفاف و قابل اعتماد در مراقبت های بهداشتی

فناوری های پیش بینی کننده در مراقبت های بهداشتی ارزش فوق العاده ای دارد. با هم، پیشنهادات ما به منظور بهینه سازی استفاده از الگوریتم های با کیفیت بالا در مراقبت های بهداشتی است. ما معتقدیم که این الزامات پیشنهادی شفافیت را بهبود می‌بخشد، اعتماد را ارتقا می‌بخشد، و توسعه و استفاده گسترده‌تر از DSIs پیش‌بینی‌کننده FAVES را برای اطلاع‌رسانی تصمیم‌گیری‌ها در طیف وسیعی از موارد استفاده در صنعت مراقبت‌های بهداشتی، از جمله بالینی، اداری، و سلامت عمومی ایجاد می‌کند. شفافیت اطلاعاتی حاصل، استقرار این فناوری‌ها را به روش‌های ایمن‌تر، مناسب‌تر و عادلانه‌تر ممکن می‌سازد.

حتماً قانون پیشنهادی HTI-1 و برگه اطلاعات آینده DSI را بررسی کنید تا جزئیات پیشنهادات ما را درک کنید. قانون پیشنهادی از 18 آوریل 2023 تا 20 ژوئن 2023 برای اظهار نظر عمومی باز می شود.