Wie können wir das Risiko einer klinischen Studie mithilfe von KI einschätzen?

Wir haben das Clinical Trial Risk Tool entwickelt, ein Tool zur Risikobewertung klinischer Studien, das KI und NLP nutzt, um das Risiko eines nicht informativen Studienendes zu quantifizieren. Kontaktieren Sie uns, wenn Sie eine individuelle KI-Strategieberatung für das Gesundheitswesen benötigen.

Wenn jemand an einer klinischen Studie teilnimmt, tut er dies in der Überzeugung, dass er damit zur Weiterentwicklung des wissenschaftlichen Wissens beiträgt. Wenn ein Pharmaunternehmen eine Studie finanziert, hofft es, daraus kommerziell nützliche Informationen zu gewinnen. Die Durchführung klinischer Studien ist unglaublich kostspielig, und die durchschnittlichen Kosten einer Phase-3-Studie betragen etwa 20 Millionen US-Dollar .

Bis zu 90 % aller klinischen Studien scheitern jedoch. Eine der wichtigsten Arten von Misserfolgen ist mangelnde Aussagekraft . Das liegt dann vor, wenn eine Studie so konzipiert, durchgeführt oder berichtet wird, dass sie keine wissenschaftlich verwertbaren Informationen liefert. Das bedeutet, dass nach Abschluss der Studie keinerlei Nutzen für Patienten, Ärzte, Forscher oder politische Entscheidungsträger entsteht.

Das bedeutet, dass eine Studie, die nichtssagend endet, für die finanzierende Organisation eine Geldverschwendung und möglicherweise einen Verstoß gegen ethische Grundsätze darstellt, da der Nutzen einer Studie mit menschlichen Probanden das Risiko überwiegen sollte. Wir werden mehrere Beispiele für die Risikobewertung klinischer Studien durchgehen.

Wir haben im Pharmabereich ähnliche Lösungen für die Schätzung der Kosten und Komplexität klinischer Studien sowie für die Verarbeitung anderer Dokumente in der Pharmabranche entwickelt, wie etwa statistische Analysepläne (SAPs), Erkenntnisse wichtiger Meinungsführer (KOL) und Einverständniserklärungen (ICFs).

Notwendige Voraussetzungen für Informativität

Im Jahr 2019 identifizierte ein Forscherteam um Deborah Zarin von der Harvard Medical School fünf Bedingungen für eine aussagekräftige Studie :

1. Die Hypothese befasst sich mit einer wichtigen und ungelösten wissenschaftlichen Frage

2. Ziel der Studie ist es, aussagekräftige Beweise für die Frage zu liefern

3. Die Studie ist durchführbar (es ist also möglich, die erforderliche Anzahl an Teilnehmern zu rekrutieren)

4. Die Studie wird wissenschaftlich valide durchgeführt

5. Die Ergebnisse der Studie werden genau, vollständig und zeitnah berichtet.

Wenn eine dieser Bedingungen nicht erfüllt ist, wird der Prozess wahrscheinlich ohne Ergebnisse enden. Leider gibt es jedoch keinen einheitlichen Überwachungsmechanismus, der alle oben genannten fünf Bedingungen überprüft.

Wenn eine Studie konzipiert und im Rahmen eines Förderantrags bei einer Förderorganisation eingereicht wird, besteht eine der Aufgaben darin, das Studienprotokoll durchzulesen. Dabei handelt es sich um ein 200 Seiten langes PDF-Dokument, in dem detailliert beschrieben wird, wie die Studie geplant, durchgeführt und analysiert wird.

Thomas Woods Präsentation des Clinical Trial Risk Tool beim Dash In Action Webinar von Plotly im Juni 2023.

Welche Risikofaktoren können wir im Protokoll erkennen?

Einige Risikofaktoren für einen nicht informativen Abschluss einer klinischen Studie können bereits in der Phase der Protokollerstellung identifiziert werden, beispielsweise:

1. Für die Studie liegt kein statistischer Analyseplan (SAP) vor oder der bereitgestellte SAP ist unzureichend. Der SAP beschreibt im Detail, wie die Ergebnisse der Studie interpretiert und wissenschaftlich validiert werden, welche statistischen Tests verwendet werden sollen usw. Wenn die Forscher sich nicht ausreichend Gedanken über die statistische Analyse gemacht haben, haben sie möglicherweise die falsche Stichprobengröße gewählt oder auf andere Weise einen schwerwiegenden Fehler im Studiendesign hinterlassen.

2. Für die Studie ist vorgesehen, nicht genügend Teilnehmer zu rekrutieren. Eine Studie mit nur 50 Teilnehmern, die versucht, eine winzige Veränderung des Blutdrucks zu messen, ist risikoreicher als die gleiche Studie mit 500 Teilnehmern, einfach weil es viel schwieriger ist, in den Daten Signal von Rauschen zu unterscheiden.

3. Eine Studie, bei der die Forscher die erwartete Effektstärke nicht untersucht haben. Wenn wir keine Ahnung haben, ob sich die Sterblichkeitsrate durch unsere Intervention um 1 oder 10 Prozentpunkte verringern wird, ist es sehr schwer, über den Rest des Studiendesigns zu entscheiden.

Wie können KI und natürliche Sprachverarbeitung dabei helfen, das Risiko eines Prozesses einzuschätzen?

Das Lesen und Bewerten des Risikos eines klinischen Studienprotokolls ist unglaublich schwierig, da dafür eine große Zahl von Experten aus so unterschiedlichen Bereichen wie Medizin und Statistik erforderlich ist. Das Protokoll ist ein umfangreiches Dokument, die relevanten Informationen können überall im Text enthalten sein, und die für diese Bewertung erforderlichen Personen sind hochqualifiziert und ihre Zeit ist teuer.

Hier kommt die Verarbeitung natürlicher Sprache ins Spiel. Obwohl die Verarbeitung natürlicher Sprache keinen sachkundigen menschlichen Experten ersetzen kann, ist sie hilfreich, um die wichtigsten Punkte im Dokument zu identifizieren, auf die die Experten achten sollten, und um Risiken schnell zu priorisieren und zu kennzeichnen.

So haben wir das Clinical Trial Risk Tool entwickelt

Gemeinsam mit einigen Fachexperten (Klinikern) haben wir eine Reihe von Studien ausgewertet und die unserer Meinung nach wichtigsten Faktoren ermittelt, die zu einem informativen Studienende führen und die bereits in der Protokollphase identifiziert werden können. Die Risikofaktoren, für die wir uns entschieden haben, sind:

• Pathologie: Handelt es sich um einen HIV- oder TB-Versuch? Diese weisen unterschiedliche inhärente Risikostufen auf.

• Liegt ein SAP (Statistischer Analyseplan) vor?

• Wurde die Effektschätzung offengelegt?

• Anzahl der Probanden? Eine Studie mit wenigen Teilnehmern birgt ein höheres Risiko.

• Anzahl der Arme?

• Untersuchungsländer

• Wird im Versuch eine Simulation zur Ermittlung der Stichprobengröße verwendet?

Für jeden dieser Faktoren haben wir mit einem Ensemble aus NLP- Modellen experimentiert, von regelbasierten bis hin zu maschinellem Lernen ( Random Forest und neuronale Netzwerke ), und wir haben bei der Ermittlung dieses Parameters sorgfältig die Genauigkeit , Präzision , den Rückruf und die AUC bewertet.

Wir haben das Tool so konzipiert, dass diese Merkmale in eine Bewertungsformel übernommen werden, die das Protokoll auf einer Skala von 0 bis 100 bewertet. Das Tool kennzeichnet das Protokoll dann als HOCH, MITTEL oder NIEDRIG risikobehaftet.

Das Risikotool für klinische Studien

Schließlich haben wir das Clinical Trial Risk Tool als browserbasierte Webseite ins Internet gestellt, die es dem Benutzer ermöglicht, ein Protokoll im PDF-Format hochzuladen. Das Tool zeigt das Risiko der Studie in einem Ampelsystem zusammen mit der zugehörigen numerischen Bewertung an. Weitere Informationen zum Tool finden Sie auf der Projektblogseite .

Wir haben auch einen Blogbeitrag zu den Genauigkeitsangaben der verschiedenen Komponenten des Tools veröffentlicht .

Verwenden des Tools

Unsere Kunden berichteten, dass sie dank der Tour Protokolle klinischer Studien viel schneller und effizienter bewerten konnten. Selbst wenn das Tool einen bestimmten Parameter nicht richtig identifiziert, hebt es häufig den relevanten Teil des Dokuments hervor, sodass ein Prüfer schnell zur betreffenden Seite blättern kann. Besonders nützlich und zeitsparend ist die Kennzeichnung des Tools bei fehlendem statistischen Analyseplan.

Open-Source-Veröffentlichung des Risikotools für klinische Studien

Wir haben die Benutzeroberfläche so gestaltet, dass sie für nicht-technische Benutzer einfach zu bedienen ist, und wir haben den Code so konzipiert, dass er von jedem Entwickler mit Python- Erfahrung leicht erweitert werden kann. Wir haben den Quellcode des Tools mit einer MIT-Lizenz auf Github gestellt, sodass jeder den Code bearbeitet herunterladen und nach seinen Bedürfnissen erweitern kann. Das Tool konzentriert sich derzeit auf zwei Pathologien (HIV und Tuberkulose), aber wenn Sie das Tool für eine Onkologiestudie verwenden möchten, können Sie es problemlos anpassen.

Zukünftige Arbeit mit dem Tool

In der Vergangenheit haben wir ein ähnliches Tool für Boehringer Ingelheim entwickelt, um die Komplexität eines klinischen Studienprotokolls zu bewerten. Die Komplexitätszahlen können später in ein Finanzmodell einfließen. Dieses Tool zur Risikobewertung von klinischen Studienprotokollen bietet viele potenzielle Einsatzmöglichkeiten und es wäre sinnvoll, es zu erweitern, um mehr Pathologien und Standorte abzudecken und sogar Komplexität, Kosten oder andere Parameter als das Risiko abzuschätzen. Wenn Sie eine bevorzugte Richtung für das Tool haben, zögern Sie bitte nicht, uns zu kontaktieren . Wenn Sie Entwickler sind, können Sie auch gerne einen Zweig auf Github erstellen und eine Pull-Anfrage stellen, wenn Sie eine Funktion hinzufügen möchten.

Präsentation zum Risikotool für klinische Studien

Laden Sie das Pitch Deck für das Clinical Trial Risk Tool herunter

Wie zitiere ich das Clinical Trial Risk Tool?

👏Im Jahr 2023 haben wir unsere Forschung als Softwareartikel in Gates Open Research veröffentlicht !🎉

Wenn Sie nur das Tool zitieren möchten, können Sie Folgendes zitieren:

Wood TA und McNair D. Clinical Trial Risk Tool: Softwareanwendung mit natürlicher Sprachverarbeitung zur Ermittlung des Risikos mangelnder Aussagekraft von Studien . Gates Open Res 2023, 7:56 doi: 10.12688/gatesopenres.14416.1 .

Ein BibTeX-Eintrag für LaTeX-Benutzer ist

@article{Wood_2023,
	doi = {10.12688/gatesopenres.14416.1},
	url = {https://doi.org/10.12688%2Fgatesopenres.14416.1},
	year = 2023,
	month = {apr},
	publisher = {F1000 Research Ltd},
	volume = {7},
	pages = {56},
	author = {Thomas A Wood and Douglas McNair},
	title = {Clinical Trial Risk Tool: software application using [natural language processing](https://naturallanguageprocessing.com) to identify the risk of trial uninformativeness},
	journal = {Gates Open Research}
}

Verweise

Wong, Hui-Hsing, et al. „ Untersuchung der Kosten klinischer Studien und Hindernisse für die Arzneimittelentwicklung, endgültig .“ Büro des stellvertretenden Ministers für Planung und Bewertung, US-Gesundheitsministerium (2014).

Mullard, Asher. „ Analyse klinischer Erfolgsraten .“ Nature Reviews Drug Discovery 15.7 (2016): 447-448.

Zarin, Deborah A., Steven N. Goodman und Jonathan Kimmelman. „ Schäden durch nicht aussagekräftige klinische Studien .“ Jama 322.9 (2019): 813-814.

Weltärztebund, Deklaration von Helsinki (1964)