Wie können wir das Risiko einer klinischen Studie mithilfe von KI einschätzen?

Wir haben das Clinical Trial Risk Tool entwickelt, ein Tool zur Risikobewertung klinischer Studien, das KI und NLP nutzt, um das Risiko eines nicht aussagekräftigen Endes einer Studie zu quantifizieren. Kontaktieren Sie uns, wenn Sie individuelle KI-Strategieberatung für das Gesundheitswesen benötigen.

Wenn sich jemand für eine klinische Studie anmeldet, tut er dies in der Überzeugung, dass er dazu beiträgt, die wissenschaftlichen Erkenntnisse voranzutreiben. Ebenso hofft ein Pharmaunternehmen , wenn es eine Studie finanziert, daraus kommerziell nützliche Informationen zu gewinnen. Die Durchführung klinischer Studien ist unglaublich kostspielig, und die durchschnittlichen Kosten einer Phase-3-Studie liegen bei etwa 20 Millionen US-Dollar .

Allerdings scheitern bis zu 90 % der klinischen Studien . Eine der wichtigsten Arten des Scheiterns kann mangelnde Information genannt werden. Dies liegt vor, wenn eine Studie so konzipiert, durchgeführt oder berichtet wird, dass sie keine wissenschaftlich nützlichen Informationen liefert. Das heißt, nach den Testläufen gibt es überhaupt keinen Nutzen für Patienten, Kliniker, Forscher oder politische Entscheidungsträger.

Das bedeutet, dass ein Versuch, der nicht aussagekräftig endet, einer Geldverschwendung seitens der finanzierenden Organisation und einem potenziellen Verstoß gegen die Ethik gleichkommt, da jede Studie mit menschlichen Probanden einen Nutzen haben sollte, der das Risiko überwiegt. Es gibt mehrere Beispiele für die Risikobewertung klinischer Studien, die wir durchgehen werden.

Wir haben ähnliche Lösungen im Pharmabereich für die Kosten- und Komplexitätsschätzung klinischer Studien sowie für die Verarbeitung anderer Dokumente in der Pharmabranche entwickelt, wie z. B. statistische Analysepläne (SAPs), Einblicke in wichtige Meinungsführer (KOL) und Einverständniserklärungen (ICFs).

Notwendige Voraussetzungen für Informativität

Im Jahr 2019 identifizierte ein Forscherteam unter der Leitung von Deborah Zarin an der Harvard Medical School fünf Bedingungen dafür, dass eine Studie informativ ist :

1. Die Hypothese befasst sich mit einer wichtigen und ungelösten wissenschaftlichen Frage

2. Die Studie soll aussagekräftige Beweise im Zusammenhang mit der Frage liefern

3. Die Studie ist machbar (es ist also möglich, die nötige Teilnehmerzahl zu rekrutieren)

4. Die Studie wird wissenschaftlich fundiert durchgeführt

5. Die Studie berichtet über die Ergebnisse genau, vollständig und zeitnah.

Wenn eine dieser Bedingungen nicht erfüllt ist, wird der Prozess wahrscheinlich ohne Aussagekraft enden, aber leider gibt es keinen einheitlichen Aufsichtsmechanismus, der alle oben genannten fünf Bedingungen bewertet.

Wenn eine Studie konzipiert und im Rahmen eines Finanzierungsantrags bei einer Förderorganisation eingereicht wird, besteht eine der Aufgaben darin, das Studienprotokoll durchzulesen. Hierbei handelt es sich um ein 200-seitiges PDF-Dokument, in dem detailliert beschrieben wird, wie der Prozess geplant ist und wie er durchgeführt und analysiert werden soll.

Thomas Woods Präsentation des Clinical Trial Risk Tool beim Dash In Action-Webinar von Plotly im Juni 2023.

Welche Risikofaktoren können wir im Protokoll erkennen?

Einige Risikofaktoren dafür, dass eine klinische Studie ohne Aussagekraft endet, können bereits in der Phase der Protokollerstellung identifiziert werden, wie zum Beispiel:

1. Der Test verfügt über keinen statistischen Analyseplan (SAP) oder das mitgelieferte SAP ist unzureichend. Im SAP wird detailliert beschrieben, wie die Ergebnisse der Studie interpretiert und wissenschaftlich validiert werden, welche statistischen Tests verwendet werden sollen usw. Wenn die Forscher der statistischen Analyse nicht ausreichend nachgedacht haben, haben sie möglicherweise die falsche Stichprobengröße gewählt oder auf andere Weise einen schwerwiegenden Fehler im Versuchsdesign hinterlassen.

2. Der Versuch zielt darauf ab, eine unzureichende Anzahl von Teilnehmern zu rekrutieren. Eine Studie mit nur 50 Teilnehmern, die versuchen, eine winzige Veränderung des Blutdrucks zu messen, birgt ein höheres Risiko als die gleiche Studie mit 500 Teilnehmern, einfach weil es so viel schwieriger ist, Signal und Rauschen in den Daten zu trennen.

3. Eine Studie, bei der die Forscher die erwartete Effektgröße nicht untersucht haben. Wenn wir keine Ahnung haben, ob die Sterblichkeitsrate durch unsere Intervention um 1 oder 10 Prozentpunkte sinken soll, ist es sehr schwierig, über den weiteren Verlauf des Versuchsdesigns zu entscheiden.

Wie können KI und die Verarbeitung natürlicher Sprache dabei helfen, das Risiko einer Studie einzuschätzen?

Das Lesen und Bewerten des Risikos eines klinischen Studienprotokolls ist unglaublich schwierig, da hierfür eine große Anzahl von Experten in so unterschiedlichen Bereichen wie Medizin und Statistik erforderlich ist. Das Protokoll ist ein riesiges Dokument, die relevanten Informationen können an beliebiger Stelle im Text enthalten sein und die für diese Beurteilung erforderlichen Personen sind hochqualifiziert und ihre Zeit ist teuer.

Hier kommt die Verarbeitung natürlicher Sprache ins Spiel. Obwohl die Verarbeitung natürlicher Sprache kein Ersatz für einen informierten menschlichen Experten ist, ist sie nützlich, um die wichtigsten Punkte im Dokument zu identifizieren, auf die die Experten achten können, und um Risiken schnell zu beurteilen und zu kennzeichnen.

Wie wir das Clinical Trial Risk Tool entwickelt haben

Zusammen mit einigen Fachexperten (klinischen Fachleuten) haben wir eine Reihe von Studien bewertet und die unserer Meinung nach Schlüsselfaktoren ermittelt, die zu einem informativen Abschluss einer Studie geführt haben und die in der Protokollphase identifiziert werden können. Die Risikofaktoren, für die wir uns entschieden haben, sind:

• Pathologie: Handelt es sich um eine HIV- oder TB-Studie? Diese weisen unterschiedliche inhärente Risikostufen auf.

• Ist ein SAP (Statistischer Analyseplan) vorhanden?

• Wurde die Effektschätzung offengelegt?

• Anzahl der Fächer? Ein Versuch mit wenigen Teilnehmern birgt ein höheres Risiko.

• Anzahl der Arme?

• Untersuchungsländer

• Versuch nutzt Simulation für Stichprobengröße?

Für jeden dieser Faktoren haben wir mit einem Ensemble von NLP- Modellen vom regelbasierten bis zum maschinellen Lernen ( Random Forest und neuronale Netze ) experimentiert und die Genauigkeit , Präzision , Erinnerung und AUC bei der Identifizierung dieses Parameters mühsam bewertet.

Wir haben das Tool so konzipiert, dass diese Funktionen in eine Bewertungsformel übertragen werden, die das Protokoll von 0 bis 100 bewertet. Das Tool kennzeichnet das Protokoll dann als HOHES, MITTLERES oder NIEDRIGES Risiko.

Das Risikotool für klinische Studien

Schließlich haben wir das Tool als browserbasierte Webseite im Internet bereitgestellt, die es einem Benutzer ermöglicht, ein Protokoll im PDF-Format hochzuladen. Das Tool zeigt das Risiko des Versuchs in einem Ampelsystem zusammen mit dem dazugehörigen numerischen Score an. Weitere Informationen zum Tool finden Sie auf der Projektblogseite .

Wir haben auch einen Blogbeitrag über die Genauigkeitswerte der verschiedenen Komponenten des Tools veröffentlicht .

Verwendung des Tools

Unsere Kunden berichteten, dass sie dank der Tour die Protokolle klinischer Studien viel schneller und effizienter beurteilen konnten. Selbst wenn das Tool einen bestimmten Parameter nicht richtig identifiziert, hebt es häufig den relevanten Teil des Dokuments hervor, sodass ein Prüfer schnell zur betreffenden Seite blättern kann. Besonders nützlich und zeitsparend ist die Kennzeichnung des fehlenden statistischen Analyseplans durch das Tool.

Open Sourcing des Risikotools für klinische Studien

Wir haben die Benutzeroberfläche so gestaltet, dass sie für technisch nicht versierte Benutzer einfach ist, und wir haben den Code auch so gestaltet, dass er von jedem Entwickler mit Python -Erfahrung leicht erweitert werden kann. Wir haben den Quellcode des Tools mit einer MIT-Lizenz auf Github gestellt, sodass jeder den bearbeiteten Code herunterladen und nach seinen Bedürfnissen erweitern kann. Das Tool konzentriert sich derzeit auf zwei Pathologien (HIV und Tuberkulose). Wenn Sie das Tool jedoch für eine onkologische Studie verwenden möchten, können Sie es problemlos anpassen.

Zukünftige Arbeit mit dem Tool

In der Vergangenheit haben wir für Boehringer Ingelheim ein ähnliches Tool mit dem Ziel entwickelt, die Komplexität eines klinischen Studienprotokolls zu bewerten. Die Komplexitätszahlen können später in ein Finanzmodell eingespeist werden. Es gibt viele potenzielle Einsatzmöglichkeiten für dieses Risikobewertungstool für klinische Studienprotokolle, und es wäre sinnvoll, es auf mehr Pathologien und Standorte auszudehnen und sogar die Komplexität, die Kosten oder andere Parameter als das Risiko abzuschätzen. Wenn Sie eine bevorzugte Richtung für das Werkzeug haben, zögern Sie bitte nicht, uns zu kontaktieren . Wenn Sie Entwickler sind, können Sie auch gerne einen Zweig auf Github erstellen und eine Pull-Anfrage erstellen, wenn Sie eine Funktion hinzufügen möchten.

Wie zitiert man das Clinical Trial Risk Tool?

👏Im Jahr 2023 haben wir unsere Forschung als Softwareartikel in Gates Open Research veröffentlicht !🎉

Wenn Sie das Tool allein zitieren möchten, können Sie Folgendes zitieren:

Wood TA und McNair D. Clinical Trial Risk Tool: Softwareanwendung, die die Verarbeitung natürlicher Sprache nutzt, um das Risiko mangelnder Aussagekraft von Studien zu ermitteln . Gates Open Res 2023, 7:56 doi: 10.12688/gatesopenres.14416.1 .

Ein BibTeX-Eintrag für LaTeX-Benutzer ist

@article{Wood_2023,
	doi = {10.12688/gatesopenres.14416.1},
	url = {https://doi.org/10.12688%2Fgatesopenres.14416.1},
	year = 2023,
	month = {apr},
	publisher = {F1000 Research Ltd},
	volume = {7},
	pages = {56},
	author = {Thomas A Wood and Douglas McNair},
	title = {Clinical Trial Risk Tool: software application using [natural language processing](https://naturallanguageprocessing.com) to identify the risk of trial uninformativeness},
	journal = {Gates Open Research}
}

Verweise

Wong, Hui-Hsing, et al. “Examination of clinical trial costs and barriers for drug development final.” Office of the Assistant Secretary for Planning and Evaluation, US Department of Health & Human Services (2014).

Mullard, Asher. “Parsing clinical success rates.” Nature Reviews Drug Discovery 15.7 (2016): 447-448.

Zarin, Deborah A., Steven N. Goodman, and Jonathan Kimmelman. “Harms from uninformative clinical trials.” Jama 322.9 (2019): 813-814.

World Medical Association, Declaration of Helsinki (1964)