Risikotool für klinische Studien

Maschinelles Lernen in klinischen Studien: Wir haben für die Gates Foundation ein Tool zur Risikobewertung klinischer Studien mithilfe der Verarbeitung natürlicher Sprache entwickelt, um Experten bei der Einschätzung des Risikos eines nicht aussagekräftigen Endes einer klinischen Studie zu unterstützen.

Protokolle und Analysen für klinische Studien: Die Anfrage nach einem Tool zur Risikobewertung für klinische Studien

Wir wurden von der Bill and Melinda Gates Foundation kontaktiert, die ein Tool suchte, das Gutachter bei der Quantifizierung des Risikos eines klinischen Studienprotokolls unterstützen soll.

Ein Protokoll ist ein PDF-Dokument, das in der Regel bis zu 200 Seiten lang ist und eine vollständige Beschreibung des Plans einer Studie enthält: wo sie stattfinden wird, wie viele Probanden rekrutiert werden (die Stichprobengröße) und welche Interventionen getestet werden sollen und wie die statistische Analyse durchgeführt werden soll.

Zu diesem Zeitpunkt hatten wir bereits eine ähnliche Lösung zur Identifizierung von Kosten- und Komplexitätsfaktoren klinischer Studien aus dem Protokolltext mithilfe von NLP für das deutsche Pharmaunternehmen Boehringer Ingelheim entwickelt. Weitere Informationen zum Kosten-/Komplexitätsprojekt finden Sie hier .

Es besteht die Gefahr, dass ein Prozess ohne Aussagekraft endet

Jede Organisation, die die Finanzierung einer klinischen Studie plant, muss das Protokoll gründlich prüfen und einem Stresstest unterziehen. Die Kosten für die Durchführung eines Versuchs sind hoch und es gibt viele mögliche Fehlerquellen. Wenn beispielsweise die Stichprobengröße zu klein ist, verfügt die Studie nicht über ausreichende statistische Aussagekraft, um ein aussagekräftiges Ergebnis zu liefern, und trägt nicht zum Wissensbestand der Förderorganisation oder der wissenschaftlichen Gemeinschaft bei. Dies nennt man das Risiko, dass der Prozess nicht aussagekräftig endet .

Protokolle sind in technischem Englisch verfasst, unterliegen jedoch keinen Einschränkungen durch einen bestimmten Standard. Protokolle innerhalb einer bestimmten Organisation folgen im Allgemeinen einem groben Muster, es gibt jedoch viele Möglichkeiten, einen bestimmten Datenpunkt zu kommunizieren: Die Stichprobengröße könnte als Anzahl der Teilnehmer bezeichnet werden, N = 90 , oder die Forscher könnten einfach „wir“ schreiben Planen Sie, bis zu 100 Probanden pro Standort einzuschreiben , und überlassen Sie es dem Leser, die Stichprobengröße abzuleiten.

Die Gates Foundation benötigte ein NLP-Modell, das in der Lage ist, ein Studienprotokoll schnell zu scannen und Schlüsselfaktoren herauszusuchen, die das Risiko der Durchführung der Studie beeinflussen könnten. Sie beauftragten Fast Data Science mit der Entwicklung eines NLP-basierten Tools zur Risikobewertung klinischer Studien, um mithilfe von maschinellem Lernen und KI zukünftige Protokolle klinischer Studien zu bewerten.

Thomas Woods Präsentation des Clinical Trial Risk Tool beim Dash In Action-Webinar von Plotly im Juni 2023.

Entwicklung des Clinical Trial Risk Tool: Verwendung von maschinellem Lernen und NLP zur Bewertung klinischer Studien

Über einen Zeitraum von mehr als einem Jahr experimentierten wir mit einem Ensemble aus maschinellem Lernen und regelbasierten Modellen, um Merkmale wie Pathologie, Phase, Stichprobengröße, Anzahl der Länder, Anzahl der Arme sowie Vorhandensein oder Fehlen einer statistischen Analyse zu extrahieren Plan, Effektgröße und ob Simulation zur Bestimmung der Stichprobengröße verwendet wurde. Diese Parameter wurden in ein einfaches lineares Risikomodell eingefügt und das Tool generiert einen PDF- oder Excel-Bericht, der innerhalb der Organisation geteilt werden kann.

Wir haben das NLP-Tool zur Risikobewertung klinischer Studien im Internet unter app.clinicaltrialrisk.org bereitgestellt und den Code unter MIT-Lizenz als Open-Source-Code bereitgestellt.

Das Clinical Trial Risk Tool hat es der Gates Foundation ermöglicht, eingehende Studien im Hinblick auf eine schnelle Triage zu bewerten. Darüber hinaus hat es Fachleuten auf der ganzen Welt dabei geholfen, eine grobe Risikobewertung ihrer Studien vorzunehmen, bevor sie diese zur Finanzierung einreichen.

In diesem Blogbeitrag erfahren Sie mehr darüber, wie wir das Tool zur Risikobewertung für klinische Studien entwickelt haben.

Wie zitiert man das Clinical Trial Risk Tool?

Wenn Sie das Tool allein zitieren möchten, können Sie Folgendes zitieren:

Wood TA und McNair D. Clinical Trial Risk Tool: Softwareanwendung, die die Verarbeitung natürlicher Sprache nutzt, um das Risiko mangelnder Aussagekraft von Studien zu ermitteln . Gates Open Res 2023, 7:56 doi: 10.12688/gatesopenres.14416.1 .

Ein BibTeX-Eintrag für LaTeX-Benutzer über das Risikobewertungstool für klinische Studien ist

@article{Wood_2023,
	doi = {10.12688/gatesopenres.14416.1},
	url = {https://doi.org/10.12688%2Fgatesopenres.14416.1},
	year = 2023,
	month = {apr},
	publisher = {F1000 Research Ltd},
	volume = {7},
	pages = {56},
	author = {Thomas A Wood and Douglas McNair},
	title = {Clinical Trial Risk Tool: software application using natural language processing to identify the risk of trial uninformativeness},
	journal = {Gates Open Research}
}