Идентифициране на неврокогнитивно разстройство с помощта на векторно представяне на свободен разговор

Източник на данни

Данни от проекта за обективни мерки с помощта на компютърна психиатрична технология (PROMPT)30 беше използвано в това проучване. Това проучване е проспективно обсервационно многоцентрово проучване, проведено в Япония с цел идентифициране на обективни маркери с помощта на глас и реч, движение на тялото, изражение на лицето и данни за ежедневна активност за разстройства на настроението и деменция. Участниците бяха наети в отделите по психиатрия на 10 различни медицински заведения и всяка комисия по етика, включително тази на Медицинския факултет на университета Кейо, одобри проучването. Всички участници предоставиха писмено информирано съгласие, преди да участват в това проучване, което беше проектирано в съответствие с етичните принципи, базирани на Декларацията от Хелзинки. Периодът на набиране беше от 9 март 2016 г. до 31 март 2019 г. Това проучване използва данни от пациенти, диагностицирани като страдащи от голямо неврокогнитивно разстройство или леко неврокогнитивно разстройство съгласно критериите на Диагностичния и статистически наръчник за психични разстройства 5 (DSM-5) и от участници, наети като когнитивно здрави контроли (CHC). CHC също са изследвани за анамнеза за психични разстройства с помощта на Мини-международно невропсихиатрично интервю (MINI), а CHC с анамнеза за психични разстройства са изключени. Индивиди с очевидни говорни проблеми, включително афазия и дизартрия, също бяха изключени.

На участниците бяха дадени 10 минути, за да проведат неструктуриран разговор с психиатър или психолог, като например интервю на тема настроение или ежедневие. През това време изказванията им се записваха с микрофон. След интервюто бяха оценени клиничната оценка на деменцията (CDR), прегледът на мини-психичното състояние (MMSE), логическата памет на ревизираната скала на паметта на Wechsler и скалата на гериатричната депресия (GDS). Ако участникът се съгласи, беше проведено подобно интервю и горните данни бяха събрани отново след минимален интервал от 4 седмици.

Допустимост на данните

В настоящото проучване анализирахме данните, описани по-горе. За да се елиминира ефектът от депресивните симптоми върху когнитивната функция, получените данни бяха изключени от анализа, ако GDS на участника беше 10 или по-висок. В допълнение, данни от субекти на възраст под 45 години, данни с липсващи разговорни данни или данни за оценка и данни в случаите, когато субектът говори със силен диалект, бяха изключени от анализа.

Етикетиране на данни

В това проучване ние имахме за цел да разработим система, способна да извършва скрининг за деменция. Затова се опитахме да конструираме модел на машинно обучение, за да правим разлика между деменция и недеменция, включително CHC и MCI. Деменцията и недеменцията бяха определени чрез три невропсихологични теста, а именно CDR, MMSE и логическа памет II. Границата за теста за логическа памет II се основава на образователната история: субекти с 0–9 години образование отбелязаха 2 точки или по-малко, субекти с 10–15 години образование отбелязаха 4 точки или по-малко и субекти с 16 или повече години на образованието отбеляза 8 точки или по-малко. Деменцията се определя като (1) CDR ≥ 1 и MMSE ≤ 23, (2) CDR ≥ 1, MMSE ≥ 24 и под логическата граница на паметта II, или (3) CDR = 0,5, MMSE ≤ 23 и под логическата прекъсване на паметта II. Недеменцията (включително MCI) се определя като CDR ≤ 0,5 и MMSE ≥ 24. Ако пациентът показва модели, различни от тези категории, ние ги обозначаваме като деменция или недеменция въз основа на тяхната клинична диагноза. Процедурата за клинично етикетиране въз основа на резултатите от невропсихологичните тестове е показана в допълнителната таблица.

За да подобрим точността на машинното обучение, решихме да използваме данни, които отразяват типични симптоми за обучение. Следователно данните, които попадат в следните категории, са използвани не само като данни от тестове, но и като данни за обучение: деменция с CDR ≥ 1, MMSE ≤ 23 и логическа памет II под граничната стойност; без деменция (MCI) с CDR = 0,5, MMSE ≥ 24 и логическа памет II под граничната стойност; и без деменция (CHC) с CDR = 0, MMSE ≥ 24 и логическа памет II над граничната стойност. Данните, които не отговарят на тези критерии, бяха използвани само като данни за тестване.

В това проучване данните са получени многократно от един и същи участник, така че е възможно един и същ участник да има различни състояния в зависимост от времето, когато са получени разговорните данни (напр. след преобразуване от MCI към деменция). Следователно, всяка информация беше етикетирана с помощта на резултата от когнитивната оценка, извършена по време на записа на разговорните данни.

Вграждане на документ

От записаните данни само речта на субекта беше транскрибирана в текстови данни, включително пълнители, и компилирана в един документ. Този документ беше трансформиран във вектор, представен от 150-измерни характеристики, използвайки по-рано докладвана технология31. В настоящото изследване зададохме стойността на отрицателната извадка на 5 и броя на измеренията на 150 и накрая получихме 150-измерен вектор на документа от морфемните елементи. В допълнение, същият метод беше използван за създаване на 50-измерен вектор, използвайки биграми на части от речта като входни характеристики, за общо 200 измерения за морфеми и части от речта.

Процедури за машинно обучение

В това проучване изградихме модел за прогнозиране, базиран на DNN, който разграничава два класа деменция и недеменция. DNN моделът е конструиран с помощта на Python 3.6, tensorflow 2.20 библиотека и петслойна невронна мрежа, състояща се от входен слой, три скрити слоя и изходен слой. Различните хиперпараметри бяха оптимизирани с помощта на Optuna 2.0.0. Leave-One-Out Cross-Validation (LOOCV) беше използвано за изграждане на модел и оценка на ефективността. Тъй като беше възможно да се получат множество данни от един и същи субект в това проучване, съществуваше риск речеви данни от един и същи субект да се използват както в комплектите за валидиране, така и в обучителните набори, което би подобрило очевидната точност. За да избегнем този ефект, добавихме процес за изключване на текстови данни от субекти, които са предоставили данни за валидиране, от използване като данни за обучение. Подробностите са следните. Архитектурата на методите за машинно обучение и валидиране е изобразена на фиг. 4.

  1. (i)

    Извлечете един тестови данни от всички данни.

  2. (ii)

    От останалите данни изключете данните от същите субекти като данните от теста и данните, които не отговарят на критериите за обучение.

  3. (iii)

    Разделете произволно останалите данни, така че съотношението на деменция към недеменция да се поддържа постоянно и съотношението на данните за обучение към данните за валидиране да е 3:1. За да разгледате ефекта от произволното разделяне, създайте 10 набора от набори от данни за обучение и валидиране с различни разделяния.

  4. (iv)

    Изградете 10 модела за прогнозиране с 10-те набора от данни за обучение и валидиране.

  5. (° С)

    Повторете горните стъпки от i до iv за броя на пробите.

Фигури 4

Архитектура на методите за машинно обучение и валидиране.

Точността на прогнозиране на резултатите от гласуването от 10 модела за прогнозиране беше изчислена за един тестови данни. Прагът за броя на гласовете, който определя прогнозата за целия модел, беше приет така, че да даде най-висока точност. След това точността, чувствителността и специфичността в тази настройка бяха използвани като индекси за оценка за моделите за прогнозиране. За целите на изчисляването на AUC бяха създадени криви на работните характеристики на приемника (ROC) за 10-те модела, използвани за гласуване, и беше изчислена средната AUC.

Като поданализ ние също така оценихме точността на прогнозата, когато данните бяха разделени на две групи според пола и възрастта (75 години и по-възрастни спрямо под 75 години).

Връзка между броя на буквите и точността на прогнозата

За да изследваме ефекта от дължината на изказването върху точността на прогнозиране, подготвихме текстови данни с различни дължини на документа в единици от 100 букви от началото на всеки текст и преобразувахме всеки от тях в 200-измерен вектор. Бяха направени прогнози за този вектор с помощта на модел, изграден с LOOCV, и бяха оценени дължината на документа и точността на прогнозата. За да предскажем всеки вектор, използвахме модел, предназначен да предскаже оригиналния документ, преди да променим дължината на документа.

Проверка на векторизация и алгоритми за машинно обучение

За да сравним нашата процедура за вграждане на документи, както и процедурата за машинно обучение с други методи, ние изчислихме точността на прогнозиране, използвайки TF-IDF и BERT за векторизацията и използвайки съответно Naive Bayes, логистична регресия, Support Vector машина и XGBoost за машинно обучение. В модела XGboost бяха създадени 10 набора от модели за обучение и валидиране за един тестови данни, извлечени от LOOCV, и беше извършено прогнозиране чрез гласуване с помощта на 10 модела. Ние също извършихме векторизация, използвайки TF-IDF и японски BERT, и изчислихме точността на прогнозиране на гласуването, използвайки 10 модела, обучени от DNN.

Leave a Comment