Sepehr Makhsous

1 Лаборатория за енергия и автоматизация на сензорите (SEAL), Катедра по електротехника и компютърно инженерство, Университетът във Вашингтон, Център Пол Алън, 185 E Stevens Way NE AE100R, Сиатъл, WA 98195, САЩ; ude.wu@jbdnukum (M.B.); ude.wu@vehsimam (А.В.М.)

Мукунд Бхарадвай

1 Лаборатория за енергия и автоматизация на сензорите (SEAL), Катедра по електротехника и компютърно инженерство, Университетът във Вашингтон, Център Пол Алън, 185 E Stevens Way NE AE100R, Сиатъл, WA 98195, САЩ; ude.wu@jbdnukum (M.B.); ude.wu@vehsimam (А.В.М.)

Бенджамин Е. Аткинсън

2 Департамент по здравни услуги, кутия 357660, Училище за обществено здраве, Университетът във Вашингтон, Сиатъл, WA 98195, САЩ; ude.tendew.nrubua@nosniktab

Игор В. Новоселов

3 Катедра по машиностроене, Университетът във Вашингтон, 3900 E Stevens Way NE, Сиатъл, WA 98195, САЩ; ude.wu@nvi

Александър В. Мамишев

1 Лаборатория за енергия и автоматизация на сензорите (SEAL), Катедра по електротехника и компютърно инженерство, Университетът във Вашингтон, Център Пол Алън, 185 E Stevens Way NE AE100R, Сиатъл, WA 98195, САЩ; ude.wu@jbdnukum (M.B.); ude.wu@vehsimam (А.В.М.)

Резюме

1. Въведение

Диабетът е глобален здравен проблем, като само в САЩ са засегнати 30,3 милиона души [1]. Диабетът е заболяване, характеризиращо се с нарушена способност на организма да произвежда или реагира на инсулин, което води до ненормален метаболизъм на въглехидратите и повишени нива на глюкоза в кръвта и урината. Свързаните състояния включват сърдечно-съдови заболявания, мускулно-скелетни нарушения и рак [2]. Подобрените техники за оценка на диетата са от решаващо значение за поддържането на здравословен живот на пациента с диабет.

Освен това болниците трябва да следят приема на храна на пациентите си с диабет, за да предписват правилните количества лекарства. Недохранването е дългогодишен проблем за хоспитализираните пациенти и 30% до 50% от пациентите са диагностицирани с него в цялата страна. Недохранването значително увеличава смъртността на пациентите, продължителността на болничния престой и в крайна сметка медицинските разходи [3]. Освен това персоналът за медицински сестри и хранене е в състояние да оцени приблизително 50% от подносите за хранене поради нивото на персонала и логистиката, включени в доставката и взимането на храна (вътрешни данни на Harborview Medical Center). Тази статия представя нов метод, наречен система DietSensor (показан на фигура 1), който използва триизмерна (3D) сканираща технология за измерване на обема на даден хранителен продукт и изчисляване на точния хранителен прием.

измерване

Системата DietSensor замества съществуващия процес на оценка чрез въвеждане на автоматизирано приложение за смартфон за измерване на остатъчния обем храна в чинията на пациента. Системата DietSensor изважда докладваните хранителни данни, предоставени от кухнята на медицинския център, за да измери консумираното количество и да докладва на лекаря.

Системата DietSensor използва автоматична 3D реконструкция, като използва дълбокомерна камера (COTS) и съществуващата хранителна база данни, предоставена от кухнята на медицинския център, за да определи действителното количество консумирана храна, по-бързо и на по-ниски разходи в сравнение с подобни решения. Приложението за смартфони DietSensor се използва за улавяне на остатъчния обем храна в чинията на пациента, а алгоритъмът за обемно изчисление (VCA) се използва за измерване на хранителните данни на остатъците. След като измерването приключи, системата DietSensor използва докладваните хранителни данни, предоставени от кухнята на медицинския център, за да извади и измери консумираното количество, за да бъде докладвано на ендокринолога. Процесът е допълнително разработен в раздел 3, констатациите са представени в раздел 4.

2. Предистория

Направени са много скорошни изследвания върху изображенията за автоматично наблюдение на диетата. Последните разработки в сензорната технология направиха сензорите, базирани на изображения, ненатрапчиви и лесни за използване. Съществен аспект на такива системи е точната обемна оценка на храната, която се сканира. Понастоящем тези системи могат да бъдат разделени в три категории - 3D изображения с помощта на сензори за дълбочина, 3D реконструкция с помощта на 2D изображение (и) и 3D реконструкция с помощта на прожектирана светлина (структурирана светлина).

Дълбочините имат ясното предимство, че могат да произвеждат информация за дълбочината без много допълнителна директна обработка. Съществуват различни сензорни технологии за тази задача, като сензорите за време на полет (TOF) са често срещани. Популярният TOF сензор, който в момента се използва в академичните среди, е сензорът Kinect V2 и е използван в различни области, както е показано в [4]. Пример за сензор Kinect, използван за измерване на храна, е измерването на обема на яйцата с точност, достигаща 93% [5]. Често срещани проблеми с TOF сензорите обаче са времето за загряване и температурната компенсация на сензора, както е показано в [6,7].

3D реконструкцията с помощта на 2D изображения се постига чрез различни методи, като се използва едно изображение, множество изображения от различни пози и стерео изображения [8,9,10,11]. Тези методи имат предимството, че са с ниска цена, а обработката на изображения с 2D изображения е добре разбираем проблем с относително ниски хардуерни изисквания. Тези методи обаче имат своите недостатъци. Те обикновено се нуждаят от калибриране на системата, като повечето внедрения използват известна референтна цел като шахматна дъска. Те също така са силно зависими от позата и съдържанието на изображението, особено методите, използващи един изстрел за оценка на обема, което ги прави податливи на значителни грешки.

3D реконструкцията с помощта на прожектирана светлина се опитва да намери компромис между предишните два метода чрез проектиране на структурирана светлина върху елементите и улавяне на 2D изображения, като в [12,13,14]. Проекцията на структурирана светлина решава проблема с калибрирането на изображението, както и разликите в текстурите в различните заснети храни. За засичане на малки разстояния това води до по-точни 3D модели с ниски изчислителни разходи.

Оценката на обема на храната с помощта на 3D измервания на дълбочината, макар и да се е подобрила, все още е ограничена до добре контролирана лабораторна среда. Един от подходите за оценка на обема е Point2Volume, който използва View Synthesis, за да използва дълбоко обучение за пресъздаване на 3D облаци от точки [15]. Реализацията използва дълбочинна камера Intel RealSense за заснемане на частични облаци от точки и извършва 3D реконструкция, както и оценка на обема с помощта на мрежа за дълбоко обучение. Системата е получила средна точност от 85% в лабораторията, като отделни хранителни продукти са заснети в студио със специализирана камера за 3D сканиране. Мрежата за дълбоко обучение обаче изисква голям набор от данни за обучение и мрежата не се представя добре с обекти, които не присъстват в учебния набор.

Друга реализация, използваща мобилно приложение, използва монокулярна система за едновременно локализиране и картографиране (SLAM) за оценка на обема [16]. Данните бяха заснети с помощта на iPhone 6 plus, както и 4k носима екшън камера за сравнение. Оценката на обема беше направена върху хранителни продукти в лабораторията с черен фон и куб на Rubik’s за справка. С тази настройка системата усреднява процентна точност от 83%.

Доказано е, че тези методи подобряват точността, те не са включени в болниците, където са най-необходими, отчасти поради липсата на тестове в реални ситуации. И в двата случая системите бяха тествани в контролирана настройка, където осветеността, фона и други експериментални параметри бяха фиксирани. Те също са били експлоатирани от учените, които са разработили системата и не са били тествани от външен човек. Освен това тестваните хранителни продукти бяха единични артикули с еднакви форми и всяко сканиране беше направено с елементи, държани отделно един от друг, което представлява ясен проблем. Използването в реалния живот обикновено изисква сканиране на неправилни и сложни форми с множество елементи заедно.

Друга причина за бавната интеграция е сложността и кривата на обучение на ново решение. С увеличаването на сложността на системата се изисква по-обширно обучение на потребителите. Обучението на потребителите е скъпа и ресурсоемка задача и трябва да бъде сведено до минимум, доколкото е възможно. Тази статия има за цел да разгледа проблемите на реалното тестване и сложността на системата, използвайки системата DietSensor. Системата DietSensor е постепенно надграждане на предишни решения за мониторинг. Въпреки това, той е преработен, за да отговори първо на нуждите на болничната среда, а оттам и на нуждите от практическа обстановка в реалния живот. Фокусът на системата е да намали тежестта на потребителите, като същевременно подобри точността на оценката на хранителния прием, особено измерването на хранителни продукти, които са по-трудни за количествено визуално определяне от човек.

В болничната среда хранителната информация за дадено хранене трябва да се изчислява ръчно, или чрез вземане на дневник за храна/проучване, като 24-часово изземване на диети (24HR), или ръчно претегляне на храната и остатъците по скала. И двете техники отнемат изключително много време [17]. Ръчното измерване е трудно да се извърши за всички пациенти с необходимата точност; следователно количеството инсулин, което трябва да се предпише, е по-скоро оценено, отколкото точно.

24HR е структурирано интервю, предназначено да събере подробна информация за всички храни и напитки, консумирани от респондента през последните 24 часа; най-често от полунощ до полунощ на предния ден. Въпросите са предназначени да имат отворена структура на отговори на респондентите, за да предоставят изчерпателен и подробен доклад за всички консумирани храни и напитки [18].

Автоматизираният многопроходен метод на Министерството на земеделието на САЩ (USDA) е компютъризиран метод за събиране на 24HR информация, администрирана от интервюиращите. Разширение на AMPM е автоматизираната система за самоконтрол 24 часа (ASA24), която насочва потребителите към самоуправление на AMPM онлайн. Уебсайтът на респондента ASA24 води участника през попълването на 24HR, използвайки динамичен потребителски интерфейс. Той изисква от респондентите да съобщават за случаи на хранене и време на консумация [19]. Докато визуалните помощни средства се използват като реплики за преценка на размера на порциите, те зависят от възприятието на потребителя и могат да причинят свръх/подценяване.

Въз основа на тези специфични въпроси лекарите предоставят рецепти и формулират персонализиран план. Въпреки това, отговорите на много пациенти с диабет имат неточни оценки на количеството изядена храна, с над 20% грешка при оценка на размера на порцията храна [20]. Освен това пристрастията от пола и теглото също допринасят за грешките в самоотчитането [21]. Следователно, потенциалната неточност на 24HR в оценката на диетата излага пациентите с диабет на риск и влияе отрицателно върху правилното им лечение. Въпреки недостатъците си, методът 24HR все още се практикува често поради ниската си цена и малките изисквания към оборудването.

Приложенията за смартфони (приложения) като MyFitnessPal осигуряват по-достъпно и практично изпълнение за наблюдение на хранителните данни. MyFitnessPal е целево приложение за проследяване на храни, където потребителят получава точки за регистриране на храни в дневника си. Основната цел на приложението е да подпомага потребителите в програми за отслабване или увеличаване на теглото. За да проследява храната чрез MyFitnessPal, потребителят първо избира време за хранене, което да проследява: закуска, обяд, вечеря или лека закуска. След това потребителят е подканен да намери проследената храна и му се предлагат опции от сетлиста. Потребителят може да търси в базата данни, да сканира баркод, да избере предварително проследена храна или да добави нова храна по свой избор. Тук потребителят има богат набор от храни, от които да избира, което увеличава възможността за неправилен избор. Последната стъпка за потребителя е да изчисли броя на консумираните порции. Подобно на метода 24HR, на потребителите се показват визуални помагала като подсказки за оценка на размера на порциите и следователно страдат от същата непоследователност на възприятието на потребителя.

Разглеждайки други популярни приложения в магазините за iOS и Android за мониторинг на хранителния прием, две се откроиха с наличието на инструменти за въвеждане на информация с помощта на камерата. Калориен брояч от Fatsecret е популярно приложение в магазина за приложения за Android. Има опция да използва камерата, но я използва само за разпознаване на храна, а не за оценка на обема. По същия начин, брояч на калории от Lose It! е друго популярно приложение за оценка на диетата. Той има вграден инструмент, наречен ‘SnapIt!’, Който може да анализира снимка и да открие храната, присъстваща в нея. И в двата случая потребителят трябва да въведе размера на обслужване доколкото е възможно, като повторно въведе същите грешки като в MyFitnessPal.

Въпреки че тези приложения са по-достъпни от настоящите алтернативи, те не са проектирани да отговарят на необходимата точност за медицинска оценка. На тях не може да се разчита единствено за критично наблюдение на пациентите [22]. Те обаче се използват като приблизителна оценка поради тяхната лекота на използване и удобни за потребителя интерфейси. Съответно, в следващите раздели системата DietSensor е сравнена с използвания в момента стандарт, метода 24HR, както и с популярния MyFitnessPal.

За съжаление е трудно да се постигне приемлива процентна грешка за поглъщане на въглехидрати поради фактори, влияещи върху начина на метаболизиране на диетичните въглехидрати. Фактори като чревни бактерии, нива на хормони, вид погълнати въглехидрати и дали въглехидратите се поглъщат с други продукти като протеини или мазнини варират в отделните случаи. Пристигането на такава грешка изисква допълнителни изследвания с научно приемливи методологии. Поради сложността, тежестта на потребителите и недостатъчното отчитане, настоящите цифрови анализи на приема на храна не са успели да дадат научно задоволителни резултати, когато са тествани в теренни проучвания [23].

Основният фокус на системата DietSensor е да разработи методология за намаляване на тежестта на потребителите и изискванията за обучение на потребителите чрез въвеждане на автоматизация, използваща 3D реконструкция. След като такава система се използва масово, по-нататъшното развитие с по-нови сензори и по-добре настроени алгоритми може лесно да се интегрира в същата рамка, за да намали допълнително процента на случайни и системни грешки.

3. Методология

Системата DietSensor се стреми да подобри мониторинга на измерването на диетата в болниците чрез изчисляване на консумираните хранителни данни. Повечето американски болници измерват точното количество храна, преди да я доставят на пациента, и я записват в хранителната база данни на заведението. Достъпът до тази база данни позволява на системата DietSensor да получи основните хранителни данни за храненето. След като пациентът приключи с храненето, медицинската сестра или хранителният персонал сканират остатъците с помощта на приложението за смартфон DietSensor. Приложението събира данни за дълбочината от търговски сензор за дълбочина (COTS), наречен Structure Sensor (направен от Occipital [24]). Този процес е описан по-подробно в раздел 3.1.

Докато по-новите мобилни телефони започват да получават необходимите хардуерни възможности за извършване на 3D сканиране, естествените 3D сензори все още не са широко разпространени и различни производители са внедрили различни варианти на тази технология в област, която все още се заражда. Структурният сензор от Occipital е утвърден модул с лесно приспособими решения както за операционните системи iOS, така и за Android, осигуряващ по-последователни измервания между устройствата. Системата DietSensor е внедрена с използване както на iPhone, така и на iPad. В повечето случаи обаче се предпочиташе iPad поради по-големия размер на екрана, позволяващ по-удобно гледане и взаимодействие с генерираната мрежа. Независимо от хардуера, 3D реконструкцията за оценка на обема изисква пространствено затворена 3D мрежа; системата DietSensor е решила това с помощта на обобщаващ се алгоритъм за запълване на дупки, който се прилага по време на последваща обработка.

Последващата обработка на 3D моделите се извършва с помощта на алгоритъма VCA, който извежда обема на всеки сегмент на мрежата чрез запълване на липсващи пространствени дупки. След това получените обеми се изваждат от първоначално записаните хранителни данни от кухнята, за да се изчисли точното количество консумирани хранителни вещества от пациента. С тези данни ендокринолозите могат надеждно да предписват и прилагат необходимото количество инсулин. Алгоритъмът на VCA е подробно описан в раздел 3.2.

Изчисляването за получаване на хранителни данни от измерения обем е описано в раздел 3.3 и накрая схемите за тестване са описани в раздел 3.4.

3.1. Структурен сензор

Хардуерът на скенера се състои от смартфон, инфрачервен (IR) проектор и модул на камерата за запис на информация за дълбочината, показан на фигура 2. Модулът за IR проектор проектира известна разсейваща матрица на инфрачервена светлина върху повърхността на обекта.