Я Лу

1 ARTORG Център за биомедицински инженерни изследвания, Университет в Берн, 3008 Берн, Швейцария; [email protected] (Y.L.); [email protected] (T.S.); [email protected] (M.F.V.)

диетата

Томай Статопулу

1 ARTORG Център за биомедицински инженерни изследвания, Университет в Берн, 3008 Берн, Швейцария; [email protected] (Y.L.); [email protected] (T.S.); [email protected] (M.F.V.)

Мария Ф. Василоглоу

1 ARTORG Център за биомедицински инженерни изследвания, Университет в Берн, 3008 Берн, Швейцария; [email protected] (Y.L.); [email protected] (T.S.); [email protected] (M.F.V.)

Лилиан Ф. Пино

2 Отдел по ендокринология, Медицински център на администрацията на ветераните в Балтимор, Балтимор, MD 21201, САЩ; [email protected] (L.F.P.); ude.dnalyramu.mos@sikanapsi (E.K.S.)

Колийн Кайли

3 Luminis Health, медицински център Anne Arundel, специалисти по диабет и ендокринна медицина Anne Arundel, Анаполис, MD 21401, САЩ; gro.shaa@yelikc

Елиас К. Спанакис

2 Отдел по ендокринология, Медицински център на администрацията на ветераните в Балтимор, Балтимор, MD 21201, САЩ; [email protected] (L.F.P.); ude.dnalyramu.mos@sikanapsi (E.K.S.)

4 Отдел по ендокринология, диабет и хранене, Медицински факултет на Университета в Мериленд, Балтимор, MD 21201, САЩ

Ставрула Муджакакоу

1 ARTORG Център за биомедицински инженерни изследвания, Университет в Берн, 3008 Берн, Швейцария; [email protected] (Y.L.); [email protected] (T.S.); [email protected] (M.F.V.)

5 Университетска болница в Берн “Inselpital”, 3010 Берн, Швейцария

Резюме

1. Въведение

С развитието на алгоритмите за компютърно зрение и технологиите за смартфони стана възможно да се изчисли съдържанието на хранителни вещества в храната, като се анализират изображенията на храната, заснети от камерата на смартфона [8,9,10]. В идеален сценарий потребителите трябва да заснемат едно или повече изображения на хранене с помощта на камерата на смартфона; видът храна и свързаното с нея хранително съдържание ще бъдат автоматично изчислени от специално разработената система за оценка на диетата. В такива системи обикновено участват три етапа: (1) сегментиране на хранителни продукти; (2) разпознаване на хранителни продукти и (3) оценка на обема. По този начин съдържанието на хранителни вещества може да бъде извлечено с помощта на базата данни за хранителните хранителни вещества по пряк начин.

Следвайки тази концепция, са предложени много алгоритми за оценка на диетата [11,12,13,14,15], но повечето от тях се фокусират само върху първите две стъпки [11,12,13], използвайки свързаното сегментиране и разпознаване на изображения алгоритми. Въпреки че тези алгоритми постигат добра точност в публично достъпните бази данни [16,17], ние забелязахме, че за тях все още е трудно да осигурят задоволително представяне на изображения от реалния живот, особено в случай на замъглени изображения или лоши условия на осветление. По този начин, за практична система трябва да бъде внедрен модул за човешко взаимодействие, за да се даде възможност на крайните потребители да коригират ръчно резултатите от автоматично сегментиране и разпознаване на храни и разпознаване.

Напредъкът в академичната работа по диетична оценка, базирана на AI, е придружен от няколко опита за комерсиализиране на технологията в приложения за смартфони (напр. FatSceret [27], CALORIE MAMA [28] и bitesnap [29]). Тези приложения се възползват от наличието на смартфони и алгоритми за изкуствен интелект и имат за цел да предоставят удобни инструменти за обикновените потребители, които редовно записват храненията си. По-голямата част от приложенията обаче изискват от потребителя да прецени ръчно размера на порцията храна [27,28,29] или да използва стандартизирани единици порции [27,28,29]. Неотдавнашните ни изследвания показват, че дори обучени лица не могат да преценят точно порцията храна [23]. Освен това, доколкото ни е известно, наличните в търговската мрежа приложения не се поддържат от публикации, които представят информация относно (i) използваните алгоритмични методи, (ii) валидиране - дори в контролирани условия или използване на сравнителен набор от данни и (iii) системата архитектура (например смартфон, сървър). Следователно сравнителната оценка не е ясна.

В тази статия предлагаме базирана на смартфон система за оценка на диетата, наречена goFOOD TM. goFOOD TM следва подобен тръбопровод като предишната ни система GoCARB, която изчислява хранителното съдържание на храната, като използва две входни изображения. Направени са обаче следните модификации: (1) goFOOD TM се възползва от специално разработения усъвършенстван метод за дълбоко обучение, като гарантира, че системата поддържа повече видове храни и с по-добра точност. (2) В допълнение към CHO, goFOOD TM също така оценява съдържанието на протеини (PRO), мазнини и калории в храната. (3) Данните за гравитацията от инерционното измервателно устройство (IMU) на смартфона се използват за допълнителна оптимизация на позицията на камерата и оценката на равнината на масата в модула за оценка на обема на храната. (4) goFOOD TM поддържа както изображения с два изгледа, така и стерео двойка изображения за смартфон, оборудван с две задни камери като вход. (5) Разработена е и по-лека версия, а именно goFOOD TM Lite, която не прилага оценка на макронутриентите и калориите, а се използва за просто записване и съхраняване на храненето на потребителя.

Ефективността на goFOOD TM се оценява на две бази данни: (1) база данни MADiMa [30] и (2) нова база данни, наречена „Бърза храна“ база данни, която съдържа изображения на храни от веригата за бързо хранене „McDonald’s“. Трябва да се отбележи, че базата данни MADiMa съдържа само изображения на храни, заснети от различни ъгли на видимост с помощта на смартфони с една камера, докато базата данни „Fast food“ включва както изображения с два изгледа (смартфони с една камера), така и стерео двойки изображения, заснети от смартфони с два задни камери. За да демонстрираме по-убедително ефективността на предложената система, ние също сравняваме резултатите от goFOOD TM с оценките на двама регистрирани диетолози от САЩ в двете бази данни. Резултатите от проучването показват, че предложената система се представя по-добре от оценките на диетолозите в базата данни MADiMA, докато подобна ефективност е показана в базата данни „Бърза храна“. В допълнение, за да илюстрираме предимствата на предложената система по отношение на типичните търговски системи за оценка на диетата, ние обобщаваме сравнение на високо ниво между предложената goFOOD TM и някои популярни търговски приложения в приложение A.

Нашият принос може да бъде обобщен, както следва:

Ние предлагаме практична, точна, базирана на смартфони система за оценка на диетата, която предвижда съдържанието на макронутриенти (CHO, PRO, мазнини) и калории в едно ястие, използвайки две изображения. Експерименталните резултати демонстрират превъзходното представяне на предложената система по отношение на състоянието на съвременните технологии в две бази данни за храни.

Въвежда се нова база данни („Бърза храна“). Базата данни съдържа както изображения на храни, заснети от различни изгледи, така и стерео двойки изображения. Нещо повече, предоставят се и точната хранителна истина и оценките на диетолозите. Планираме тази база данни да стане публично достъпна, за да допринесем за изследователското общество за оценка на диетата.

Проведохме проучване, което сравнява оценката на нашата система с оценките на опитни диетолози, демонстрирайки обещаващото предимство на базираната на AI система за диетична оценка.

2. Контур на системата

Системата изисква въвеждането на две изображения на хранене. Входните изображения могат да бъдат получени или чрез конвенционално заснемане на снимки, или чрез запис на видео. За конвенционалните смартфони с една камера, изображенията трябва да бъдат заснети от два различни ъгъла на гледане; смартфоните, оборудвани с две задни камери обаче, изискват само едно натискане на бутона на затвора. Дълбоките невронни мрежи се прилагат за обработка на двете изображения и това извършва сегментиране и разпознаване на храна, докато алгоритъм, базиран на 3D реконструкция, изчислява обема на храната. Съдържанието на калории и макроелементи на всяко хранене се изчислява въз основа на всяка категория, обем храна и базата данни за състава на храната (Фигура 1).