Name: Głębokie sieci neuronowe do oceny diety w oparciu o obraz (Wideo) | JoVE Journal
Uploaded: 2021-03-13T15:00:00.000+00:00
Duration: 13 min 19 s
Description: Poznaj głębokie sieci neuronowe do automatycznej oceny diety na podstawie obrazów z urządzeń mobilnych. Metoda obejmuje rozpoznawanie i segmentację produktów spożywczych.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Autorzy chcieliby podziękować Tamarze Bucher z Uniwersytetu w Newcastle w Australii za dostarczenie zestawu danych z obrazami podróbek jedzenia. Prace te były wspierane przez programy Unii Europejskiej w zakresie badań naukowych i innowacji Horyzont 2020 (numery grantów 863059 - FNS-Cloud, 769661 - SAAM); oraz Słoweńska Agencja Badawcza (grant nr P2-0098). Unia Europejska i Słoweńska Agencja ds. Badań Naukowych nie odegrały żadnej roli w opracowaniu, analizie ani napisaniu tego artykułu.

1. Rozpoznawanie obrazów żywności za pomocą NutriNet
<ol>
	<li>Uzyskiwanie zestawu danych obrazu żywności
	<ol>
		<li>Zbierz listę różnych produktów spożywczych i napojów, które będą danymi wyjściowymi modelu rozpoznawania obrazów żywności. Preferowana jest zróżnicowana lista popularnych potraw i napojów, ponieważ pozwoli to na wytrenowanie solidnego modelu rozpoznawania obrazów żywności.</li>
		<li>Zapisz listę potraw i napojów w pliku tekstowym (np. "txt" lub "csv"). 
		UWAGA: Plik tekstowy wykorzystany przez autorów tego artykułu znajduje się w plikach uzupełniających ("food_items.txt") i zawiera listę 520 słoweńskich artykułów spożywczych</li>.
		<li>Napisz lub pobierz skrypt Python43, który korzysta z interfejsu API Google Custom Search44 do pobierania obrazów każdego produktu spożywczego z listy i zapisywania ich w osobnym folderze dla każdego produktu spożywczego. 
		UWAGA: Skrypt Pythona używany przez autorów tego artykułu można znaleźć w plikach uzupełniających ("download_images.py"). Jeśli ten skrypt jest używany, klucz programisty (zmienna "developerKey", wiersz 8 w kodzie skryptu Pythona) i identyfikator niestandardowej wyszukiwarki (zmienna "cx", wiersz 28 w kodzie skryptu Pythona) muszą zostać zastąpione wartościami specyficznymi dla używanego konta Google.</li>
		<li>Uruchom skrypt Pythona z kroku 1.1.3 (np. z poleceniem: 'python download_images.py').</li>
	</ol>
	</li>
	<li>(Opcjonalnie) Czyszczenie zestawu danych obrazu żywności
	<ol>
		<li>Wytrenuj model wykrywania obrazów żywności w taki sam sposób, jak w sekcji 1.4, z wyjątkiem użycia tylko dwóch danych wyjściowych (żywność, żywność nieżywnościowa) w przeciwieństwie do listy danych wyjściowych z kroku 1.1.1. 
		UWAGA: Autorzy tego artykułu wykorzystali obrazy połączone ze stron internetowych z przepisami i zestawem danych ImageNet45, aby wytrenować model wykrywania obrazów żywności. Ponieważ nacisk kładziony jest tutaj na rozpoznawanie obrazów żywności i jest to opcjonalny krok czyszczenia zestawu danych rozpoznawania, dalsze szczegóły są pomijane. Zamiast tego więcej szczegółów na temat tego podejścia można znaleźć w Mezgec et al.2.</li>
		<li>Uruchom model wykrywania z kroku 1.2.1 na zestawie danych obrazu żywności, który jest wynikiem kroku 1.1.4.</li>
		<li>Usuń wszystkie obrazy, które zostały oznaczone jako niespożywcze przez model wykrywania z kroku 1.2.1.</li>
		<li>Ręcznie sprawdź, czy zestaw danych obrazów żywności nie zawiera innych błędnych obrazów lub obrazów o niskiej jakości oraz duplikatów obrazów.</li>
		<li>Usuń obrazy znalezione w kroku 1.2.4.</li>
	</ol>
	</li>
	<li>Rozszerzanie zestawu danych obrazów żywności
	<ol>
		<li>Utwórz nową wersję każdego obrazu z zestawu danych obrazów żywności, obracając go o 90° za pomocą biblioteki CLoDSA46 (wiersze od 19 do 21 w dołączonym skrypcie Pythona). 
		UWAGA: Skrypt Pythona zawierający wszystkie komendy CLoDSA używane przez autorów tego artykułu można znaleźć w pliku dołączonym do plików uzupełniających ("nutrinet_augmentation.py"). Jeśli ten skrypt jest używany, ścieżka wejściowa (zmienna "INPUT_PATH", wiersz 8 w kodzie skryptu Pythona) i ścieżka wyjściowa (zmienna "OUTPUT_PATH", linia 11 w kodzie skryptu Pythona) muszą zostać zastąpione ścieżkami do żądanych folderów.</li>
		<li>Utwórz nową wersję każdego obrazu z zestawu danych obrazów żywności, obracając go o 180° za pomocą biblioteki CLoDSA (wiersze od 19 do 21 w dołączonym skrypcie Pythona).</li>
		<li>Utwórz nową wersję każdego obrazu ze zbioru danych obrazów żywności, obracając go o 270° za pomocą biblioteki CLoDSA (wiersze od 19 do 21 w dołączonym skrypcie Pythona).</li>
		<li>Utwórz nową wersję każdego obrazu z zestawu danych obrazów żywności, odwracając go w poziomie za pomocą biblioteki CLoDSA (wiersze 23 i 24 w dołączonym skrypcie języka Python).</li>
		<li>Utwórz nową wersję każdego obrazu z zestawu danych obrazu żywności, dodając do niego losowy kolorowy szum za pomocą biblioteki CLoDSA (wiersze 26 i 27 w dołączonym skrypcie języka Python).</li>
		<li>Utwórz nową wersję każdego obrazu z zestawu danych obrazów żywności, powiększając go o 25% za pomocą biblioteki CLoDSA (wiersze 29 i 30 w dołączonym skrypcie Pythona).</li>
		<li>Zapisz obrazy z kroków 1.3.1-1.3.6 wraz z oryginalnymi obrazami (wiersze 16 i 17 w dołączonym skrypcie Pythona) w nowym zestawie danych obrazów żywności (w sumie 7 wariantów na obraz żywności). Odbywa się to poprzez wykonanie polecenia w wierszu 32 dołączonego skryptu Pythona.</li>
	</ol>
	</li>
	<li>Rozpoznawanie obrazów żywności
	<ol>
		<li>Zaimportuj zestaw danych obrazów żywności z kroku 1.3.7 do środowiska NVIDIA DIGITS 47, dzieląc zestaw danych na podzbiory treningowe, walidacyjne i testowe w interfejsie użytkownika NVIDIA DIGITS.</li>
		<li>Skopiuj i wklej tekst definicji architektury NutriNet2 do NVIDIA DIGITS jako sieć niestandardowa. 
		UWAGA: Tekst definicji architektury NutriNet można znaleźć w plikach uzupełniających ('nutrinet.prototxt').</li>
		<li>(Opcjonalnie) Zdefiniuj hiperparametry trenowania w interfejsie użytkownika NVIDIA DIGITS. 
		UWAGA: Hiperparametry to parametry, które są używane do definiowania procesu trenowania przed jego rozpoczęciem. Hiperparametry używane przez autorów tego artykułu można znaleźć w pliku zawartym w plikach uzupełniających ("nutrinet_hyperparameters.prototxt"). Chociaż dla każdego zestawu danych potrzebne jest eksperymentowanie w celu znalezienia optymalnych hiperparametrów, plik zawiera konfigurację hiperparametrów, którą można skopiować do interfejsu użytkownika NVIDIA DIGITS. Ponadto NVIDIA DIGITS wypełnia hiperparametry wartościami domyślnymi, które mogą być używane jako punkt odniesienia. Ten krok jest zatem opcjonalny.</li>
		<li>Uruchom szkolenie modelu NutriNet.</li>
		<li>Po zakończeniu trenowania wykonaj najlepiej działającą iterację modelu NutriNet. Model ten jest następnie używany do testowania wydajności tego podejścia. 
		UWAGA: Istnieje wiele sposobów określenia najbardziej wydajnej iteracji modelu. Prosty sposób na to jest następujący. NVIDIA DIGITS generuje wykres miar dokładności dla każdej epoki treningowej. Sprawdź, która epoka osiągnęła najniższą wartość straty dla podzbioru walidacji zestawu danych obrazu żywności — tę iterację modelu można uznać za najbardziej wydajną. Opcjonalnym krokiem w określaniu najlepiej działającej iteracji modelu jest obserwacja, jak wartość straty dla podzbioru uczenia zmienia się z epoki na epokę, a jeśli zaczyna spadać w sposób ciągły, podczas gdy wartość straty dla podzbioru walidacji pozostaje taka sama lub rośnie w sposób ciągły, weź epokę przed tym spadkiem wartości straty uczenia, ponieważ może to sygnalizować, kiedy model zaczął nadmierne dopasowanie na obrazach treningowych.</li>
	</ol>
	</li>
</ol>
2. Segmentacja obrazów żywności za pomocą FCN
<ol>
	<li>Uzyskiwanie zestawu danych obrazu fałszywego jedzenia
	<ol>
		<li>Uzyskaj zestaw danych obrazów fałszywego jedzenia. Obrazy fałszywego jedzenia są zbierane przez naukowców przeprowadzających badania behawioralne przy użyciu replik żywności. 
		UWAGA: Autorzy tego artykułu otrzymali zdjęcia fałszywej żywności, które zostały zebrane w środowisku laboratoryjnym18.</li>
		<li>Ręcznie dodawaj adnotacje do każdego obrazu żywności na poziomie piksela — każdy piksel na obrazie musi zawierać informacje o tym, do jakiej klasy żywności należy. Wynikiem tego kroku jest jeden obraz adnotacji dla każdego obrazu z zestawu danych obrazu żywności, gdzie każdy piksel reprezentuje jedną z klas żywności. 
		UWAGA: Jest wiele narzędzi, aby to osiągnąć - autorzy tego artykułu wykorzystali JavaScript Segment Annotator48.</li>
	</ol>
	</li>
	<li>Rozszerzanie zestawu danych obrazów podróbek żywności
	<ol>
		<li>Wykonaj te same czynności, co w sekcji 1.3, ale tylko na obrazach z podzbioru treningowego zestawu danych obrazów żywności. 
		UWAGA: Z wyjątkiem kroku 1.3.5 wszystkie kroki rozszerzania danych muszą być również wykonywane na odpowiednich obrazach adnotacji. Jeśli używany jest skrypt z sekcji 1.3, Ścieżka wejściowa (zmienna 'INPUT_PATH', wiersz 8 w kodzie skryptu Python43) i Ścieżka wyjściowa (zmienna 'OUTPUT_PATH', linia 11 w kodzie skryptu Pythona) muszą zostać zastąpione ścieżkami do żądanych folderów. Ponadto ustaw Problem (zmienna "PROBLEM", wiersz 6 w kodzie skryptu Pythona) na "instance_segmentation", a tryb adnotacji (zmienna "ANNOTATION_MODE", wiersz 7 w kodzie skryptu Pythona) i tryb wyjściowy (zmienna "OUTPUT_MODE", wiersz 10 w kodzie skryptu Pythona) na "coco".</li>
	</ol>
	</li>
	<li>Przeprowadzanie segmentacji obrazu podróbek żywności
	<ol>
		<li>Wykonaj te same czynności, co w sekcji 1.4, z wyjątkiem kroku 1.4.2. Zamiast tego kroku wykonaj kroki 2.3.2 i 2.3.3. 
		UWAGA: Hiperparametry to parametry, które są używane do definiowania procesu trenowania przed jego rozpoczęciem. Hiperparametry trenowania używane przez autorów tego artykułu dla opcjonalnego kroku 1.4.3 można znaleźć w pliku zawartym w plikach uzupełniających ("fcn-8s_hyperparameters.prototxt"). Chociaż dla każdego zestawu danych potrzebne jest eksperymentowanie w celu znalezienia optymalnego zestawu hiperparametrów, plik zawiera konfigurację hiperparametrów, którą można skopiować do interfejsu użytkownika NVIDIA DIGITS47. Ponadto NVIDIA DIGITS wypełnia hiperparametry wartościami domyślnymi, które mogą być używane jako punkt odniesienia.</li>
		<li>Skopiuj i wklej tekst definicji architektury FCN-8s15 do środowiska NVIDIA DIGITS jako sieć niestandardowa. 
		UWAGA: Tekst definicji architektury FCN-8s jest publicznie dostępny na GitHub49.</li>
		<li>Wprowadź ścieżkę do wstępnie wytrenowanych wzorców masy modelu FCN-8s w interfejsie użytkownika NVIDIA DIGITS. 
		UWAGA: Te wzorce masy modelu zostały wstępnie wytrenowane na zestawie danych PASCAL VOC 17 i można je znaleźć na stronie Internet49.</li>
	</ol>
	</li>
</ol>
3. Segmentacja obrazów żywności za pomocą HTC ResNet
<ol>
	<li>Uzyskiwanie zestawu danych obrazu żywności
	<ol>
		<li>Pobierz zestaw danych obrazów żywności ze strony internetowej FRC19.</li>
	</ol>
	</li>
	<li>Rozszerzanie zestawu danych obrazów żywności
	<ol>
		<li>Wykonaj kroki 1.3.1-1.3.4. 
		UWAGA: Skrypt Python43 zawierający wszystkie komendy CLoDSA46 używane przez autorów tego artykułu można znaleźć w pliku dołączonym do plików uzupełniających ('frc_augmentation.py'). Jeśli ten skrypt jest używany, ścieżka wejściowa (zmienna "INPUT_PATH", wiersz 8 w kodzie skryptu Pythona) i ścieżka wyjściowa (zmienna "OUTPUT_PATH", linia 11 w kodzie skryptu Pythona) muszą zostać zastąpione ścieżkami do żądanych folderów.</li>
		<li>Utwórz nową wersję każdego obrazu z zestawu danych obrazu żywności, dodając do niego rozmycie gaussowskie za pomocą biblioteki CLoDSA (wiersze 26 i 27 w dołączonym skrypcie Pythona).</li>
		<li>Utwórz nową wersję każdego obrazu z zestawu danych obrazów żywności, wyostrzając go za pomocą biblioteki CLoDSA (wiersze 29 i 30 w dołączonym skrypcie Pythona).</li>
		<li>Utwórz nową wersję każdego obrazu z zestawu danych obrazów żywności, stosując do niego korekcję gamma za pomocą biblioteki CLoDSA (wiersze 32 i 33 w dołączonym skrypcie języka Python).</li>
		<li>Zapisz obrazy z kroków 3.2.1-3.2.4 wraz z oryginalnymi obrazami (wiersze 16 i 17 w dołączonym skrypcie Pythona) w nowym zestawie danych obrazów żywności (w sumie 8 wariantów na obraz żywności). Odbywa się to poprzez wykonanie polecenia w wierszu 35 dołączonego skryptu Pythona.</li>
		<li>Zapisz obrazy z kroków 3.2.2-3.2.4 wraz z oryginalnymi obrazami (wiersze 16 i 17 w dołączonym skrypcie Pythona) w nowym zestawie danych obrazów żywności (w sumie 4 warianty na obraz żywności). Odbywa się to poprzez usunięcie wierszy od 19 do 24 dołączonego skryptu Pythona i wykonanie polecenia w wierszu 35.</li>
	</ol>
	</li>
	<li>Przeprowadzanie segmentacji obrazów żywności
	<ol>
		<li>Zmodyfikuj istniejącą definicję HTC20 ResNet-101 architecture16 z biblioteki MMDetection50 w sekcjach "ustawienia modelu" i "ustawienia zestawu danych" pliku definicji architektury, tak aby akceptowała zestawy danych obrazów żywności z kroków 3.1.1, 3.2.5 i 3.2.6.</li>
		<li>(Opcjonalnie) Zmodyfikuj definicję architektury HTC ResNet-101 z kroku 3.3.1, aby zdefiniować hiperparametry trenowania: rozmiar partii w sekcji "Ustawienia zestawu danych", typ solvera i szybkość uczenia się w sekcji "Optymalizator", zasady uczenia się w sekcji "Polityka uczenia się" oraz liczba epok szkoleniowych w sekcji "Ustawienia środowiska uruchomieniowego" pliku definicji architektury. 
UWAGA: Zmodyfikowany plik definicji architektury HTC ResNet-101 można znaleźć w plikach uzupełniających ("htc_resnet-101.py"). Hiperparametry to parametry, które są używane do definiowania procesu trenowania przed jego rozpoczęciem. Chociaż eksperymentowanie jest potrzebne dla każdego zestawu danych, aby znaleźć optymalny zestaw hiperparametrów, plik zawiera już konfigurację hiperparametrów, której można używać bez modyfikacji. Ten krok jest zatem opcjonalny.</li>
		<li>Uruchom trenowanie modelu HTC ResNet-101 na zestawie danych obrazów żywności z kroku 3.1.1 przy użyciu biblioteki MMDetection (np. za pomocą polecenia: 'python mmdetection/tools/train.py htc_resnet-101.py').</li>
		<li>Po zakończeniu trenowania z kroku 3.3.3 przejdź do najlepiej działającej iteracji modelu HTC ResNet-101 i dostosuj ją, uruchamiając kolejną fazę trenowania na zestawie danych obrazu żywności z kroku 3.2.5. 
		UWAGA: Istnieje wiele sposobów określenia najbardziej wydajnej iteracji modelu. Prosty sposób na to jest następujący. Biblioteka MMDetection wyprowadza wartości miar dokładności dla każdej epoki trenowania w interfejsie wiersza poleceń. Sprawdź, która epoka osiągnęła najniższą wartość straty dla podzbioru walidacji zestawu danych obrazu żywności — tę iterację modelu można uznać za najbardziej wydajną. Opcjonalnym krokiem w określaniu najlepiej działającej iteracji modelu jest obserwacja, jak wartość straty dla podzbioru uczenia zmienia się z epoki na epokę, a jeśli zaczyna spadać w sposób ciągły, podczas gdy wartość straty dla podzbioru walidacji pozostaje taka sama lub rośnie w sposób ciągły, weź epokę przed tym spadkiem wartości straty uczenia, ponieważ może to sygnalizować, kiedy model zaczął nadmierne dopasowanie na obrazach treningowych.</li>
		<li>Po zakończeniu trenowania z kroku 3.3.4 wybierz najlepszą iterację modelu HTC ResNet-101 i dostosuj ją, uruchamiając kolejną fazę trenowania na zestawie danych obrazu żywności z kroku 3.2.6. 
		UWAGA: Patrz uwaga dotycząca kroku 3.3.4.</li>
		<li>Po zakończeniu trenowania z kroku 3.3.5 wybierz najlepszą iterację modelu HTC ResNet-101 i dostosuj ją, ponownie uruchamiając kolejną fazę trenowania na zestawie danych obrazu żywności z kroku 3.2.5. 
		UWAGA: Patrz uwaga dotycząca kroku 3.3.4.</li>
		<li>Po zakończeniu trenowania z kroku 3.3.6 przejdź do najbardziej wydajnej iteracji modelu HTC ResNet-101. Model ten jest następnie używany do testowania wydajności tego podejścia. 
		UWAGA: Patrz uwaga dotycząca kroku 3.3.4. Kroki 3.3.3-3.3.7 przyniosły najlepsze wyniki dla celów zdefiniowanych przez autorów tego artykułu. Eksperymentowanie jest potrzebne dla każdego zestawu danych, aby znaleźć optymalną sekwencję kroków trenowania i rozszerzania danych.</li>
	</ol>
	</li>
</ol>

<ol><li>Mezgec, S., Eftimov, T., Bucher, T., Koroušić Seljak, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mixed+Deep+Learning+and+Natural+Language+Processing+Method+for+Fake-Food+Image+Recognition+and+Standardization+to+Help+Automated+Dietary+Assessment%5BTitle%5D)+AND+%22Public+Health+Nutrition%22%5BJournal%5D)">Mixed Deep Learning and Natural Language Processing Method for Fake-Food Image Recognition and Standardization to Help Automated Dietary Assessment.</a> Public Health Nutrition. 22 (7), 1193-1202 (2019).</li>
<li>Mezgec, S., Koroušić Seljak, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((NutriNet%3A+A+Deep+Learning+Food+and+Drink+Image+Recognition+System+for+Dietary+Assessment%5BTitle%5D)+AND+%22Nutrients%22%5BJournal%5D)">NutriNet: A Deep Learning Food and Drink Image Recognition System for Dietary Assessment.</a> Nutrients. 9 (7), 657(2017).</li>
<li>Chen, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((PFID%3A+Pittsburgh+Fast-Food+Image+Dataset%5BTitle%5D)+AND+%22Proceedings+of+the+ICIP+2009%22%5BJournal%5D)">PFID: Pittsburgh Fast-Food Image Dataset.</a> Proceedings of the ICIP 2009. , 289-292 (2009).</li>
<li>Joutou, T., Yanai, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Food+Image+Recognition+System+with+Multiple+Kernel+Learning%5BTitle%5D)+AND+%22Proceedings+of+the+ICIP+2009%22%5BJournal%5D)">A Food Image Recognition System with Multiple Kernel Learning.</a> Proceedings of the ICIP 2009. , 285-288 (2009).</li>
<li>Yang, S., Chen, M., Pomerlau, D., Sukthankar, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+Recognition+using+Statistics+of+Pairwise+Local+Features%5BTitle%5D)+AND+%22Proceedings+of+the+CVPR+2010%22%5BJournal%5D)">Food Recognition using Statistics of Pairwise Local Features.</a> Proceedings of the CVPR 2010. , 2249-2256 (2010).</li>
<li>Anthimopoulos, M. M., Gianola, L., Scarnato, L., Diem, P., Mougiakakou, S. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Food+Recognition+System+for+Diabetic+Patients+Based+on+an+Optimized+Bag-of-Features+Model%5BTitle%5D)+AND+%22IEEE+Journal+of+Biomedical+and+Health+Informatics%22%5BJournal%5D)">A Food Recognition System for Diabetic Patients Based on an Optimized Bag-of-Features Model.</a> IEEE Journal of Biomedical and Health Informatics. 18 (4), 1261-1271 (2014).</li>
<li>LeCun, Y., Bengio, Y., Hinton, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+Learning%5BTitle%5D)+AND+%22Nature%22%5BJournal%5D)">Deep Learning.</a> Nature. 521, 436-444 (2015).</li>
<li>Deng, L., Yu, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+Learning%3A+Methods+and+Applications%5BTitle%5D)+AND+%22Foundations+and+Trends+in+Signal+Processing%22%5BJournal%5D)">Deep Learning: Methods and Applications.</a> Foundations and Trends in Signal Processing. 7 (3-4), 197(2014).</li>
<li>Hubel, D. H., Wiesel, T. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Receptive+Fields%2C+Binocular+Interaction+and+Functional+Architecture+in+the+Cat%27s+Visual+Cortex%5BTitle%5D)+AND+%22The+Journal+of+Physiology%22%5BJournal%5D)">Receptive Fields, Binocular Interaction and Functional Architecture in the Cat's Visual Cortex.</a> The Journal of Physiology. 160 (1), 106-154 (1962).</li>
<li>Singla, A., Yuan, L., Ebrahimi, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food%2FNon-Food+Image+Classification+and+Food+Categorization+using+Pre-Trained+GoogLeNet+Model%5BTitle%5D)+AND+%22Proceedings+of+the+MADiMa%2716%22%5BJournal%5D)">Food/Non-Food Image Classification and Food Categorization using Pre-Trained GoogLeNet Model.</a> Proceedings of the MADiMa'16. , 3-11 (2016).</li>
<li>Yanai, K., Kawano, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+Image+Recognition+using+Deep+Convolutional+Network+with+Pre-Training+and+Fine-Tuning%5BTitle%5D)+AND+%22Proceedings+of+the+ICMEW+2015%22%5BJournal%5D)">Food Image Recognition using Deep Convolutional Network with Pre-Training and Fine-Tuning.</a> Proceedings of the ICMEW 2015. , 1-6 (2015).</li>
<li>Liu, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepFood%3A+Deep+Learning-Based+Food+Image+Recognition+for+Computer-Aided+Dietary+Assessment%5BTitle%5D)+AND+%22Proceedings+of+the+ICOST+2016%22%5BJournal%5D)">DeepFood: Deep Learning-Based Food Image Recognition for Computer-Aided Dietary Assessment.</a> Proceedings of the ICOST 2016. , 37-48 (2016).</li>
<li>De Sousa Ribeiro, F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+End-to-End+Deep+Neural+Architecture+for+Optical+Character+Verification+and+Recognition+in+Retail+Food+Packaging%5BTitle%5D)+AND+%22Proceedings+of+the+ICIP+2018%22%5BJournal%5D)">An End-to-End Deep Neural Architecture for Optical Character Verification and Recognition in Retail Food Packaging.</a> Proceedings of the ICIP 2018. , 2376-2380 (2018).</li>
<li>Krizhevsky, A., Sutskever, I., Hinton, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ImageNet+Classification+with+Deep+Convolutional+Neural+Networks%5BTitle%5D)+AND+%22Proceedings+of+the+NIPS%2712%22%5BJournal%5D)">ImageNet Classification with Deep Convolutional Neural Networks.</a> Proceedings of the NIPS'12. , 1097-1105 (2012).</li>
<li>Long, J., Shelhamer, E., Darrell, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fully+Convolutional+Networks+for+Semantic+Segmentation%5BTitle%5D)+AND+%22Proceedings+of+the+CVPR+2015%22%5BJournal%5D)">Fully Convolutional Networks for Semantic Segmentation.</a> Proceedings of the CVPR 2015. , 3431-3440 (2015).</li>
<li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+Residual+Learning+for+Image+Recognition%5BTitle%5D)+AND+%22Proceedings+of+the+CVPR+2016%22%5BJournal%5D)">Deep Residual Learning for Image Recognition.</a> Proceedings of the CVPR 2016. , 770-778 (2016).</li>
<li>PASCAL VOC Project. PASCAL Visual Object Classes. , Available from: 
 <a target="_blank" href="http://host.robots.ox.ac.uk/pascal/VOC">http://host.robots.ox.ac.uk/pascal/VOC</a> (2020).</li>
<li>Bucher, T., vander Horst, K., Siegrist, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fruit+for+Dessert.+How+People+Compose+Healthier+Meals%5BTitle%5D)+AND+%22Appetite%22%5BJournal%5D)">Fruit for Dessert. How People Compose Healthier Meals.</a> Appetite. 60 (1), 74-80 (2013).</li>
<li>Food Recognition Challenge. AICrowd. , Available from: 
 <a target="_blank" href="https://www.aicrowd.com/challenges/food-recognition-challenge">https://www.aicrowd.com/challenges/food-recognition-challenge</a> (2020).</li>
<li>Chen, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hybrid+Task+Cascade+for+Instance+Segmentation%5BTitle%5D)+AND+%22Proceedings+of+the+CVPR+2019%22%5BJournal%5D)">Hybrid Task Cascade for Instance Segmentation.</a> Proceedings of the CVPR 2019. , 4974-4983 (2019).</li>
<li>Kawano, Y., Yanai, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+Image+Recognition+with+Deep+Convolutional+Features%5BTitle%5D)+AND+%22Proceedings+of+the+UbiComp+2014%22%5BJournal%5D)">Food Image Recognition with Deep Convolutional Features.</a> Proceedings of the UbiComp 2014. , 589-593 (2014).</li>
<li>Matsuda, Y., Hoashi, H., Yanai, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recognition+of+Multiple-Food+Images+by+Detecting+Candidate+Regions%5BTitle%5D)+AND+%22Proceedings+of+the+ICME+2012%22%5BJournal%5D)">Recognition of Multiple-Food Images by Detecting Candidate Regions.</a> Proceedings of the ICME 2012. , 25-30 (2012).</li>
<li>Christodoulidis, S., Anthimopoulos, M. M., Mougiakakou, S. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+Recognition+for+Dietary+Assessment+using+Deep+Convolutional+Neural+Networks%5BTitle%5D)+AND+%22Proceedings+of+the+ICIAP+2015%22%5BJournal%5D)">Food Recognition for Dietary Assessment using Deep Convolutional Neural Networks.</a> Proceedings of the ICIAP 2015. , 458-465 (2015).</li>
<li>Tanno, R., Okamoto, K., Yanai, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepFoodCam%3A+A+DCNN-Based+Real-Time+Mobile+Food+Recognition+System%5BTitle%5D)+AND+%22Proceedings+of+the+MADiMa%2716%22%5BJournal%5D)">DeepFoodCam: A DCNN-Based Real-Time Mobile Food Recognition System.</a> Proceedings of the MADiMa'16. , 89-89 (2016).</li>
<li>Liu, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+New+Deep+Learning-Based+Food+Recognition+System+for+Dietary+Assessment+on+An+Edge+Computing+Service+Infrastructure%5BTitle%5D)+AND+%22IEEE+Transactions+on+Services+Computing%22%5BJournal%5D)">A New Deep Learning-Based Food Recognition System for Dietary Assessment on An Edge Computing Service Infrastructure.</a> IEEE Transactions on Services Computing. 11 (2), 249-261 (2017).</li>
<li>Martinel, N., Foresti, G. L., Micheloni, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Wide-Slice+Residual+Networks+for+Food+Recognition%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+WACV+2018%22%5BJournal%5D)">Wide-Slice Residual Networks for Food Recognition.</a> Proceedings of the IEEE WACV 2018. , 567-576 (2018).</li>
<li>Bossard, L., Guillaumin, M., Van Gool, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food-101-Mining+Discriminative+Components+with+Random+Forests%5BTitle%5D)+AND+%22Proceedings+of+the+ECCV%2714%22%5BJournal%5D)">Food-101-Mining Discriminative Components with Random Forests.</a> Proceedings of the ECCV'14. , 446-461 (2014).</li>
<li>Zhou, L., Zhang, C., Liu, F., Qiu, Z., He, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Application+of+Deep+Learning+in+Food%3A+A+Review%5BTitle%5D)+AND+%22Comprehensive+Reviews+in+Food+Science+and+Food+Safety%22%5BJournal%5D)">Application of Deep Learning in Food: A Review.</a> Comprehensive Reviews in Food Science and Food Safety. 18, 1793-1811 (2019).</li>
<li>Zhao, H., Yap, K. -H., Kot, A. C., Duan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((JDNet%3A+A+Joint-Learning+Distilled+Network+for+Mobile+Visual+Food+Recognition%5BTitle%5D)+AND+%22IEEE+Journal+of+Selected+Topics+in+Signal+Processing%22%5BJournal%5D)">JDNet: A Joint-Learning Distilled Network for Mobile Visual Food Recognition.</a> IEEE Journal of Selected Topics in Signal Processing. 14 (4), 665-675 (2020).</li>
<li>Kawano, Y., Yanai, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+Expansion+of+a+Food+Image+Dataset+Leveraging+Existing+Categories+with+Domain+Adaptation%5BTitle%5D)+AND+%22Proceedings+of+the+ECCV%2714%22%5BJournal%5D)">Automatic Expansion of a Food Image Dataset Leveraging Existing Categories with Domain Adaptation.</a> Proceedings of the ECCV'14. , 3-17 (2014).</li>
<li>Hafiz, R., Haque, M. R., Rakshit, A., Uddin, M. S. Image-Based Soft Drink Type Classification and Dietary Assessment System using Deep Convolutional Neural Network with Transfer Learning. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aHafiz%2C+R+%22Journal+of+King+Saud+University+-+Computer+and+Information+Sciences%22">Journal of King Saud University - Computer and Information Sciences</a>. , (2020).</li>
<li>Shimoda, W., Yanai, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Weakly-Supervised+Plate+and+Food+Region+Segmentation%5BTitle%5D)+AND+%22Proceedings+of+the+ICME+2020%22%5BJournal%5D)">Weakly-Supervised Plate and Food Region Segmentation.</a> Proceedings of the ICME 2020. , 1-6 (2020).</li>
<li>Ciocca, G., Micali, G., Napoletano, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((State+Recognition+of+Food+Images+using+Deep+Features%5BTitle%5D)+AND+%22IEEE+Access%22%5BJournal%5D)">State Recognition of Food Images using Deep Features.</a> IEEE Access. 8, 32003-32017 (2020).</li>
<li>Knez, S., Šajn, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+Object+Recognition+using+a+Mobile+Device%3A+Evaluation+of+Currently+Implemented+Systems%5BTitle%5D)+AND+%22Trends+in+Food+Science+%26+Technology%22%5BJournal%5D)">Food Object Recognition using a Mobile Device: Evaluation of Currently Implemented Systems.</a> Trends in Food Science & Technology. 99, 460-471 (2020).</li>
<li>Furtado, P., Caldeira, M., Martins, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Human+Visual+System+vs+Convolution+Neural+Networks+in+Food+Recognition+Task%3A+An+Empirical+Comparison%5BTitle%5D)+AND+%22Computer+Vision+and+Image+Understanding%22%5BJournal%5D)">Human Visual System vs Convolution Neural Networks in Food Recognition Task: An Empirical Comparison.</a> Computer Vision and Image Understanding. 191, 102878(2020).</li>
<li>Chen, M. -Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+Chinese+Food+Identification+and+Quantity+Estimation%5BTitle%5D)+AND+%22SA%2712+Technical+Briefs%22%5BJournal%5D)">Automatic Chinese Food Identification and Quantity Estimation.</a> SA'12 Technical Briefs. , 1-4 (2012).</li>
<li>Chen, J., Ngo, C. -W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep-Based+Ingredient+Recognition+for+Cooking+Recipe+Retrieval%5BTitle%5D)+AND+%22Proceedings+of+the+MM%2716%22%5BJournal%5D)">Deep-Based Ingredient Recognition for Cooking Recipe Retrieval.</a> Proceedings of the MM'16. , 32-41 (2016).</li>
<li>Ciocca, G., Napoletano, P., Schettini, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+Recognition%3A+A+New+Dataset%2C+Experiments%2C+and+Results%5BTitle%5D)+AND+%22IEEE+Journal+of+Biomedical+and+Health+Informatics%22%5BJournal%5D)">Food Recognition: A New Dataset, Experiments, and Results.</a> IEEE Journal of Biomedical and Health Informatics. 21 (3), 588-598 (2017).</li>
<li>Salvador, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Learning+Cross-Modal+Embeddings+for+Cooking+Recipes+and+Food+Images%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+CVPR+2017%22%5BJournal%5D)">Learning Cross-Modal Embeddings for Cooking Recipes and Food Images.</a> Proceedings of the IEEE CVPR 2017. , 3020-3028 (2017).</li>
<li>Ciocca, G., Napoletano, P., Schettini, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((CNN-Based+Features+for+Retrieval+and+Classification+of+Food+Images%5BTitle%5D)+AND+%22Computer+Vision+and+Image+Understanding%22%5BJournal%5D)">CNN-Based Features for Retrieval and Classification of Food Images.</a> Computer Vision and Image Understanding. 176-177, 70-77 (2018).</li>
<li>Cai, Q., Li, J., Li, H., Weng, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((BTBUFood-60%3A+Dataset+for+Object+Detection+in+Food+Field%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+BigComp+2019%22%5BJournal%5D)">BTBUFood-60: Dataset for Object Detection in Food Field.</a> Proceedings of the IEEE BigComp 2019. , 1-4 (2019).</li>
<li>Min, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ISIA+Food-500%3A+A+Dataset+for+Large-Scale+Food+Recognition+via+Stacked+Global-Local+Attention+Network%5BTitle%5D)+AND+%22Proceedings+of+the+MM%2720%22%5BJournal%5D)">ISIA Food-500: A Dataset for Large-Scale Food Recognition via Stacked Global-Local Attention Network.</a> Proceedings of the MM'20. , 393-401 (2020).</li>
<li>Python Software Foundation. Python. , Available from: 
 <a target="_blank" href="https://www.python.org">https://www.python.org</a> (2020).</li>
<li>Google Custom Search API. Google. , Available from: 
 <a target="_blank" href="https://developers.google.com/resources/api-libraries/documentation/customsearch/v1/python/latest/customsearch_v1.cse.html">https://developers.google.com/resources/api-libraries/documentation/customsearch/v1/python/latest/customsearch_v1.cse.html</a> (2020).</li>
<li>Stanford Vision Lab. ImageNet. , Available from: 
 <a target="_blank" href="http://www.image-net.org">http://www.image-net.org</a> (2020).</li>
<li>Heras, J. CLoDSA. , Available from: 
 <a target="_blank" href="https://github.com/joheras/CLoDSA">https://github.com/joheras/CLoDSA</a> (2020).</li>
<li>NVIDIA DIGITS. NVIDIA. , Available from: 
 <a target="_blank" href="https://developer.nvidia.com/digits">https://developer.nvidia.com/digits</a> (2020).</li>
<li>Yamaguchi, K. JavaScript Segment Annotator. , Available from: 
 <a target="_blank" href="https://github.com/kyamagu/js-segment-annotator">https://github.com/kyamagu/js-segment-annotator</a> (2020).</li>
<li>Shelhamer, E. Fully Convolutional Networks for Semantic Segmentation. , Available from: 
 <a target="_blank" href="https://github.com/shelhamer/fcn.berkeleyvision.org">https://github.com/shelhamer/fcn.berkeleyvision.org</a> (2020).</li>
<li>Multimedia Laboratory, CUHK. MMDetection. , Available from: 
 <a target="_blank" href="https://github.com/open-mmlab/mmdetection">https://github.com/open-mmlab/mmdetection</a> (2020).</li>
<li>Szegedy, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Going+Deeper+with+Convolutions%5BTitle%5D)+AND+%22Proceedings+of+the+CVPR+2015%22%5BJournal%5D)">Going Deeper with Convolutions.</a> Proceedings of the CVPR 2015. , 1-9 (2015).</li>
<li>Bottou, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Large-Scale+Machine+Learning+with+Stochastic+Gradient+Descent%5BTitle%5D)+AND+%22Proceedings+of+the+COMPSTAT%272010%22%5BJournal%5D)">Large-Scale Machine Learning with Stochastic Gradient Descent.</a> Proceedings of the COMPSTAT'2010. , 177-186 (2010).</li>
<li>Nesterov, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Method+of+Solving+a+Convex+Programming+Problem+with+Convergence+Rate+O%281%2Fk2%29%5BTitle%5D)+AND+%22Doklady+Akademii+Nauk+SSSR%22%5BJournal%5D)">A Method of Solving a Convex Programming Problem with Convergence Rate O(1/k2).</a> Doklady Akademii Nauk SSSR. 27, 372-376 (1983).</li>
<li>Duchi, J., Hazan, E., Singer, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Adaptive+Subgradient+Methods+for+Online+Learning+and+Stochastic+Optimization%5BTitle%5D)+AND+%22Journal+of+Machine+Learning+Research%22%5BJournal%5D)">Adaptive Subgradient Methods for Online Learning and Stochastic Optimization.</a> Journal of Machine Learning Research. 12, 2121-2159 (2011).</li>
<li>Kingma, D. P., Ba, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Adam%3A+A+Method+for+Stochastic+Optimization%5BTitle%5D)+AND+%22arXiv+Preprint%22%5BJournal%5D)">Adam: A Method for Stochastic Optimization.</a> arXiv Preprint. , (2017).</li>
</ol>

Autorzy nie mają nic do ujawnienia.

W ostatnich latach głębokie sieci neuronowe były wielokrotnie weryfikowane jako odpowiednie rozwiązanie do rozpoznawania obrazów żywności 10,11,12,21,23,25,26,29,31,33. Nasza praca przedstawiona w tym artykule służy dalszemu udowodnieniu tego 1,2. Podejście do rozpoznawania obrazów żywności z jednym wyjściem jest proste i może być używane do prostych zastosowań, w których oczekiwane są obrazy zawierające tylko jeden produkt spożywczy lub napój2.
Podejście oparte na segmentacji obrazów żywności wydaje się szczególnie odpowiednie do rozpoznawania obrazów żywności w ogóle, bez żadnych ograniczeń co do liczby artykułów spożywczych1. Ponieważ działa poprzez klasyfikację każdego pojedynczego piksela obrazu, jest w stanie nie tylko rozpoznać dowolną liczbę artykułów spożywczych na obrazie, ale także określić, gdzie znajduje się produkt spożywczy, a także jak duży jest. Ten ostatni może być następnie wykorzystany do oszacowania masy żywności, zwłaszcza jeśli jest używany z obiektem referencyjnym lub kamerą o stałej odległości.
Wykonano pewne prace w zakresie dostępności zestawów danychobrazów żywności 3,22,27,30,36,37,38,39,40,41,42 i mamy nadzieję, że w przyszłości zostanie zrobionych więcej, szczególnie jeśli chodzi o agregację zestawów danych obrazów żywności z różnych regionów w całym kraju. świata, co umożliwiłoby opracowanie bardziej solidnych rozwiązań. Obecnie dokładność rozwiązań do automatycznego rozpoznawania obrazów żywności nie osiągnęła jeszcze dokładności na poziomie człowieka35 i jest to prawdopodobnie w dużej mierze spowodowane wykorzystaniem zestawów danych obrazów żywności o niewystarczającym rozmiarze i jakości.
W przyszłości naszym celem będzie dalsza ocena opracowanych procedur na obrazach ze świata rzeczywistego. Ogólnie rzecz biorąc, zestawy danych w tej dziedzinie często zawierają obrazy wykonane w kontrolowanych środowiskach lub obrazy, które zostały ręcznie zoptymalizowane pod kątem rozpoznawania. Dlatego ważne jest, aby zebrać duży i zróżnicowany zestaw danych obrazów żywności ze świata rzeczywistego, aby objąć wszystkie różne produkty spożywcze i napoje, które poszczególne osoby mogą chcieć rozpoznać. Pierwszym krokiem w tym kierunku było wyzwanie Food Recognition Challenge, w ramach którego wykorzystano zestaw danych z rzeczywistymi obrazami żywności19 , ale konieczne są dalsze prace w celu walidacji tego podejścia na obrazach żywności z całego świata i we współpracy z dietetykami.

Ocena diety jest kluczowym krokiem w określaniu obszarów diety danej osoby, które można podjąć. Jednak przeprowadzanie oceny diety przy użyciu tradycyjnie ręcznych metod wiąże się ze znacznymi kosztami. Podejścia te są również podatne na błędy, ponieważ często opierają się na samodzielnym zgłaszaniu przez jednostkę. Zautomatyzowana ocena diety rozwiązuje te problemy, zapewniając prostszy sposób ilościowego określania i kwalifikowania spożycia żywności. Takie podejście może również złagodzić niektóre błędy występujące w podejściach ręcznych, takie jak pominięte posiłki, niemożność dokładnej oceny objętości jedzenia itp. W związku z tym istnieją wyraźne korzyści z automatyzacji oceny diety poprzez opracowanie rozwiązań, które identyfikują różne produkty spożywcze i napoje oraz określają ilościowo spożycie żywności1. Rozwiązania te mogą być również wykorzystywane do umożliwienia oszacowania wartości odżywczej artykułów spożywczych i napojów (zwanych dalej "artykułami spożywczymi"). W związku z tym zautomatyzowana ocena diety jest przydatna w wielu zastosowaniach - od zastosowań stricte medycznych, takich jak umożliwienie dietetykom łatwiejszego i dokładniejszego śledzenia i analizowania diety pacjentów, po wykorzystanie w aplikacjach poprawiających samopoczucie przeznaczonych dla ogółu populacji.
Automatyczne rozpoznawanie produktów spożywczych na obrazach jest trudnym problemem widzenia komputerowego. Wynika to z faktu, że żywność jest zazwyczaj obiektami odkształcalnymi, a także z faktu, że duża ilość informacji wizualnych produktu spożywczego może zostać utracona podczas jego przygotowywania. Dodatkowo, różne produkty spożywcze mogą wydawać się bardzo podobne do siebie, a to samo jedzenie może wydawać się znacznie różne na wielu obrazach2. Co więcej, dokładność rozpoznawania zależy od wielu innych czynników, takich jak jakość obrazu, to, czy produkt spożywczy jest zasłonięty przez inny przedmiot, odległość, z której zostało zrobione zdjęcie itp. Rozpoznawanie napojów wiąże się z wieloma wyzwaniami, z których głównym jest ograniczona ilość informacji wizualnych dostępnych na obrazie. Mogą to być kolor napoju, kolor i struktura pojemnika na napój oraz, w optymalnych warunkach obrazu, gęstość napoju2.
Aby skutecznie rozpoznać produkty spożywcze na obrazach, konieczne jest poznanie cech każdej klasy żywności i napojów. Tradycyjnie odbywało się to za pomocą ręcznie zdefiniowanych ekstraktorów cech3,4,5,6, które wykonują rozpoznawanie na podstawie określonych cech elementu, takich jak kolor, tekstura, rozmiar itp., lub kombinacji tych cech. Przykładami takich ekstraktorów cech są: wiele funkcji uczenia się4, pairwise local features5 oraz model bag-of-features6. Ze względu na złożoność obrazów żywności, podejścia te w większości osiągały niską dokładność klasyfikacji - od 10% do 40%3,4,5. Powodem tego jest to, że podejście ręczne nie jest wystarczająco solidne, aby było wystarczająco dokładne. Ponieważ produkt spożywczy może znacznie różnić się wyglądem, nie jest możliwe ręczne uwzględnienie wszystkich tych różnic. Większą dokładność klasyfikacji można osiągnąć za pomocą ręcznie zdefiniowanych ekstraktorów cech, gdy liczba klas żywności jest zmniejszona5, lub różne cechy obrazu są łączone6, co wskazuje, że istnieje potrzeba bardziej złożonych rozwiązań tego problemu.
Dlatego głębokie uczenie okazało się tak skuteczne w przypadku problemu rozpoznawania obrazów żywności. Głębokie uczenie, czyli głębokie sieci neuronowe, zostało zainspirowane biologicznymi mózgami i umożliwia modelom obliczeniowym złożonym z wielu warstw przetwarzania automatyczne uczenie się funkcji poprzez trenowanie na zestawie obrazów wejściowych7,8. Z tego powodu głębokie uczenie znacznie poprawiło stan wiedzy w różnych dziedzinach badawczych7, a jedną z nich jest widzenie komputerowe, a następnie rozpoznawanie obrazów żywności2.
W szczególności, głębokie konwolucyjne sieci neuronowe (DCNN) są najbardziej popularne do rozpoznawania obrazów żywności - te sieci są inspirowane systemem wzrokowym zwierząt, gdzie poszczególne neurony próbują zrozumieć bodźce wizualne, reagując na nakładające się na siebie regiony w polu widzenia9. Konwolucyjna sieć neuronowa pobiera obraz wejściowy i wykonuje szereg operacji w każdej z warstw sieci, z których najczęstszymi są warstwy konwolucyjne, w pełni połączone i pulujące. Warstwy konwolucyjne zawierają filtry, których można się nauczyć, które reagują na określone cechy danych wejściowych, podczas gdy w pełni połączone warstwy tworzą dane wyjściowe z innych warstw, aby uzyskać z nich wiedzę wyższego poziomu. Celem łączenia warstw jest próbkowanie danych wejściowych w dół2. Istnieją dwa podejścia do korzystania z modeli głębokiego uczenia, które okazały się popularne: wykorzystanie istniejącej definicji głębokiej sieci neuronowej 10,11, określanej w tym artykule jako architektura głębokiego uczenia, lub zdefiniowanie nowej architektury głębokiego uczenia12,13i trenując jeden z nich na zestawie danych obrazu żywności. Oba podejścia mają mocne i słabe strony - w przypadku korzystania z istniejącej architektury głębokiego uczenia można wybrać architekturę, która dobrze sprawdziła się w przypadku innych problemów, i dostosować ją do pożądanego problemu, oszczędzając w ten sposób czas i zapewniając, że wybrano zweryfikowaną architekturę. Z drugiej strony definiowanie nowej architektury głębokiego uczenia jest bardziej czasochłonne, ale pozwala na opracowanie architektur, które są specjalnie zaprojektowane tak, aby uwzględniały specyfikę problemu, a tym samym teoretycznie działały lepiej dla tego problemu.
W tym artykule prezentujemy oba podejścia. Na potrzeby problemu rozpoznawania obrazów żywności opracowaliśmy nowatorską architekturę DCNN o nazwie NutriNet2, która jest modyfikacją dobrze znanej architektury AlexNet14. Istnieją dwie główne różnice w porównaniu z AlexNet: NutriNet akceptuje obrazy o wymiarach 512x512 pikseli jako dane wejściowe (w przeciwieństwie do obrazów o rozdzielczości 256x256 pikseli w przypadku AlexNet), a NutriNet ma dodatkową warstwę konwolucyjną na początku sieci neuronowej. Te dwie zmiany zostały wprowadzone w celu wyodrębnienia jak największej ilości informacji z obrazów zestawu danych rozpoznawania. Posiadanie obrazów o wyższej rozdzielczości oznaczało, że na obrazach jest więcej informacji, a posiadanie większej liczby warstw konwolucyjnych oznaczało, że można było wydobyć z obrazów dodatkową wiedzę. W porównaniu do około 60 milionów parametrów AlexNet, NutriNet zawiera mniej parametrów: około 33 miliony. Wynika to z różnicy wymiarowości w pierwszej w pełni połączonej warstwie, spowodowanej przez dodatkową warstwę konwolucyjną2. Rysunek 1 zawiera diagram architektury NutriNet. Zdjęcia żywności, które zostały wykorzystane do wytrenowania modelu NutriNet, zostały pobrane z Internetu - procedura jest opisana w tekście protokołu.
Do problemu segmentacji obrazów żywności użyliśmy dwóch różnych istniejących architektur: w pełni konwolucyjnych sieci (FCNs)15 i głębokich sieci szczątkowych (ResNet)16, które reprezentowały stan techniki w zakresie segmentacji obrazów, gdy używaliśmy ich do opracowania odpowiednich rozwiązań segmentacji obrazów żywności. Istnieje wiele wariantów FCN, które zostały wprowadzone przez Long i wsp.: FCN-32s, FCN-16s i FCN-8s15. FCN-32s generuje mapę pikseli na podstawie przewidywań ostatniej warstwy FCN, podczas gdy wariant FCN-16s łączy te przewidywania z przewidywaniami wcześniejszej warstwy. FCN-8s uwzględnia przewidywania kolejnej warstwy i dlatego jest w stanie przewidywać najdrobniejsze ziarno, dlatego nadaje się do rozpoznawania obrazów żywności. FCN-8, których używaliśmy, zostały wstępnie wytrenowane na zestawie danych PASCAL Visual Object Classes (PASCAL VOC) 17 oraz przeszkolone i przetestowane na obrazach replik żywności (odtąd 'fake food')18 ze względu na ich wizualne podobieństwo do prawdziwego jedzenia i z powodu braku obrazów z adnotacjami prawdziwego jedzenia na poziomie pikseli. Fałszywe jedzenie jest wykorzystywane w różnych badaniach behawioralnych, a zdjęcia są wykonywane dla wszystkich potraw od wszystkich uczestników badania. Ponieważ zawartość tych obrazów jest znana, sprawia to, że zestaw danych obrazu jest przydatny do trenowania modelu uczenia głębokiego. Kroki przetwarzania zestawu danych są opisane w tekście protokołu.
Rozwiązanie oparte na ResNet zostało opracowane w ramach Food Recognition Challenge (FRC)19. Używa metody Hybrid Task Cascade (HTC)20 z siecią szkieletową ResNet-10116. Jest to najnowocześniejsze podejście do problemu segmentacji obrazu, które może wykorzystywać różne ekstraktory funkcji lub szkielety. Rozważaliśmy również inne sieci szkieletowe, w szczególności inne warianty ResNet, takie jak ResNet-5016, ale ResNet-101 był najbardziej odpowiedni ze względu na jego głębię i zdolność do reprezentowania obrazów wejściowych w wystarczająco złożony sposób. Zestaw danych używany do trenowania modelu HTC ResNet-101 był zestawem danych FRC z dodanymi obrazami rozszerzonymi. Rozszerzenia te zostały przedstawione w tekście protokołu.
Ten artykuł jest przeznaczony jako źródło informacji dla ekspertów od uczenia maszynowego szukających informacji o tym, które architektury głębokiego uczenia i kroki rozszerzania danych sprawdzają się dobrze w przypadku problemów z rozpoznawaniem i segmentacją obrazów żywności, a także dla badaczy żywienia, którzy chcą wykorzystać nasze podejście do automatyzacji rozpoznawania obrazów żywności do wykorzystania w ocenie diety. W poniższych akapitach przedstawiono rozwiązania głębokiego uczenia oraz zestawy danych z dziedziny rozpoznawania obrazów żywności. W tekście protokołu szczegółowo opisujemy, w jaki sposób każde z trzech podejść zostało wykorzystane do trenowania modeli głębokich sieci neuronowych, które można wykorzystać do automatycznej oceny diety. Ponadto każda sekcja protokołu zawiera opis tego, w jaki sposób zestawy danych obrazów żywności wykorzystane do szkolenia i testowania zostały pozyskane i przetworzone.
DCNN generalnie osiągnęły znacznie lepsze wyniki niż inne metody rozpoznawania i segmentacji obrazów żywności, dlatego zdecydowana większość ostatnich badań w tej dziedzinie opiera się na tych sieciach. Kawano i in. wykorzystali DCNN do uzupełnienia podejść ręcznych21 i osiągnęli dokładność klasyfikacji 72,26% w zbiorze danych UEC-FOOD10022. Christodoulidis i in. wykorzystali je wyłącznie w celu osiągnięcia wyższej dokładności 84,90% na samodzielnie pozyskanym zbiorze danych23. Tanno i in. opracowali DeepFoodCam - aplikację na smartfony do rozpoznawania obrazów żywności, która wykorzystuje DCNNs24. Liu i in. przedstawili system, który przeprowadza ocenę diety opartą na Internecie rzeczy przy użyciu DCNNs25. Martinel i in. wprowadzili podejście oparte na DCNN, które wykorzystuje specyfikę obrazów żywności26 i zgłosiło dokładność 90,27% w zestawie danych Food-10127. Zhou i in. są autorami przeglądu rozwiązań głębokiego uczenia w dziedzinie żywności28.
Niedawno, Zhao et al. zaproponowali sieć specjalnie do rozpoznawania obrazów żywności w aplikacjach mobilnych29. To podejście wykorzystuje mniejszą sieć "uczniów", która uczy się od większej sieci "nauczycieli". Dzięki niemu udało im się osiągnąć dokładność 84% w UEC-FOOD25630 i dokładność 91,2% w zestawie danych Food-10127. Hafiz i in. wykorzystali DCNN do opracowania rozwiązania do rozpoznawania obrazów tylko dla napojów i odnotowali bardzo wysoką dokładność 98,51%31. Shimoda i in. opisali nowatorską metodę wykrywania obszarów płytki na obrazach żywności bez użycia adnotacji pikselowej32. Ciocca i in. przedstawili nowy zestaw danych zawierający produkty spożywcze z 20 różnych klas żywności w 11 różnych stanach (pasta w postaci stałej, w plastrach, kremowa pasta itp.) i przedstawili swoje podejście do trenowania modeli rozpoznawania, które są w stanie rozpoznać stan żywności, oprócz klasy żywności33. Knez i in. ocenili rozwiązania do rozpoznawania obrazów żywności dla urządzeń mobilnych34. Wreszcie, Furtado i in. przeprowadzili badanie na temat tego, jak ludzki układ wzrokowy wypada w porównaniu z wydajnością DCNN i stwierdzili, że ludzkie rozpoznawanie nadal przewyższa DCNN z dokładnością 80% w porównaniu z 74,5%35. Autorzy zauważyli, że przy niewielkiej liczbie klas żywności DCNN działają dobrze, ale w zestawie danych z setkami klas dokładność rozpoznawania przez człowieka jest wyższa35, co podkreśla złożoność problemu.
Pomimo najnowszych wyników, głębokie uczenie ma główną wadę - wymaga dużego zestawu danych wejściowych do trenowania modelu. W przypadku rozpoznawania obrazów żywności wymagany jest duży zestaw danych obrazów żywności, który musi obejmować jak najwięcej różnych scenariuszy świata rzeczywistego. W praktyce oznacza to, że dla każdego pojedynczego produktu spożywczego lub napoju wymagana jest duża kolekcja obrazów, a w zestawie danych musi znajdować się jak najwięcej różnych elementów. Jeśli nie ma wystarczającej liczby obrazów dla określonego elementu w zestawie danych, jest mało prawdopodobne, że ten element zostanie pomyślnie rozpoznany. Z drugiej strony, jeśli zestaw danych obejmuje tylko niewielką liczbę elementów, rozwiązanie będzie miało ograniczony zakres i będzie w stanie rozpoznać tylko kilka różnych produktów spożywczych i napojów.
Wiele zestawów danych zostało udostępnionych w przeszłości. Zestaw danych Pittsburgh Fast-Food Image Dataset (PFID)3 został wprowadzony, aby zachęcić do dalszych badań w dziedzinie rozpoznawania obrazów żywności. Zestawy danych University of Electro-Communications Food 100 (UEC-FOOD100)22 i University of Electro-Communications Food 256 (UEC-FOOD256)30 zawierają dania japońskie, rozszerzone o niektóre dania międzynarodowe w przypadku zestawu danych UEC-FOOD256. Zestaw danych Food-101 zawiera popularne dania pozyskane z witryny website27. Zestawy danych Food-5036 i Video Retrieval Group Food 172 (VireoFood-172)37 są chińskimi kolekcjami obrazów żywności. Zestaw danych Uniwersytetu w Mediolanie-Bicocca 2016 (UNIMIB2016) składa się z obrazów tacek z jedzeniem z włoskiej stołówki38. Recipe1M to duży zbiór danych z przepisami kulinarnymi i obrazami żywności39. Zestaw danych Food-47540 zbiera cztery wcześniej opublikowane zestawy danych obrazów żywności27,30,36,37 w jeden. Beijing Technology and Business University Food 60 (BTBUFood-60) to zestaw danych obrazów przeznaczonych do wykrywania żywności41. Niedawno udostępniono zestaw danych ISIA Food-50042 różnych obrazów żywności. W porównaniu z innymi publicznie dostępnymi zestawami danych obrazów żywności, zawiera dużą liczbę obrazów, podzielonych na 500 klas żywności, i ma na celu przyspieszenie rozwoju multimedialnych rozwiązań do rozpoznawania żywności42.

<table><tbody><tr><td>HARDWARE</td><td></td><td></td><td></td></tr><tr><td>NVIDIA GPU</td><td>NVIDIA</td><td>N/A</td><td>Wymagany jest procesor graficzny NVIDIA, ponieważ niektóre z poniższych ram oprogramowania nie będą działać w inny sposób. https://www.nvidia.com</td></tr><tr><td>SOFTWARE</td><td></td><td></td><td></td></tr><tr><td>Caffe</td><td>Berkeley AI Research</td><td>N/A</td><td>Caffe to platforma do głębokiego uczenia. https://caffe.berkeleyvision.org</td></tr><tr><td>CLoDSA</td><td>J&oacute; Nathan Heras</td><td>N/A</td><td>CLoDSA to biblioteka do powiększania obrazów w języku Python. https://github.com/joheras/CLoDSA</td></tr><tr><td>Klient interfejsu API Google</td><td></td><td>Google Nie dotyczy</td><td>Klient interfejsu API Google to biblioteka klienta Pythona dla interfejsów API Google opartych na wykrywaniu. https://github.com/googleapis/google-api-python-client</td></tr><tr><td>Czytnik segmentów JavaScript</td><td>Kota Yamaguchi</td><td>N/A</td><td>JavaScript Segment Annotator to narzędzie do adnotacji obrazów JavaScript. https://github.com/kyamagu/js-segment-annotator</td></tr><tr><td>MMDetection</td><td>Multimedia Laboratory, CUHK</td><td>N/A</td><td>MMDetection to zestaw narzędzi do wykrywania obiektów oparty na PyTorch. https://github.com/open-mmlab/mmdetection</td></tr><tr><td>CYFRY NVIDIA</td><td>NVIDIA</td><td>N/A</td><td>NVIDIA DIGITS to opakowanie dla Caffe, które zapewnia graficzny interfejs internetowy. https://developer.nvidia.com/digits</td></tr><tr><td>OpenCV</td><td>Intel</td><td>N/A</td><td>OpenCV to biblioteka do widzenia komputerowego. https://opencv.org</td></tr><tr><td>Python</td><td>Python Software Foundation</td><td>N/A</td><td>Python to język programowania. https://www.python.org</td></tr><tr><td>PyTorch</td><td>Facebook AI Research</td><td>N/A</td><td>PyTorch to platforma uczenia maszynowego. https://pytorch.org</td></tr><tr><td>System operacyjny Ubuntu</td><td>Canonical</td><td>N/A</td><td>Ubuntu 14.04 to system operacyjny używany przez autorów i oferuje kompatybilność ze wszystkimi powyższymi platformami i narzędziami oprogramowania. https://ubuntu.com</td></tr></tbody></table>

głębokie sieci neuronowe do oceny diety w oparciu o obraz

Deep Neural Networks for Image-Based Dietary Assessment

Ze względu na problemy i koszty związane z ręcznym podejściem do oceny diety, potrzebne są zautomatyzowane rozwiązania, które ułatwią i przyspieszą pracę oraz podniosą jej jakość. Obecnie zautomatyzowane rozwiązania są w stanie rejestrować spożycie diety przez daną osobę w znacznie prostszy sposób, na przykład poprzez zrobienie zdjęcia aparatem w smartfonie. W tym artykule skupimy się na takich obrazowych podejściach do oceny dietetycznej. W przypadku problemu rozpoznawania obrazów żywności głębokie sieci neuronowe osiągnęły w ostatnich latach stan wiedzy, a my prezentujemy nasze prace w tej dziedzinie. W szczególności najpierw opiszemy metodę rozpoznawania obrazów żywności i napojów przy użyciu architektury głębokiej sieci neuronowej o nazwie NutriNet. Ta metoda, podobnie jak większość badań przeprowadzonych we wczesnych dniach rozpoznawania obrazów żywności opartych na głębokim uczeniu, jest ograniczona do jednego wyjścia na obraz, a zatem nie nadaje się do obrazów z wieloma artykułami spożywczymi lub napojami. Dlatego podejścia, które przeprowadzają segmentację obrazu żywności, są znacznie bardziej niezawodne, ponieważ są w stanie zidentyfikować dowolną liczbę produktów spożywczych lub napojów na obrazie. W związku z tym prezentujemy również dwie metody segmentacji obrazów żywności - jedna opiera się na sieciach w pełni konwolucyjnych (FCN), a druga na głębokich sieciach resztkowych (ResNet).

NutriNet został przetestowany w porównaniu z trzema popularnymi w tamtym czasie architekturami głębokiego uczenia: AlexNet14, GoogLeNet51 oraz ResNet16. Dla wszystkich architektur przetestowano również wiele parametrów treningowych w celu określenia wartości optymalnych2. Jednym z nich był wybór typu solvera, który określa sposób minimalizacji funkcji straty. Funkcja ta jest główną miarą jakości podczas trenowania sieci neuronowych, ponieważ jest lepiej dostosowana do optymalizacji w trakcie uczenia niż dokładność klasyfikacji. Przetestowano trzy solvery: stochastyczny spadek gradientu (SGD)52, przyspieszony gradient Nesterova (NAG)53 oraz algorytm adaptacyjnego gradientu (AdaGrad)54. Drugim parametrem była wielkość partii (batch size), która definiuje liczbę obrazów przetwarzanych jednocześnie. Na wartość tego parametru wpłynęła głębokość architektury głębokiego uczenia, ponieważ głębsze architektury wymagają więcej miejsca w pamięci GPU – konsekwencją tego podejścia było całkowite wypełnienie pamięci obrazami dla wszystkich architektur, niezależnie od ich głębokości. Trzecim parametrem była szybkość uczenia (learning rate), która określa tempo zmian parametrów sieci neuronowej podczas treningu. Parametr ten ustalano w korelacji z wielkością partii, ponieważ liczba jednocześnie przetwarzanych obrazów determinuje szybkość zbieżności. Modele AlexNet trenowano przy wielkości partii 256 obrazów i bazowej szybkości uczenia 0,02; w przypadku NutriNet zastosowano wielkość partii 128 obrazów i szybkość 0,01; dla GoogLeNet 64 obrazów i szybkość 0,005; a dla ResNet 16 obrazów i szybkość 0,00125. Trzy pozostałe parametry były stałe dla wszystkich architektur: polityka szybkości uczenia (step-down), wielkość kroku (30%) oraz gamma (0,1). Parametry te wspólnie określają, jak zmienia się szybkość uczenia w każdej epoce. Idea tego podejścia polega na stopniowym obniżaniu szybkości uczenia w celu precyzyjnego dostrojenia modelu w miarę zbliżania się do optymalnej wartości straty. Na koniec liczba epok treningowych została ustalona na poziomie 150 dla wszystkich architektur głębokiego uczenia2.
Najlepszy wynik uzyskany przez NutriNet spośród wszystkich testowanych parametrów to dokładność klasyfikacji na poziomie 86,72% w zbiorze danych do rozpoznawania, co było wynikiem o około 2% wyższym niż najlepszy rezultat dla AlexNet i nieco wyższym niż najlepszy wynik GoogLeNet. Architekturą o najwyższej ogólnej wydajności była ResNet (o około 1%), jednak czas trenowania ResNet jest znacznie dłuższy w porównaniu do NutriNet (współczynnik około pięciokrotności), co ma istotne znaczenie w przypadku ciągłego ponownego trenowania modeli w celu poprawy dokładności oraz zwiększenia liczby rozpoznawalnych produktów spożywczych. NutriNet, AlexNet i GoogLeNet osiągnęły swoje najlepsze wyniki przy użyciu solvera AdaGrad, podczas gdy najlepszy model ResNet wykorzystywał solver NAG. NutriNet został również przetestowany na publicznie dostępnym zbiorze obrazów żywności UNIMIB201638. Zbiór ten zawiera 3 616 obrazów 73 różnych produktów spożywczych. NutriNet osiągnął dokładność rozpoznawania na poziomie 86,39% w tym zbiorze danych, nieco przewyższając bazowy wynik rozpoznawania autorów zbioru, który wynosił 85,80%. Dodatkowo NutriNet został przetestowany na małym zbiorze 200 rzeczywistych obrazów 115 różnych produktów spożywczych i napojów, gdzie NutriNet osiągnął dokładność top-5 na poziomie 55%.
Do trenowania modelu segmentacji obrazów sztucznego jedzenia FCN-8s zastosowano optymalizator Adam55, ponieważ uznano, że zapewnia on optymalne wyniki w tym zadaniu. Podstawowa szybkość uczenia została ustawiona na bardzo niskim poziomie – 0,0001. Przyczyną tak niskiej wartości jest fakt, że jednocześnie można było przetwarzać tylko jeden obraz, co wynika z procesu klasyfikacji na poziomie pikseli. Wymagania dotyczące pamięci GPU dla tego podejścia są znacznie większe niż w przypadku klasyfikacji na poziomie obrazu. Szybkość uczenia musiała zatem zostać ustawiona nisko, aby parametry nie zmieniały się zbyt szybko i nie zbiegały do mniej optymalnych wartości. Liczbę epok treningowych ustawiono na 100, natomiast strategię szybkości uczenia, wielkość kroku i wartość gamma określono odpowiednio jako step-down, 34% i 0,1, ponieważ parametry te pozwoliły uzyskać najdokładniejsze modele.
Pomiary dokładności modelu FCN-8s przeprowadzono z wykorzystaniem miary dokładności pikselowej (pixel accuracy)15, która jest analogiczna do dokładności klasyfikacji w tradycyjnych sieciach głębokiego uczenia; główną różnicą jest to, że dokładność jest obliczana na poziomie pikseli, a nie na poziomie obrazu:
<img alt="Równanie równowagi statycznej Σini/Σiti, formuła do analizy danych w badaniach naukowych." src="/files/ftp_upload/61906/61906eq01.jpg" data-altupdatedat="1788304762000" data-alt="Równanie 1">
gdzie PA to miara dokładności pikselowej, nij jest liczbą pikseli z klasy i, które zostały przewidziane jako należące do klasy j, a ti = Σj nij to całkowita liczba pikseli z klasy i w etykietach prawdy naziemnej (ground-truth)1. Innymi słowy, miara dokładności pikselowej jest obliczana poprzez podzielenie liczby poprawnie przewidzianych pikseli przez całkowitą liczbę pikseli. Końcowa dokładność wytrenowanego modelu FCN-8s wyniosła 92.18%. Rysunek 2 przedstawia trzy przykładowe obrazy z zestawu danych obrazów sztucznego jedzenia (po jednym z podzbioru treningowego, walidacyjnego i testowego) wraz z odpowiadającymi im etykietami prawdy naziemnej oraz etykietami przewidzianymi przez model.
Parametry treningu modelu HTC20 ResNet-101 do segmentacji obrazów żywności ustawiono w następujący sposób: zastosowano solver typu SGD, ponieważ okazał się on bardziej efektywny od innych typów solverów. Podstawowa szybkość uczenia została ustawiona na 0,00125, a rozmiar partii (batch size) na 2 obrazy. Liczbę epok treningowych ustalono na 40 na każdą fazę uczenia i przeprowadzono wiele faz treningowych – najpierw na oryginalnym zbiorze danych FRC bez obrazów augmentowanych, a następnie wielokrotnie i naprzemiennie na zbiorach FRC augmentowanych 8-krotnie i 4-krotnie, za każdym razem wykorzystując najlepiej działający model i dostrajając go (fine-tuning) w kolejnej fazie uczenia. Więcej szczegółów na temat faz treningowych znajduje się w sekcji 3.3 tekstu protokołu. Ostatecznie zastosowano politykę schodkowego zmniejszania szybkości uczenia (step-down learning policy) z określonymi epokami, w których szybkość uczenia była obniżana (epoki 28 i 35 dla pierwszej fazy treningowej). Należy zauważyć, że choć ta sekwencja faz uczenia przyniosła najlepsze wyniki w naszych testach w ramach zbioru FRC, zastosowanie innego zbioru danych może wymagać innej sekwencji w celu uzyskania optymalnych rezultatów.
To rozwiązanie oparte na architekturze ResNet do segmentacji obrazów żywności zostało ocenione przy użyciu następującej miary precyzji19:
<img alt="Wzór na precyzyjne obliczenia, PIoU, równanie, prawdziwie dodatnie, fałszywie dodatnie, wydajność modelu." src="/files/ftp_upload/61906/61906eq02.jpg" data-altupdatedat="1788304762000" data-alt="Równanie 2">
gdzie P to precyzja, TP to liczba prawdziwie dodatnich predykcji modelu segmentacji obrazów żywności, FP to liczba fałszywie dodatnich predykcji, a IoU to współczynnik Intersection over Union, który oblicza się za pomocą następującego równania:
<img alt="Wzór IoU, stosunek powierzchni części wspólnej do powierzchni sumy, stosowany w analizie porównawczej obrazów." src="/files/ftp_upload/61906/61906eq03.jpg" data-altupdatedat="1788304762000" data-alt="Równanie 3">
gdzie Area of Overlap (obszar pokrycia) reprezentuje liczbę predykcji modelu, które pokrywają się z prawdą obiektywną (ground truth), a Area of Union (obszar sumy) reprezentuje całkowitą liczbę predykcji modelu wraz z prawdą obiektywną, zarówno na poziomie pikseli, jak i dla każdej poszczególnej klasy produktów spożywczych. Jako miara pomocnicza stosowana jest czułość (recall), obliczana w podobny sposób według następującego wzoru19:
<img alt="Równanie R_IoU≥0.5, R = TPIoU≥0.5 / (TPIoU≥0.5 + FNIoU≥0.5), obliczanie precyzji." src="/files/ftp_upload/61906/61906eq04.jpg" data-altupdatedat="1788304762000" data-alt="Równanie 4">
gdzie R to czułość (recall), a FN to liczba błędnych wyników negatywnych w predykcjach modelu segmentacji obrazów żywności. Wskaźniki precyzji i czułości są następnie uśredniane dla wszystkich klas w prawdzie obiektywnej (ground truth). Dzięki tym miarom nasz model osiągnął średnią precyzję na poziomie 59,2% oraz średnią czułość 82,1%, co zajęło drugie miejsce w drugiej rundzie Food Recognition Challenge19. Wynik ten był o 4,2% niższy od pierwszego miejsca i o 5,3% wyższy od trzeciego miejsca pod względem wskaźnika średniej precyzji. Tabela 1 zawiera wyniki czterech najlepszych uczestników konkursu.
<img alt="Schemat konwolucyjnej sieci neuronowej klasyfikującej obraz pizzy poprzez warstwy i pooling; głębokie uczenie." class="xfigimg" src="/files/ftp_upload/61906/61906fig01.jpg" data-altupdatedat="1788304762000" data-alt="Rycina 1"> 
Rycina 1: Schemat architektury głębokiej sieci neuronowej NutriNet. Rycina ta została opublikowana w pracy Mezgec et al.2. <a href="https://www.jove.com/files/ftp_upload/61906/61906fig01large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.</a>
<img alt="Algorytm segmentacji żywności; uczenie, walidacja, testowanie; analiza obrazu; dokładność predykcji AI." class="xfigimg" src="/files/ftp_upload/61906/61906fig02.jpg" data-altupdatedat="1788304762000" data-alt="Rycina 2"> 
Rycina 2: Obrazy z zestawu danych obrazów imitacji żywności (fake-food). Obrazy oryginalne (lewo), etykiety prawdy obiektywnej (ground-truth) nadane ręcznie (środek) oraz predykcje z modelu FCN-8s (prawo). Rycina ta została opublikowana w pracy Mezgec i wsp.1. <a href="https://www.jove.com/files/ftp_upload/61906/61906fig02large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Nazwa zespołu</td>
			<td>Umiejscowienie</td>
			<td>Średnia precyzja</td>
			<td>Średnia czułość</td>
		</tr>
		<tr>
			<td>rssfete</td>
			<td>1</td>
			<td>63.4%</td>
			<td>88.6%</td>
		</tr>
		<tr>
			<td>simon_mezgec</td>
			<td>2</td>
			<td>59.2%</td>
			<td>82.1%</td>
		</tr>
		<tr>
			<td>arimboux</td>
			<td>3</td>
			<td>53.9%</td>
			<td>73.5%</td>
		</tr>
		<tr>
			<td>wektor latentny</td>
			<td>4</td>
			<td>48.7%</td>
			<td>71.1%</td>
		</tr>
	</tbody>
</table>
Tabela 1: Wyniki czterech najlepszych uczestników drugiej rundy konkursu Food Recognition Challenge. Średnia precyzja (average precision) została przyjęta jako główna miara wydajności, a średnie przypominanie (average recall) jako miara pomocnicza. Wyniki pochodzą z oficjalnej tabeli wyników konkursu19.
Pliki uzupełniające. <a href="https://www.jove.com/files/ftp_upload/61906/simon_mezgec_supplemental_files_revision1_.zip" target="_blank">Kliknij tutaj, aby pobrać ten plik.</a>

Celem pracy przedstawionej w tym artykule jest opracowanie technologii automatycznego rozpoznawania produktów spożywczych i napojów na podstawie zdjęć wykonanych przez urządzenia mobilne. Technologia ta składa się z dwóch różnych podejść - pierwsze z nich wykonuje rozpoznawanie obrazów żywności, a drugie segmentację obrazów żywności.

Głębokie sieci neuronowe do oceny diety w oparciu o obraz

Due to the issues and costs associated with manual dietary assessment approaches, automated solutions are required to ease and speed up the work and ...

Ze względu na problemy i koszty związane z ręcznym podejściem do oceny dietetycznej, potrzebne są zautomatyzowane rozwiązania, które ułatwią i przyspieszą pracę oraz podniosą jej jakość. Obecnie zautomatyzowane rozwiązania są w stanie rejestrować spożycie diety przez daną osobę w znacznie prostszy sposób, na przykład poprzez zrobienie zdjęcia aparatem w smartfonie. W tym artykule skupimy się na takich obrazowych podejściach do oceny diety przy użyciu głębokich sieci neuronowych, które reprezentują stan wiedzy w tej dziedzinie.W szczególności przedstawimy trzy rozwiązania, jedno do rozpoznawania obrazów żywności, drugie do segmentacji obrazu replik żywności lub fałszywej żywności oraz jedno do segmentacji obrazu prawdziwej żywności. Zbierz listę różnych produktów spożywczych i napojów, które będą danymi wyjściowymi modelu rozpoznawania obrazów żywności. Zapisz listę potraw i napojów w pliku tekstowym, takim jak TXT lub CSV.Należy pamiętać, że plik tekstowy używany przez autorów tego artykułu można znaleźć w plikach uzupełniających w sekcji artykuły spożywcze kropka TXT i zawiera listę 520 słoweńskich artykułów spożywczych. Napisz lub pobierz skrypt w języku Python, który korzysta z interfejsu API wyszukiwania niestandardowego Google do pobierania obrazów każdego produktu spożywczego z listy i zapisywania ich w osobnym folderze dla każdego produktu spożywczego. Zwróć uwagę, że skrypt Pythona używany przez autorów tego artykułu można znaleźć w plikach uzupełniających w sekcji pobierz obrazy kropka pi.Jeśli ten skrypt jest używany, zmienna klucza programisty ósmy wiersz klucza programisty w kodzie skryptu języka Python i niestandardowa zmienna identyfikatora wyszukiwarki CX wiersz 28 w kodzie skryptu języka Python muszą zostać zastąpione wartościami specyficznymi dla używanego konta Google. Uruchom skrypt języka Python z kroku 1.1.3. Utwórz nową wersję każdego obrazu z zestawu danych obrazu żywności, obracając go o 90 stopni, korzystając z biblioteki CLoDSA.Zwróć uwagę, że skrypt Pythona zawierający wszystkie polecenia CLoDSA używane przez autorów tego artykułu można znaleźć w pliku dołączonym do plików uzupełniających w sekcji NutriNet podkreślenie augmentacji kropki pi. Utwórz nową wersję każdego obrazu z zestawu danych obrazu żywności, obracając go o 180 stopni, korzystając z biblioteki CLoDSA. Utwórz nową wersję każdego obrazu z zestawu danych obrazu żywności, obracając go o 270 stopni, korzystając z biblioteki CLoDSA.Utwórz nową wersję każdego obrazu z zestawu danych obrazu żywności, odwracając go w poziomie, korzystając z biblioteki CLoDSA. Utwórz nową wersję każdego obrazu z zestawu danych obrazu żywności, dodając do niego losowy kolorowy szum, korzystając z biblioteki CLoDSA. Utwórz nową wersję każdego obrazu z zestawu danych obrazu żywności, powiększając go o 25% za pomocą biblioteki CLoDSA.Zapisz obrazy z kroków od 1.3.1 do 1.3.6 wraz z oryginalnymi obrazami w nowym zestawie danych obrazów żywności. W sumie siedem wariantów na jedno zdjęcie żywności. Zaimportuj zestaw danych obrazu żywności z kroku 1.3.7 do środowiska cyfr NVIDI, dzieląc zestaw danych na podzbiory trenowania, walidacji i testowania.Skopiuj i wklej tekst definicji architektury NutriNet do cyfr NVIDIA. Należy pamiętać, że definicję architektury NutriNet można znaleźć w plikach uzupełniających w sekcji NutriNet dot proto TXT. Opcjonalnie zdefiniuj hiperparametry trenowania w cyfrach NVIDIA lub użyj wartości domyślnych.Hiperparametry użyte przez autorów tego artykułu można znaleźć w pliku zawartym w plikach uzupełniających pod NutriNet underscore hyper-parameters dot proto TXT. Uruchom szkolenie modelu NutriNet. Po zakończeniu trenowania wykonaj najlepszą iterację modelu NutriNet.Model ten jest następnie używany do testowania wydajności tego podejścia. Należy pamiętać, że istnieje wiele sposobów określania najlepiej działającej iteracji modelu. Więcej informacji można znaleźć w tekstach artykułów.Uzyskaj zestaw danych z fałszywymi obrazami żywności. Zwróć uwagę, że autorzy tego artykułu otrzymali zdjęcia fałszywej żywności, które zostały zebrane w środowisku laboratoryjnym. Ręcznie dodawaj adnotacje do każdego obrazu jedzenia na poziomie pikseli.Każdy piksel na obrazie musi zawierać informacje o klasie żywności, do której należy. Pamiętaj, że istnieje wiele narzędzi, aby to osiągnąć. Autorzy tego artykułu korzystali z adnotatora segmentów JavaScript.Wynikiem tego kroku jest jeden obraz adnotacji dla każdego obrazu z zestawu danych obrazu żywności, gdzie każdy piksel reprezentuje jedną z klas żywności. Wykonaj te same czynności, co w sekcji 1.3, ale tylko na obrazach z podzbioru treningowego zestawu danych obrazów żywności. Należy pamiętać, że z wyjątkiem kroku 1.3.5 wszystkie kroki rozszerzania danych muszą być również wykonywane na odpowiednich obrazach adnotacji.Wykonać te same czynności, co w sekcji 1.4, z wyjątkiem kroku 1.4.2. Zamiast tego kroku wykonaj kroki 2.3.2 i 2.3.3. Należy pamiętać, że hiperparametry treningowe używane przez autorów tego artykułu można znaleźć w pliku zawartym w plikach uzupełniających pod FCN-8S podkreślenie hiperparametrów kropka proto TXT.Skopiuj tekst definicji architektury FCN-8S i wklej go do cyfr NVIDIA. Wprowadź wstępnie wytrenowane wagi modelu FCN-8S w cyfrach NVIDIA. Należy pamiętać, że te wagi modelu zostały wstępnie wytrenowane na zestawie danych klas obiektów wizualnych Pascala i można je znaleźć w Internecie.Pobierz zestaw danych obrazów żywności ze strony internetowej Food Recognition Challenge. Wykonaj kroki od 1.3.1 do 1.3.4. Zauważ, że skrypt Pythona zawierający wszystkie polecenia CLoDSA używane przez autorów tego artykułu można znaleźć w pliku zawartym w plikach uzupełniających pod FRC podkreślenie augmentacji kropka pi.Utwórz nową wersję każdego obrazu z zestawu danych obrazu żywności, dodając do niego rozmycie gaussowskie, korzystając z biblioteki CLoDSA. Utwórz nową wersję każdego obrazu z zestawu danych obrazu żywności, wyostrzając go przy użyciu biblioteki CLoDSA. Utwórz nową wersję każdego obrazu z zestawu danych obrazu żywności, stosując do niego korekcję gamma, korzystając z biblioteki CLoDSA.Zapisz obrazy z kroków od 3.2.1 do 3.2.4 wraz z oryginalnymi obrazami w nowym zestawie danych obrazów żywności. W sumie osiem wariantów na jedno zdjęcie żywności. Zapisz obrazy z kroków od 3.2.2 do 3.2.4 wraz z oryginalnymi obrazami w nowym zestawie danych obrazów żywności.W sumie cztery warianty na jedno zdjęcie żywności. Zmodyfikuj istniejącą definicję architektury HTC ResNet 101 z biblioteki MM Detection tak, aby akceptowała zestawy danych obrazów żywności z kroków 3.1.1, 3.2.5 i 3.2.6. Opcjonalnie zmodyfikuj definicję architektury HTC ResNet 101 z kroku 3.3.1, aby zdefiniować hiperparametry trenowania lub użyć wartości domyślnych.Należy zauważyć, że zmodyfikowaną definicję architektury HTC ResNet 101 można znaleźć w plikach uzupełniających w obszarze HTC underscore ResNet 101 dot pi. Uruchom trenowanie modelu HTC ResNet 101 na zestawach danych obrazów żywności z kroku 3.1.1, korzystając z biblioteki MM Detection. Po zakończeniu trenowania z kroku 3.3.3 wybierz najlepszą iterację modelu HTC ResNet 101 i dostosuj ją, uruchamiając kolejną fazę trenowania na zestawie danych obrazu żywności z kroku 3.2.5.Należy pamiętać, że istnieje wiele sposobów określania najlepiej działającej iteracji modelu. Więcej informacji można znaleźć w tekstach artykułów. Ma to również znaczenie dla kolejnych kroków.Po zakończeniu trenowania z kroku 3.3.4 wybierz najlepszą iterację modelu HTC ResNet 101 i dostosuj ją, uruchamiając kolejną fazę trenowania na zestawie danych obrazu żywności z kroku 3.2.6. Po zakończeniu trenowania z kroku 3.3.5 wybierz najlepszą iterację modelu HTC ResNet 101 i dostosuj ją, ponownie uruchamiając kolejną fazę trenowania na zestawie danych obrazu żywności z kroku 3.2.5. Po zakończeniu trenowania z kroku 3.3.6 przejdź do najbardziej wydajnej iteracji modelu HTC ResNet 101.Model ten jest następnie używany do testowania wydajności tego podejścia. Należy zauważyć, że kroki od 3.3.3 do 3.3.7 przyniosły najlepsze wyniki dla celów zdefiniowanych przez autorów tego artykułu. Eksperymentowanie jest potrzebne dla każdego zestawu danych, aby znaleźć optymalną sekwencję kroków trenowania i rozszerzania danych.Po przetestowaniu modelu trendów, NutriNet osiągnął dokładność klasyfikacji na poziomie 86,72% w zestawie danych rozpoznawania, która była o około 2% wyższa niż AlexNet i nieco wyższa niż GoogLeNet, które były popularnymi architekturami głębokich sieci neuronowych w tamtych czasach. Aby zmierzyć dokładność modelu segmentacji obrazu fałszywego jedzenia FCN-8S, użyto miary dokładności pikseli. Dokładność wytrenowanego modelu FCN-8S wyniosła 92,18%Rozwiązanie oparte na ResNet do segmentacji obrazów żywności zostało ocenione przy użyciu miary precyzji zdefiniowanej w wyzwaniu Food Recognition Challenge.Korzystając z tej miary, model pociągu osiągnął średnią precyzję na poziomie 59,2%, co zajęło drugie miejsce w konkursie Food Recognition Challenge. W ostatnich latach głębokie sieci neuronowe były wielokrotnie weryfikowane jako odpowiednie rozwiązanie do rozpoznawania obrazów żywności. Nasza praca przedstawiona w tym artykule służy dalszemu udowodnieniu tego.Podejście do rozpoznawania obrazów żywności z jednym wyjściem jest proste i może być używane do prostych zastosowań. Podczas gdy podejście do segmentacji obrazów żywności wymaga więcej pracy w przygotowaniu obrazów z adnotacjami, ale ma znacznie większe zastosowanie w przypadku obrazów ze świata rzeczywistego. W przyszłości naszym celem będzie dalsza ocena opracowanych procedur na obrazach ze świata rzeczywistego.Pierwszym krokiem w kierunku walidacji w warunkach rzeczywistych był konkurs Food Recognition Challenge, który obejmował zestaw danych z rzeczywistych obrazów żywności. Konieczne są jednak dalsze prace, aby zweryfikować to podejście na zdjęciach żywności z całego świata i we współpracy z dietetykami.

deep-neural-networks-for-image-based-dietary-assessment

Research

JoVE Journal

Engineering

Inżynieria

Wprowadzono protokół segmentacji obiektów dla obrazów z orbitalnej tomografii komputerowej (CT). Metody oznaczania podstawowej prawdy struktur orbitalnych za pomocą superrozdzielczości, wyodrębniania objętości zainteresowania z obrazów CT i modelowania segmentacji wieloznacznikowej przy użyciu sekwencyjnej sieci U-Net 2D dla orbitalnych obrazów CT są wyjaśnione dla uczenia nadzorowanego.

Zastosowanie segmentacji obrazów medycznych opartej na głębokim uczeniu za pomocą orbitalnej tomografii komputerowej

Obecny protokół opisuje nowatorski algorytm wykrywania istotnych obiektów. Wykorzystuje głębokie sieci neuronowe w celu zwiększenia precyzji wykrywania istotnych obiektów w skomplikowanych kontekstach środowiskowych.

Kompleksowa głęboka sieć neuronowa do wykrywania istotnych obiektów w złożonych środowiskach

DeepOmicsAE to przepływ pracy skoncentrowany na zastosowaniu metody głębokiego uczenia (tj. autoenkodera) w celu zmniejszenia wymiarowości danych multi-omicznych, zapewniając podstawę dla modeli predykcyjnych i modułów sygnalizacyjnych reprezentujących wiele warstw danych omicznych.

DeepOmicsAE: Reprezentowanie modułów sygnalizacyjnych w chorobie Alzheimera z analizą proteomiki, metabolomiki i danych klinicznych za pomocą głębokiego uczenia

Celem protokołu jest stworzenie ciekłokrystalicznych warstw polimerowych, które mogą mechanicznie oscylować pod wpływem ciągłego promieniowania światłem. Szczegółowo opisujemy koncepcję folii wolnostojących, od metody wyrównywania ciekłokrystalicznego po fotoaktywację. Protokół eksperymentalny zastosowany do przygotowania tego materiału ma szerokie zastosowanie.

Przygotowanie sieci ciekłokrystalicznych do makroskopowych ruchów oscylacyjnych indukowanych światłem

Ten artykuł mierzy geometrię i stopień korozji pręta stalowego za pomocą różnych metod: utraty masy, suwmiarki, pomiarów drenażu, skanowania 3D i rentgenowskiej mikrotomografii komputerowej (XCT).

Analiza aplikacyjna metod oceny parametrów morfologicznych skorodowanych prętów stalowych

Ten protokół demonstruje podstawową konfigurację eksperymentalną dla eksperymentów z wejściem do wody z swobodnie spadającymi kulami. Omówiono metody zmiany powierzchni cieczy za pomocą przenikalnych tkanin, przygotowania kulek niezwilżających chemicznie oraz etapów wizualizacji rozprysków i ekstrakcji danych.

Uderzenia swobodnie spadających kul w głębokim basenie cieczy ze zmienionymi warunkami powierzchni płynu i impaktora

Cel opisanego protokołu jest dwojaki: skonfigurować środowisko wirtualizacji funkcji sieciowych za pomocą bezzałogowych statków powietrznych jako jednostek obliczeniowych dostarczających podstawową strukturę do wykonywania zwirtualizowanych funkcji sieciowych i wykorzystać to środowisko do wsparcia automatycznego wdrażania funkcjonalnej usługi telefonii protokołu internetowego nad statkami powietrznymi.

Zautomatyzowane wdrażanie usługi telefonii protokołu internetowego na bezzałogowych statkach powietrznych z wykorzystaniem wirtualizacji funkcji sieciowych

Przedstawiono protokół automatycznego naświetlania cienkich złotych folii impulsami laserowymi o wysokiej intensywności. Protokół zawiera szczegółowy opis procesu wytwarzania tarcz do mikroobróbki oraz szczegółowy przewodnik dotyczący sposobu ustawiania celów w ognisku lasera z częstotliwością 0,2 Hz.

Zautomatyzowane dostarczanie mikrofabrykowanych tarcz do intensywnych eksperymentów z napromieniowaniem laserowym

To badanie przedstawia wyniki benchmarkingu dla porównania międzylaboratoryjnego (ILC) mającego na celu przetestowanie standardowej procedury operacyjnej (SOP) opracowanej dla dyspersji koloidowych złota (Au) charakteryzujących się spektroskopią ultrafioletowo-widzialną (UV-Vis), wśród sześciu partnerów z projektu H2020 ACEnano do przygotowania, pomiaru i analizy próbek.

Charakterystyka spektroskopowa UV-VIS nanomateriałów w środowisku wodnym

Ten protokół przedstawia metodę analizy emisji długopisów do druku 3D. Mierzy się stężenie cząstek i rozkład wielkości cząstek uwolnionych cząstek. Uwolnione cząstki są dalej analizowane za pomocą transmisyjnej mikroskopii elektronowej (TEM). Zawartość metalu we włóknach określa się ilościowo za pomocą spektrometrii mas z plazmą sprzężoną indukcyjnie (ICP-MS).

Druk 3D - ocena emisji cząstek przez pióro do druku 3D

Poznaj głębokie sieci neuronowe do automatycznej oceny diety na podstawie obrazów z urządzeń mobilnych. Metoda obejmuje rozpoznawanie i segmentację produktów spożywczych.

Głębokie sieci neuronowe do oceny diety w oparciu o obraz

Przeglądaj więcej filmów