Генерация подписей к изображениям с использованием методов глубокого обучения

Summary

Этот протокол использует CNN, RNN и ResNet для субтитра изображений, извлекая описания активности изображений, людей, объектов и других элементов. Это оправдано показателями BLEU, CIDEr, METEOR и ROUGE.

Abstract

Генерация подписей к изображениям — это попытка предоставить содержательное текстовое описание, связанное с изображением. Извлеченная информация имеет отношение к действиям, представленным на изображениях. ResNet (остаточная сеть) хорошо известна своей способностью классифицировать изображения, разработав глубокие иерархические представления. Цель данной статьи — использовать ResNet с различными умными фильтрами для более глубокой классификации изображений, что позволяет создавать достоверные и значимые описания, высокоточные относительно референсных подписей. Здесь в работе используется умная фильтрация для улучшения изображений, CNN для кодирования признаков, обучение моделей, а затем RNN (Рекуррентная нейронная сеть) для декодирования признаков. ResNet — очень эффективная модель для задач компьютерного зрения, особенно для классификации объектов и семантического анализа. ResNet хорошо известен своими остаточными связями, которые также известны как пропускающие соединения, решающие задачу нулевой градиента — ключевую задачу в глубоком обучении. Здесь для обучения модели используется бенчмарк MSCOCO (Microsoft Common Object in Context), который представляет собой большой набор данных с эталонными аннотациями, полезный для различных задач компьютерного зрения. ResNet помогает улучшить возможности обобщения, что особенно полезно для разнообразных изображений. Согласно полученным результатам, оценки BLUE: B1: 0,579, B2: 0,404, B3: 0,279, B4: 0,191; МЕТЕОР: 0,195; РУЖ: 0,396; и CIDEr: 0,6.

Introduction

В области компьютерного зрения и обработки естественного языка субтитры к изображениям — ключевая задача, которая позволяет извлечь описание изображения и действия, которые оно отражает. Цель модели — понимать изображения и переводить информацию в содержательные предложения или подписи.¹. Вся процедура состоит из двух значимых этапов: первый — извлечение признаков, где используется модель CNN; второе — описание изображений с помощью RNN, а между ними используется ResNet для семантического анализа, генерации последовательностей и механизма внимания. ResNet сильно отличается от методов на основе шаблонов или модулей на базе DenseNet, поскольку использует пропускающие соединения, которые сокращают время выполнения и одновременно повышают производительность. Существует множество применений субтитров к изображениям, включая помощь людям с нарушениями зрения, развитие социальных сетей, оптимизацию поисковых систем на основе изображений, искусственный интеллект на основе изображений и многое другое^{. 2}.

В компьютерном зрении распознавание сцены — это процесс идентификации и классификации общего контекста или окружающей среды изображения, такого как пляж, городской пейзаж, лес или офис. В отличие от распознавания объектов, которое сосредоточено на отдельных объектах, распознавание сцен учитывает текстуры, пространственные расположения и отношения объектов для понимания более широкого контекста. Он использует CNN и Vision Transformers — модели глубокого обучения, обученные на больших наборах данных, таких как Places365 и ImageNet. Области применения включают наблюдение за безопасностью, дополненную и виртуальную реальность (AR и VR) для захватывающих впечатлений, робототехнику для экологической осведомлённости и автономные транспортные средства для навигации. Несмотря на достижения, такие проблемы, как смена ракурсов, окклюзии и изменение освещения, делают распознавание сцен горячей темой в исследованиях компьютерного зрения и искусственного интеллекта. Ещё одной фундаментальной проблемой компьютерного зрения является распознавание сцен.

EnsCaption, модель двойной генеративной состязательной сети, была предложена для улучшения техники генерации и поиска^3. Такое оформление позволяет гармоничные, основанные на размножении методы субтитраций, которые генерируют субтитры в соответствии с существующими целями. В то время как метод поиска использует модель на основе позиции или градации для более точного выбора лучшей модели для извлечения информации, чем другие в запросе на основе изображения. Было введено сопоставление изображений в «пространство смысла» с использованием визуальных компонентов, таких как объекты, активности и сцены, которые затем выравнивались с соответствующими вербальными^{шаблонами 4}. Используя корреляции и качества, обнаруженные в изображениях, подход строит фразы. Предложения выражают информацию насыщенно, сжато и тонко. Генерация субтитров на основе шаблонов была улучшена за счёт использования здравых знаний для улучшения семантического^{понимания 5}. Эта техника расширила охват шаблона за пределы прямых характеристик изображения, охватив предполагаемые ассоциации. В этой работе используется существующий набор данных обнаружения объектов для извлечения 16 000 логичных утверждений для каждой аннотированной категории. Кроме того, обобщение было достигнуто с помощью WordNet, что позволило вводить большое количество фактов о ранее не виданных^{объектах 6}. Предлагает обзор организованной таксономии техник глубокого обучения для субтитрирования изображений, включая такие темы, как механизмы внимания, тактики обучения с подкреплением и фреймворки энкодер-декодера. Помимо рассмотрения таких вопросов, как галлюцинации объектов и контекстное понимание, он также изучает широко используемые наборы данных и критерии оценки. Авторы указывают на направления для дальнейшего изучения, такие как улучшение методов предварительного обучения языка зрения и снижение смещения наборов данных. Для^задач субтитров к изображениям 7 был изучен подход семантического анализа, основанный на сверточных нейронных сетях и рекуррентных нейронных сетях. Субтитры к изображениям — одно из самых известных применений, позволяющее компьютерам создавать выразительные фразы, охватывающие изображение. Для получения высокоуровневых значимых семантических описаний эта процедура включает в себя не только идентификацию объектов и сцен; Это также включает изучение их состояний, характеристик и взаимодействий. Несмотря на врождённую сложность и сложность субтитров к изображениям, учёные добились впечатляющих успехов в этой области. Три основных метода субтитирования изображений на основе глубоких нейронных сетей, рассмотренных в этом исследовании, — это фреймворки на основе CNN-RNN, CNN-CNN и подкрепляющие обучающие системы. Была введена сквозная обучаемая модель субтитров к изображениям, интегрирующая компьютерное зрение и обработку естественного языка для создания последовательных описаний^{изображений 8}. Для создания подписи используется фреймворк энкодер-декодера, в котором LSTM декодирует изображение в строку слов после того, как предварительно обученный CNN кодирует его в вектор признаков. Несмотря на недостатки, включая трудности с сложными пейзажами, вклад работы в задачи визуального языка остаётся^{фундаментальным 9}.

ResNet — это сверточная нейронная сеть (CNN), используемая в модели субтитирования изображений в предлагаемой работе для извлечения богатой визуальной информации из входных изображений. ResNet служит энкодером для создания вектора признаков, представляющего изображение, который обычно используется в архитектуре энкодер-декодера. Декодер, который генерирует описательные субтитры слово за словом, получает эти функции и часто реализуется с помощью рекуррентной нейронной сети (RNN), такой как LSTM или GRU. Можно добавить механизм внимания для повышения производительности, позволяя декодеру фокусироваться на определённых областях изображения при генерации каждого слова. Для максимизации точности подписей модель обучается сквозь конец с использованием функции потерь, такой как кросс-энтропия, и набора данных, например COCO. Трансферное обучение и тонкая настройка ResNet могут улучшить извлечение признаков, что ещё больше укрепляет модель и позволяет ей создавать высококачественные, контекстно-подходящие субтитры на широком спектре изображений. В субтитрах к изображениям ResNet часто предпочитают другим моделям, поскольку он эффективно решает проблему нулевого градиента — распространённую проблему в глубоких нейронных сетях. Это стало возможным благодаря новым методам остаточного обучения, которые обучают значительно более глубокие сети без ущерба для производительности, используя пропускные соединения для облегчения градиентного потока во время обратного распространения. Многослойный перцептрон, полностью связанная прямолинейная нейронная сеть, ассоциируется с обучаемым слоем. Затем RNN декодирует субтитры с помощью слоя softmax, создавая кандидатные субтитры. Функция активации — f(x), прямая тождественная функция — f(x) + x, а x рассматривается как тождественная, что показано на рисунке 1. В этом случае система использует остаточные блоки для калибровки модели во время обучения, а её входы проходят через как весовые соединения, так и пропускные соединения, также называемые ярлыками идентичности.

Рисунок 1: Остаточная сеть подключения. Этот рисунок иллюстрирует архитектуру остаточной сети, выделяя пропускные соединения, которые улучшают градиентный поток и смягчают исчезающие градиенты при обучении глубокой сети. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Предположим, что P_l — это выход; L — это номер. остаточных блоков; ReLU должен быть обычным блоком, если он близок к 1, но если он не равен 1, то его можно вычислить как:

(1)

Здесь b — случайная величина, а k — функция отображения.

(2)

Здесь s_l рассматривается как вероятность выживания для предлагаемой системы;

(3)

Полученное правило вероятности выживания как:

(4)

Где S_L должна быть с вероятностью выживания, так же как L — с полным нет. блоков.

Субтитры к изображениям — это сложная задача, сочетающая обработку естественного языка и компьютерное зрение для создания описательных текстовых субтитров к изображениям. Для этого необходимо понять и интерпретировать визуальное содержание изображения и перевести его в связные предложения в контексте. В этой области наличие обширных и разнообразных наборов данных крайне важно для оценки и обучения моделей. Эти наборы данных содержат широкий спектр изображений и связанных аннотаций, которые крайне важны для разработки и тестирования алгоритмов субтитра изображений. Наиболее часто используемые наборы данных — MSCOCO и Flickr30k, которые содержат миллионы изображений и создают различные трудности в обработке изображений. MSCOCO гораздо больше Flickr30k11. Набор данных MS COCO был разделён на следующие наборы: 82 783 изображения для обучения, 40 504 для валидации и 40 775 для тестирования.

Protocol

Реализация была выполнена с использованием основной модели — ResNet-152, а также кодера в виде CNN, декодера как RNN и ресурсов из Таблицы материалов.

ResNet-152
ResNet считается основой для более эффективного извлечения функций при субтитрах изображений. ResNet обеспечивал лучшую производительность обучения, чем другие модели, поскольку решал проблему исчезающего градиента и эффективно её устранял. На изображениях могут появляться различные объекты, и модели необходимо понимать их взаимосвязи для лучшего субтитра. Вот почему это можно рассматривать как иерархическое извлечение признаков. ResNet-152 может справляться со сложными задачами компьютерного зрения. Ключевое преимущество этой модели — эффективное использование остаточных или пропускных соединений. Он очень эффективен в решении проблемы исчезающего градиента. Он может изучать сложные, надёжные признаки для достижения большей точности. ResNet-152 придерживался узкого места, который снижал вычислительные затраты и делал его более эффективным по сравнению с другими архитектурами, такими как VGG-16. У него есть заметная основа трансферного обучения, подходящая для предварительно обученных моделей и различных задач, таких как обнаружение объектов и сегментация данных. Пропускная связь ускоряла обучение и делала его более стабильным. По сравнению с моделью на основе трансформаторов, которая использует механизм самоконцентрации для понимания последовательных данных, ResNet существенно отличается. Модель на основе трансформаторов требует большого объёма данных для глубокого понимания текстовых данных, что даёт эффективные результаты, но работает немного медленнее. Причиной выбора ResNet являются пропускные соединения, которые ускоряют выполнение и значительно улучшают результаты. В области субтитров к изображениям используется ResNet для извлечения признаков, представляющих объект и выполняемое действие на изображении. ResNet использовал остаточную сеть, которая использовала пропускные соединения. Здесь остаточный блок можно вычислить с ссылкой на вход Z как:

(5)

где Z считается входом остаточного блока.
является остаточной функцией, включающей пакетную нормализацию, сверточные слои и активацию ReLu. {x_i} считается обучающим весом соответствующих слоёв. Z также определяет тождественную связь с пропуском, которая также решает проблему нулевого градиента. ResNet обычно используется как экстрактор признаков для визуального отображения объектов по изображениям. Здесь I рассматривается как входное изображение для представления карт объектов в высоковизуальном представлении признаков V.

(6)

Перед извлечением признаков изображение должно быть предварительно обработано для улучшения извлечения признаков. Это считается исходным изображением, собранным из бенчмарка MSCOCO, поэтому первым шагом в предварительной обработке является изменение размера и нормализация изображения.

(7)

(8)

Где H^l — высота изображения, а W^l — вес изображения. I_resize — это изображение с измененным размером.

Чтобы нормализовать значение пикселя от диапазона [-1, 1] или [0, 1]

(9)

Где μ рассматривается как среднее значение пикселя σ рассматривается как стандартное отклонение ссылаемого изображения. Нормализованное изображение теперь дополнительно обрабатывается для извлечения признаков.

(10)

где рассматривается как вектор признаков. Когда подпись строки токенизируется, она преобразуется в числовой формат.

(11)

Если подпись разбивается на слова, то

(12)

Здесь важную роль играет словарный запас, и каждое слово уникально идентифицируется с помощью индексирования на основе целых чисел.

(13)

где V_c рассматривается как функция словарного запаса; необходимо обеспечить равномерную длину всех последовательностей; поэтому максимальная высота или идеальная длина считается _L-max.

(14)

Теперь токены встраиваются как;

(15)

для j = 1,2,3, ... .., L_max

где рассматривается как встроенный вектор с K размерности; теперь декодер используется для декодирования подписи для генерации кандидатов в подпись, основанной на вероятностной модели.

(16)

Где w_j — произведение на временной метке j, w_{1: j-1} — это сгенерированное слово на временной метке j-1, а e_j-1 — встроенный признак с предыдущим словом wj-1. На каждой метке сети, предсказанное следующее слово или вероятность, вычисляется по словарному запасу.

(17)

где w — выходной вес, а _b — выходное смещение. Максимальная вероятность вычисляется как

(18)

Максимальная длина кандидат-подписи вычисляется после получения или идентификации <конец> слова как специальный токен, например и . Поиск по лучу также полезен для выбора лучшего кандидата подписи, поэтому последовательность выглядит следующим образом:

(19)

(20)

Таким образом, сгенерированная кандидат-подпись — это последовательность

Для генерации последовательностей обычно используется долговременная кратковременная память. LSTM использует CNN в качестве экстрактора признаков и последовательно генерирует слова для создания значимых предложений. LSTM вычисляет элемент забытья на каждом временном метке T.

Если f t рассматривается как элемент забыть, σ — как функция активации, w_f — как вес, а b_f — как смещение,

y_t рассматривается как вектор входных признаков, h_t-1 — как скрытое состояние.

(22)

(23)

J_t рассматривается как вход, рассматривается как кандидатное состояние, w_j и_{w c} рассматриваются как вес для входа и кандидатного состояния соответственно, b_j и b_c или считаются смещением.

(24)

C_t рассматривается как все состояния, C_t-1 считается предыдущим состоянием.

(25)

O t считается выходом, w_o — весом, а b_o — смещением. Для инициализации скрытых и ячейковых состояний требуются следующие вычисления.

(26)

(27)

Где h_i и C i рассматриваются как состояния скрытой и ячейки соответственно, w_h и _{w c} — веса для состояния скрытой и парусной ячейки соответственно, b_c и b_h считаются смещением, k рассматривается как экстрактор признаков. Последовательность подписи вычисляется следующим образом:

(28)

Где T — длина сгенерированной подписи.

254 × 254 × 3 — это изменённое или предварительно обработанное изображение, и I считается входным изображением.

(29)

Если W и b рассматриваются как вес и смещение соответственно, то I рассматривается как входные признаки, а ReLU — как функция активации. Это вычисление сверточного слоя. Теперь слой пула можно вычислить как:

(30)

После завершения слоя пула; полностью связанный слой можно отображить как:

(31)

Где w_f и _{b f} рассматриваются как вес и смещение сети соответственно.

(32)

(33)

где N рассматривается как пространственная область, а d — как размерность объекта.

(34)

(35)

Где w_h и b_h рассматриваются как вес и смещение скрытого состояния соответственно, w_c и b_c рассматриваются как вес и смещение состояния клетки соответственно. Подпись может быть сгенерирована как:

(36)

Энкодер и декодер
Предлагаемая система кодирует данные для машинного перевода с помощью CNN. В этом случае вход и выход — это последовательности, но их длина может различаться. По одному за раз машина кодирует и декодирует каждый вектор. Используя вектор в качестве отправной точки, машина начинает кодировать и декодировать, а затем продолжает вычисления до финального условного распределения вероятностей. Один из примеров следующий:

(37)

Это считается распределением вероятностей.

Система может кодировать данные в виде векторного изображения, а затем их можно декодировать. fc_n (I) считается моделью изображения для понимания изображений.

(38)

(39)

(40)

S₁ — это последующая итерация S₀, а S₂ — последующая итерация S₁. Можно сказать, что каждый вход зависит от выхода предыдущего слоя. Изображения преобразуются CNN в векторы и отправляются на следующий слой, который проходит через все векторы. Здесь используется механизм внимания для последовательного упорядочения слов в осмысленное предложение после того, как RNN расшифровывает векторы в слова.

(41)

Где T — длина входа.

(42)

(43)

k₁, _{k 2}, k₃, k₄, ......, k_t-1 — это скрытые состояния декодирования.

Рисунок 2: Модель кодирования и декодирования. На рисунке представлена структура энкодер-декодер, используемая для субтитра к изображениям, показывая, как признаки изображения кодируются в векторные представления и затем декодируются в последовательные текстовые описания. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Модель процесса
См. рисунок 3, на котором показана блок-схема обучающих модулей, где сначала загружались набор данных и его подписи с основной правдой. После нормализации данных для кодирования CNN модель ResNet инициализируется и обучается с использованием извлечённых признаков. RNN и специфические для системы слова, помеченные маркерами начала и конца, затем могут использоваться для декодирования подписи. Система завершает извлечение, если найдено последнее слово, и N — общее количество слов в кандидатной подписи.

Рисунок 3: Блок-схема модели обучения. На рисунке представлен пошаговый процесс обучения модели, включая предобработку данных, извлечение признаков, обучение модели и оптимизацию. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Блок-схема тестовой модели показана на рисунке 4, где система сначала загружает модели энкодера и декодера, затем загружает модель ResNet и входные данные для извлечения субтитра. Если ошибок декодирования не было, вывод можно сделать от первого до последнего слова. После достижения последнего слова можно получить расшифрованные слова, а подпись создана, используя механизм внимания, чтобы последовательно расположить слова в осмысленном порядке. Размер луча учебной модели — пять лучей, максимальная длина — 20, а размер партии — 128 с 20 эпохами.

Рисунок 4: Блок-схема модели тестирования. На этом рисунке отображён рабочий процесс тестирования, демонстрируя, как входные изображения обрабатываются через обученную модель для генерации субтитров и оценки производительности. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Алгоритм субтитра изображений ResNet-152
Инициализируйте входные и выходные параметры, и здесь вход принимается как множество образов MSCOCO как I = (i₁, i₂, i₃, ....... i_N) вместе с аннотацией J = (j₁, j₂, j₃, ......... j_N) а выходные данные вычисляются в виде субтитров. На самом первом этапе требуется ввод, затем предварительно обработайте изображения, изменяя размер соотношения сторон как

(44)

Где w и h — исходная ширина и высота изображения, w_new и h_new — изменённые размеры, T_s считается заранее определённым целевым размером (T_s = 224), max(w, h) определяет наибольшую размерность, масштабированную для сохранения соотношения сторон.

После извлечения признака необходимо объявить блок идентичности как

(45)

Затем инициализируйте параметры, такие как размер пакета, количество эпох, _{W скрытый} как вес для скрытых слоёв, _W как выходной слой, и B_высота ,_{B смещение} как смещение. После инициализации необходимо вычислить выход сверточного слоя.

(46)

Его можно рассматривать как нормальный ReLU-блок, если b_l эквивалентно 1. Но если b_l не равно 1 или не эквивалентно 0, то это будет так:

(47)

Затем вычислите осуществимость выживания по

(48)

Где F_K рассматривается как осуществимость выживаемости системы, а K берётся для обозначения общего числа блоков в модели. Затем вычислите распределение вероятностей

(49)

После вычисления распределения вероятностей строит модель для доступа к ней и декодирования данных с помощью данных.

/9500

k₁, _{k 2}, k₃, k₄, ......, k_t-1 — это скрытые состояния декодирования.

При доступе к модели необходимо применять механизмы внимания для генерации субтитров, которые оценивают кандидат-подпись по референсной подписи; итоговые метрики затем можно оценить с помощью BLEU, METEOR, CIDEr и ROUGE.

Results

Программное обеспечение и спецификации среды
Python 3.10 был основным языком программирования для экспериментов. Visual Studio Code использовался для настройки среды разработки (VS Code). Важные библиотеки, используемые в этом исследовании, включают Pickle для сериализации данных, многопроцессорную для параллельной обработки, glob для обработки файлов и PyTorch для разработки моделей глубокого обучения. Аппаратная конфигурация включала 256 ГБ памяти, 8 ГБ оперативной памяти и видеокарту серии NVIDIA GTX с поддержкой CUDA для более быстрых вычислений. Для экспериментов использовался компьютер с процессором AMD Ryzen 5000 серии или Intel Core i5. Windows 10/11 была операционной системой, использованной для реализации. Её легко понять из таблицы спецификаций окружающей среды в Таблице 1.

Материал	Технические характеристики
GPU	Серия NVIDIA GTX
Библиотеки	PyTorch, Pickle, мультипрограммирование, Glob
ОС	Windows 10/11
Процессор	Серия Intel Core i5/AMD Ryzen 5000
Программирование	Python 3.10
RAM	8 ГБ
Программное обеспечение	Visual Studio Code
Хранение	256 ГБ

Таблица 1: Спецификации окружающей среды. В этой таблице представлены материалы, использованные в реализации, и их спецификации, такие как языки программирования, библиотеки и аппаратные характеристики.

Качественный анализ
Согласно качественному анализу модели по разным категориям, таким как уличные и внутренние сцены, а также простые и сложные, модель довольно эффективна в описании изображения. B1, B2, B3 и B4 считаются баллами BLEU. C считается CIDEr, M — METEOR, а R — ROUGE. Для каждой матрицы, где B1 равен 0,579, B2 — 0,404, B3 — 0,279, B4 — 0,191, METEOR — 0,195, ROUGE — 0,396, а CIDEr — 0,6, результат представлен как 1, как показано в Таблице 2.

Матрицы	Оценки MSCOCO
BLEU 1	0.579
BLEU 2	0.404
BLEU 3	0.279
BLEU 4	0.191
МЕТЕОР	0.195
РУЖ	0.396
CIDEr	0.6

Таблица 2: Экспериментальные результаты. Эта таблица суммирует эффективность предлагаемой модели с использованием метрик оценки, таких как BLEU, METEOR, ROUGE и CIDEr, обеспечивая количественную оценку качества субтитра.

Рисунок 5: Экспериментальный результат. На этом рисунке представлено графическое представление метрик оценки, иллюстрируя сравнительную эффективность модели по различным показателям. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Сравнение результатов показано в таблицах 3, 4 и 5. Следующие ссылки приведены в таблицах 3, 3 и 4:^{10, 11, 12, 13, 14}

Метод	B1	B2	B3	B4
Face-CapF [10]	0.5713	0.3651	0.2407	0.1652
Face-Init [10]	0.5663	0.3649	0.243	0.1686
Face-CapL [11]	0.589	0.3789	0.2507	0.1719
Шаг лицом [10]	0.5843	0.3756	0.2478	0.1696
CSPDN-BiLSTM-SelfAtt [12]	0.6012	0.3992	0.2703	0.1921
CNN+RNN+ResNet-152 (предложено)	0.579	0.404	0.279	0.191

Таблица 3: Сравнение результатов для баллов BLEU. В этой таблице сравниваются результаты BLEU по разным моделям или конфигурациям, чтобы подчеркнуть улучшения точности генерации субтитров.

Как показано в таблицах 3 и 4, CSPDN-BiLSTM-SelfAtt12 показывает лучшие результаты на B1 и B4, тогда как CNN+RNN+ResNet-152 лучше работает на B2 и B3. CNN+RNN+ResNet-152 лучше METER и CIDEr, чем ROUGE. Таким образом, оба метода одинаковы по баллам BLEU, но предлагаемый показатель лучше двух других. Таким образом, общее превосходство результата достигается с помощью предложенного метода. Face-CapF¹⁰, Face-Init¹⁰,^{Face-CapL 11}, Face-Step¹⁰ выполняют субтитры на основе набора данных FlickrFace11K. Однако результаты сравнительно слабые даже для большого набора данных. Несмотря на то, что предлагаемая модель имеет значительно более высокий балл CIDEr, это различие вызвано различиями в процедуре оценки, подготовке наборов данных и специфике реализации.

Метод	МЕТЕОР	CIDEr	РУЖ
Face-CapF [10]	0.1719	0.2304	0.4476
Face-Init [10]	0.1717	0.2313	0.4484
Face-CapL [11]	0.1744	0.2472	0.4547
Шаг лицом [10]	0.1745	0.2283	0.4504
CSPDN-BiLSTM-SelfAtt [12]	0.1932	0.2617	0.4793
CNN+RNN+ResNet-152 (предложено)	0.195	0.6	0.396

Таблица 4: Сравнение результатов по METEOR, CIDEr и ROUGE. В этой таблице представлен сравнительный анализ нескольких метрик оценки для оценки семантического и синтаксического качества сгенерированных субтитров.

Метод	B1	B2	B3	B4	МЕТЕОР	РУЖ
Аугментация шаблонов [13]	0.238	0.109	0.05	0.022	0.096	0.249
EfficientNetB0 [14]	0.2827	0.1325	0.0588	0.0266	0.2661	0.3609
EfficientNetB1 [14]	0.289	0.1404	0.0642	0.0286	0.271	0.3718
ResNet50 [14]	0.2637	0.1217	0.0496	0.0207	0.2437	0.3423
MobileNetV2 [14]	0.2106	0.064	0.0215	0.009	0.1794	0.2606
CNN+RNN+ResNet-152 (предложено)	0.579	0.404	0.279	0.191	0.195	0.396

Таблица 5: Сравнение результатов по оценкам BLEU, METEOR и ROUGE. В этой таблице представлено объединённое сравнение ключевых метрик оценки для демонстрации общей эффективности модели.

Согласно Таблице 5, EfficientNetB1¹⁴ лучше для METEOR, но CNN+RNN+ResNet-152 лучше для B_{1-B 4} и ROUGE_. В целом, предлагаемый результат превосходит по всем метрикам BLEU и ROUGE по сравнению с упомянутыми методами.

ДОСТУПНОСТЬ ДАННЫХ:
Все исходные данные и кодовые файлы, связанные с этим исследованием, доступны в дополнительных файлах.

Discussion

В области искусственного интеллекта субтитры для изображений — сложная задача. Субтитры к изображениям были предметом многочисленных исследований, и острое или точное написание субтитров по-прежнему требует высочайшей точности. Для достижения цели субтитров к изображениям можно использовать множество методов машинного обучения, и многочисленные исследования использовали CNN, RNN и ResNet-152. Однако необходимы повышения точности и сокращения времени обработки. Предлагаемая система построена с использованием CNN в качестве энкодера, RNN в качестве декодера, Torch Vision в качестве библиотеки и ResNet в качестве основной модели обучения. ResNet использует технику skip connection для достижения более высокой производительности по сравнению с другими традиционными моделями, такими как Face-CapF, Face-Init, Face-Step, Face-CapL, CSPDN-BiLSTM-SelfAtt, Template-Augmentation, EfficientNetB0, EfficientNetB1, MobileNetV2 и многими^{другими 10, 11, 12, 13, 14}.

Ключевые шаги предлагаемой работы включают использование умного фильтра для очистки изображений, а затем извлечение признаков со всеми основными этапами. Без точного извлечения признаков невозможно достичь цели модели, и если система не извлекает эти признаки корректно, это снижает точность показателей метрики. Этап обучения, выполненный с глубоким анализом векторов признаков и механизма внимания, сыграл важную роль в расшифровке тестовых данных. Есть ещё один важный этап в работе — обновление вокала. Когда при тестировании данных появляются новые слова, эти слова добавляются в словарь для улучшения производительности модели. Эти критически важные шаги сыграли важную роль в достижении лучшей точности, которая была выше, чем у ранее предложенной модели, такой как метод расширения шаблона. Система обучила модель для бенчмарка MSCOCO и получила более эффективную модель для субтитров.

Если размер тестовых данных увеличится, возможно, появится новые слова, связанные с изображениями. Это также может привести к незначительности при создании субтитров, и тогда это может быть реализовано через механизм внимания, который используется в модели. Словарный запас можно обновлять с помощью механизма внимания, который эффективен для последующего оценивания. Это можно рассматривать как самообучение или управление исключениями. Поскольку модель обучается с помощью MSCOCO, который содержит тысячи реальных изображений, может возникнуть множество объектов, которые необходимо обновлять при каждом выводе.

Одним из недостатков этой работы является то, что по сравнению с современными наборами данных, используемыми для обучения, модель может плохо работать на гораздо более старых изображениях, особенно на чёрно-белых или исторических изображениях низкого качества, из-за различий в визуальных особенностях, контрасте и текстуре. Если изображения имеют низкое разрешение, то сложнее извлечь точные признаки, и ResNet-152 может ухудшить фазу кодирования в этом случае. Он также плохо работает на слишком большом количестве старых изображений, что означает, что эти изображения принадлежат древним временам из-за плохих или поврежденных векторов признаков. Ограничения включают оценку по одному набору данных и отсутствие перекрёстной валидации.

По сравнению с традиционными методами, предлагаемая модель лучше, так как улучшает извлечение признаков, тем самым улучшая генерацию подписей к изображениям. Умная фильтрация улучшает фазу извлечения признаков или кодирования, что лучше строит модель. ResNet-152 также использует пропускные соединения, которые используют время во время обучения. Таким образом, выполнение происходит гораздо быстрее, чем у других моделей, таких как EfficientNetB0¹⁴. Механизм внимания также является основным фактором, повышающим производительность модели.

Эта техника может применяться в системах поиска изображений, автоматизированном наблюдении и вспомогательных технологиях для людей с нарушениями зрения. По мере быстрого развития искусственного интеллекта требуется улучшение системы поиска изображений, и эта техника может способствовать этому. С помощью этой модели люди с нарушениями зрения могут получить помощь в видении мира, переводя его в речь. Существует несколько важных и потенциальных применений субтитров к изображениям.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Серия AMD Ryzen 5000	AMD	100-100000059WOF	Серия AMD Ryzen 5000 — это линейка высокопроизводительных процессоров, разработанных компанией AMD на базе архитектуры Zen 3. Эти процессоры широко используются в настольных компьютерах и ноутбуках как для универсальных вычислений, так и для сложных задач, таких как обработка данных и рабочие процессы машинного обучения.
GPU	NVIDIA	4.71933E+12	NVIDIA GeForce GTX — это серия графических процессоров (GPU), разработанных компанией NVIDIA, широко используемых как для игр, так и для универсальных вычислительных задач, таких как глубокое обучение и обработка изображений.
Intel Core i5	Intel	BX8071514400F	Intel Core i5 — это серия процессоров среднего класса, разработанная компанией Intel, широко используемая в персональных компьютерах как для универсальных, так и для вычислительных задач.
Python 3.10	Фонд программного обеспечения Python	PEP 619	Python — это язык программирования высокого уровня, интерпретируемый, широко используемый в научных вычислениях, анализе данных и машинном обучении. Он известен своей простотой, читаемостью и обширной экосистемой библиотек.
PyTorch	Facebook	26.03-py3	PyTorch — это открытый фреймворк для глубокого обучения, разработанный компанией Meta Platforms (ранее Facebook), широко используемый для создания и обучения нейронных сетей в исследованиях и промышленности.
Visual Studio Code	Microsoft	Нет	Visual Studio Code (VS Code) — это лёгкий редактор кода с открытым исходным кодом, разработанный компанией Microsoft. Он широко используется для разработки программного обеспечения, включая проекты машинного обучения и глубокого обучения.
Windows 11	Microsoft	KB5083631	Windows 11 — это операционная система, разработанная компанией Microsoft, широко используемая для общих вычислительных задач, а также для разработки программного обеспечения и машинного обучения.