Método aprimorado de anotação de imagem em blocos para bicicletas elétricas em cenários complexos de elevador baseado em recursos locais

Summary

Um método de anotação de imagem em blocos baseado em características locais é apresentado para melhorar a detecção de bicicletas elétricas em cenários complexos de elevadores, utilizando o conjunto de dados EBike-DET e modelos de detecção de objetos convencionais.

Abstract

O uso crescente de bicicletas elétricas (EBikes) em ambientes confinados, como elevadores residenciais, levantou sérias preocupações de segurança e trouxe desafios consideráveis para a detecção automatizada de objetos, especialmente devido às frequentes oclusões. Abordagens tradicionais de detecção, que dependem principalmente de anotações holísticas, frequentemente falham em reconhecer com precisão EBikes parcialmente ocluídos em cenas visualmente complexas. Para superar essas limitações, este estudo propõe um novo método de anotação em blocos baseado em características locais, oferecendo uma estratégia de anotação mais interpretável. Ao decompor um EBike em múltiplas regiões-chave para rotulagem independente, o método proposto permite que modelos de detecção aprendam informações estruturais detalhadas, melhorando assim a robustez em condições de forte oclusão. Além disso, um conjunto de dados dedicado, EBike-DET, foi desenvolvido para apoiar tarefas de detecção em cenários realistas de elevadores. Anotado usando a abordagem em blocos e aumentado com condições ambientais simuladas, o conjunto de dados aprimora tanto o desempenho quanto a adaptabilidade do modelo. O método proposto promove o desenvolvimento de inteligência artificial explicável (XAI) ao tornar a detecção de objetos mais transparente e estruturalmente interpretável, o que é especialmente valioso em aplicações críticas para a segurança. Experimentos extensivos são realizados usando três modelos principais (YOLOv5, YOLOv10 e SSD). Os resultados mostram que o YOLOv5, quando treinado no EBike-DET com anotações fragmentadas, alcança melhorias de 3,7% na precisão, 5,3% na recordação, 4,5% na pontuação F1 e 4,4% no mAP. Comparado a conjuntos de dados públicos, o EBike-DET demonstra maior estabilidade e robustez sob oclusão. Este estudo não apenas avança a precisão da detecção, mas também representa um passo rumo a soluções de IA mais interpretáveis e explicáveis para implantação em sistemas reais de monitoramento de segurança.

Introduction

Com a rápida proliferação das bicicletas elétricas (EBikes) no mundo, especialmente na China, onde o total ultrapassou 350 milhões de unidades até 2022, as EBikes se tornaram um modo dominante de transporte de curta distância. No entanto, seu uso frequente em espaços confinados, como elevadores residenciais, apresenta sérios riscos de segurança, incluindo vibrações anormais, danos aos equipamentos, odores desagradáveis e riscos de incêndio. Um estudo recente estima que incidentes de incêndio relacionados ao EBike ocorrem com uma probabilidade de aproximadamente 1,44%¹. Esses riscos destacam a necessidade urgente de métodos eficientes e precisos de detecção EBike para aumentar a segurança em ambientes de elevador.

Apesar do progresso em visão computacional e aprendizado profundo, a detecção EBike em elevadores continua desafiadora. Conjuntos de dados públicos disponíveis são escassos e frequentemente carecem de diversidade nos modelos EBike, cores e condições de oclusão, limitando a generalização do^{modelo 2}. Além disso, cenários de elevador frequentemente envolvem oclusões complexas, onde os EBikes são parcialmente ocultos por passageiros ou componentes estruturais, reduzindo ainda mais a precisão de detecção ^3,4,5. Métodos holísticos de anotação existentes, que tratam os EBikes como uma única caixa delimitadora, frequentemente falham nessas condições, demonstrando a necessidade de estratégias aprimoradas de anotação e detecção. Como mostrado na Tabela 1, a anotação holística leva a uma redução significativa no desempenho, com uma redução de até 21,5% na Precisão Média em um limiar de Interseção sobre União (IoU) de 0,5 (mAP@0,5) em comparação com a anotação em blocos.

Avanços na detecção baseada em deep learning

Métodos de aprendizado profundo, especialmente redes neurais convolucionais (CNNs), têm sido amplamente aplicados na detecção de objetos. A família You Only Look Once (YOLO) demonstra forte desempenho em tempo real. No entanto, ao detectar objetos ocluídos ou sobrepostos, os modelos YOLO tendem a produzir caixas delimitadoras redundantes. Por exemplo, o YOLOv5 aprimora a extração de características multiescala por meio de convolução profunda e redes de pirâmide de características ^6,7, enquanto o YOLOv10 elimina supressão não máxima e emprega redes de agregação de caminhos para melhorar a velocidade e a fusão^{multi-escala 8,9}. Apesar dessas melhorias, caixas delimitadoras redundantes e a diminuição da robustez em ambientes com muita oclusão continuam questões não resolvidas. No entanto, ambos sofrem quando estruturas-chave EBike são parcialmente bloqueadas, pois a anotação holística fornece pistas locais limitadas. Como mostrado na Figura 1A-C, essa limitação leva a caixas delimitadoras redundantes e confiança instável na detecção sob oclusão moderada ou pesada. Em contraste, a anotação em blocos mitiga esse problema ao permitir que o modelo detecte regiões separadas — como rodas ou a área traseira — reduzindo assim caixas delimitadoras redundantes sob oclusão. A Figura 1D-F demonstra ainda mais que a anotação em blocos melhora a localização de características e mantém a estabilidade da detecção quando apenas componentes parciais do EBike permanecem visíveis.

De forma semelhante, o Detector MultiBox de Tiro Único (SSD) modelo^10,11, baseado na espinha dorsal VGG-16, oferece detecção eficiente em escalas e tem bom desempenho em objetos^{pequenos 12}. No entanto, o SSD também enfrenta dificuldades quando a continuidade das características é quebrada por uma forte oclusão, levando a detecções perdidas ou regressão instável de caixas — mesmo quando mecanismos de atenção são^{introduzidos 13}. A anotação em blocos também oferece uma vantagem aqui: o modelo ainda pode depender das partes locais visíveis restantes, melhorando a estabilidade da detecção em condições multiescala e ocluidas.

Estratégias de anotação e aprendizado local de características

A maioria dos métodos atuais de detecção adota anotação holística, que simplifica a anotação, mas depende principalmente de características^{globais 14,15}. Essa abordagem tem dificuldades quando regiões críticas do EBike — como as rodas, a área dianteira ou a traseira — estão parcialmente ausentes. Um estudo recente¹⁶ mostrou que o aprendizado local de características, que segmenta objetos em múltiplas partes anotadas, pode melhorar a robustez e a precisão em cenários desafiadores. De acordo com isso, os resultados da Tabela 2 mostram que a anotação em blocos permanece eficaz quando pelo menos 40%-60% dos principais componentes do EBike permanecem visíveis, especialmente ao anotar as rodas, área dianteira e traseira. Em contraste, caixas delimitadoras holísticas permanecem suficientes em cenários de baixa oclusão (por exemplo, <20% de oclusão) ou quando a resolução da imagem é ≥1280 x 720, onde a silhueta completa é preservada. O benefício do chunking diminui quando a oclusão excede ≈70%, ou quando regiões em nível de características se tornam pequenas demais para fornecer informações espaciais discriminativas.

Justificativa metodológica para o uso da detecção de cantos Harris

A detecção de cantos Harris é selecionada para extração local de características devido ao seu comportamento determinístico, eficiência computacional e propriedade livre de treinamento, essenciais para anotação confiável em ambientes de elevador. Ao contrário de detectores de keypoints aprendidos como SuperPoint e LoFTR, ele evita treinamento adicional e reduz o deslocamento de domínio sob dados anotados limitados e oclusão pesada. Comparados a operadores baseados em arestas como Canny e Sobel, os cantos Harris enfatizam junções geometricamente significativas em vez de bordas de fundo barulhentas, permitindo a localização estável das estruturas EBike, incluindo rodas e interseções de quadros. Além disso, a detecção de canto Harris fornece hiperparâmetros interpretáveis. A constante empírica k controla a sensibilidade e estabilidade dos cantos. Como mostrado na Seção 2.6.2.4 e na Figura 2, ajustar k apoia um equilíbrio controlado entre robustez e superdetecção, o que está bem alinhado com a estratégia proposta de anotação em blocos baseada em regras.

Aumento de dados para robustez

A ampliação de dados tem se mostrado eficaz no aumento da diversidade e adaptabilidade dos modelos de detecção. Técnicas comuns incluem transformações geométricas (por exemplo, rotação, escala, recorte) e ajustes de cor (por exemplo, escala de cinza, modificações de luminância), que simulam condições do mundo real e variações de^iluminação 17,18,19. Ao incorporar essas estratégias, os modelos de detecção tornam-se mais resilientes à variabilidade e mais adequados para a implantação no mundo real.

Para abordar as limitações mencionadas, este estudo propõe um método aprimorado de anotação em blocos baseado em características locais. O método aprimora o aprendizado de características e a robustez ao dividir EBikes em múltiplas partes anotadas independentes, permitindo uma detecção mais eficaz sob oclusão complexa. Além disso, um conjunto de dados dedicado de Detecção de Bicicletas Elétricas (EBike-DET) adaptado aos ambientes de elevadores é construído, enriquecido por meio de diversos aprimoramentos de dados para melhorar a adaptabilidade do modelo. Por fim, o método é validado no YOLOv5, YOLOv10 e SSD, demonstrando ganhos consistentes de desempenho de +5,69% a +39,81% de mAP, conforme resumido na Tabela 3. As contribuições podem ser resumidas da seguinte forma: um método aprimorado de anotação em blocos que fortalece o aprendizado de características sob condições de oclusão, construção de um conjunto de dados especializado EBike-DET para cenários de elevador, incorporação de múltiplas técnicas de aumento e validação experimental em modelos de detecção convencionais, mostrando precisão e robustez aprimoradas em comparação com a anotação holística.

Protocol

O conjunto de dados EBike-DET utilizado neste estudo consiste em imagens coletadas pelos autores por meio de fotografias no local em ambientes de elevadores, estacionamentos e ruas, bem como imagens EBike disponíveis publicamente obtidas em plataformas baseadas na web. Toda a coleta de imagens no local foi realizada em ambientes não privados exclusivamente para pesquisa técnica relacionada à segurança sobre detecção EBike. Imagens não têm como alvo intencional indivíduos, e quaisquer pessoas capturadas acidentalmente não são identificáveis devido à distância, oclusão, vistas de costas ou processamento apropriado que remove traços faciais e outros identificadores pessoais. Imagens obtidas pela web foram obtidas exclusivamente de plataformas que permitem reutilização para pesquisa acadêmica ou de recursos liberados sob licenças abertas. Todas as imagens são usadas estritamente para fins de pesquisa e educacionais não comerciais. Como nenhum dado pessoal identificável foi coletado e não houve interação direta com sujeitos humanos, este estudo não precisou de aprovação de um comitê de ética institucional, de acordo com as diretrizes institucionais do autor.

1. Construção de conjuntos de dados

1. Resolução de imagem, espaço de cor e formatos de arquivo
   1. Defina a resolução nativa das imagens para 1280 x 720 pixels para capturar detalhes de alta qualidade do EBikes em várias cenas.
   2. Após a padronização, redimensione as imagens para 640 x 480 pixels para equilibrar eficiência computacional e retenção de recursos.
   3. Defina o espaço de cor para RGB para preservar todas as informações de cor, garantindo reconhecimento preciso de características em diferentes condições de iluminação.
   4. Salve as imagens em formato JPEG para otimizar o armazenamento sem comprometer significativamente a qualidade da imagem.
2. Definição e divisão dos conjuntos de dados de treinamento, validação e teste
   1. Divida o conjunto de dados em conjuntos de treinamento, validação e teste com uma proporção de 7:2:1, garantindo que o conjunto de dados seja devidamente dividido para treinamento de modelos, ajuste de hiperparâmetros e avaliação de desempenho.
   2. Defina a semente aleatória em 42 para garantir a reprodutibilidade dos dados divididos entre diferentes experimentos.
   3. Aplique amostragem estratificada para manter uma distribuição consistente dos modelos EBike e níveis de oclusão em cada divisão do conjunto de dados, garantindo que não haja desequilíbrio de classes entre conjuntos.
   4. Garanta que não haja vazamento entre conjuntos de treinamento, validação e teste, garantindo que nenhuma imagem do EBike apareça em mais de um conjunto.
3. Construção de conjuntos de dados públicos
   1. Selecione o conjunto de dados de detecção EBike disponível publicamente da plataforma^open-source 20,21,22,23, que contém 210 imagens de EBikes em cenas panorâmicas e parcialmente ocluidas.
   2. Reconheça as limitações do conjunto público de dados, incluindo ângulo de câmera único, baixa resolução e cenas de fundo simples, que podem restringir a capacidade de generalização do modelo, especialmente em cenários complexos de oclusão.
4. Construção do conjunto de dados EBike-DET
   1. Construa o conjunto de dados EBike-DET para aprimorar a cobertura de cenas e a diversidade de amostras, consistindo em 1.680 imagens de alta qualidade de plataformas baseadas na web e fotografia no local.
   2. Garanta que ambientes diversos estejam incluídos, como elevadores, estacionamentos e ruas, capturando várias condições em que o EBikes possa estar.
   3. Incorpore uma variedade de ângulos de câmera (vista frontal, lateral e superior) para capturar toda a gama de aparências do EBike, garantindo treinamento robusto para modelos de detecção.
   4. Enriqueça o conjunto de dados incluindo múltiplas marcas e modelos da EBike, com variações em cor, tamanho e acessórios, para aumentar a diversidade das amostras.
   5. Garanta que cenários de oclusão estejam incluídos, onde os EBikes sejam parcialmente oclusos por pedestres e veículos, simulando condições do mundo real em espaços confinados como elevadores.
   6. Confirme que o conjunto de dados EBike-DET inclui amostras diversas e complexas, tornando-o um conjunto de dados confiável para detecção de alvos sob condições complexas de oclusão.
5. Regras de inclusão e exclusão para imagens web e no site
   1. Imagens da web: Inclua apenas aquelas que estão disponíveis publicamente, capturadas em ambientes diversos, com condições de iluminação de alta resolução e variadas. Exclua imagens com baixa resolução ou fundos simples.
   2. Imagens no local: Inclua imagens capturadas em ambientes do mundo real, especificamente em locais como elevadores, estacionamentos ou ruas. Garanta que as imagens representem cenários realistas do EBike com variações na oclusão, complexidade de fundo e condições climáticas. Exclua imagens com ruído excessivo, distorção ou configurações irreais.
   3. Garanta que tanto as imagens web quanto as do local sigam os mesmos padrões de resolução e espaço de cor para manter a consistência entre o conjunto de dados.
6. Construção de aumento de dados
   1. Aplique operações básicas de aumento, como escala de cinza e rotação, para aumentar a diversidade das amostras e simular várias condições de iluminação e orientações da câmera.
   2. Divida o alvo do EBike em várias regiões locais independentes, incluindo a área das rodas, área dianteira e traseira, para aprimorar o aprendizado local de características.
   3. Anote cada região independentemente para melhorar a precisão da detecção sob oclusão e garantir desempenho robusto do modelo entre diferentes partes do EBike.
   4. Verifique se todas as imagens aumentadas e anotações em blocos mantêm consistência estrutural com os recursos do EBike para evitar dados de treinamento inadequados ou inválidos.

2. Anotação em blocos com características locais

NOTA: Para aumentar a precisão da detecção de EBikes em cenários complexos de oclusão, é proposto um método de anotação em blocos baseado em características locais aprimoradas. Esse método segmenta a região EBike extraindo seus pontos de características locais e determina se uma região deve ser anotada com base no grau de oclusão na região correspondente. O processo experimental detalhado está ilustrado na Figura 3.

1. Utilizando os conjuntos de dados de treinamento, validação e teste previamente construídos.
2. Anotação manual: Use a ferramenta LabelImg no ambiente Python para anotação manual. Rotule todas as imagens exclusivamente como EBikes, garantindo interferência mínima de amostras^{negativas 24,25}.
3. Processamento e ampliação de dados
   1. Aplicar o método proposto por Yongjiang et ^al.22 para reduzir o ruído e padronizar as imagens para garantir tamanho uniforme em todo o conjunto de dados.
   2. Realize operações de aumento de dados (por exemplo, rotação, ajuste de brilho, escala de cinza) para aumentar a diversidade da amostra. Garanta que todas as imagens aumentadas mantenham a qualidade de imagem e aumentem a robustez do modelo a diferentes fundos.
4. Cultivo de área EBike
   1. Para garantir a reprodutibilidade da localização ROI, aplique os parâmetros de inferência da Tabela 4 para o YOLOv10 (usando o arquivo de pesos pré-treinado yolov10x.pt). As coordenadas da caixa delimitadora de saída são as seguintes:
      ROI = [x₁,_{y 1}, x₂,_{y 2}] (1)
      A equação (1) define as coordenadas da caixa delimitadora^{ROI 26} [x₁, y₁, x₂,_{y 2}], onde: x₁, y₁ = Coordenadas do canto superior esquerdo do ROI EBike; x₂, y₂ = Coordenadas do canto inferior direito do EBike ROI. Essas coordenadas são derivadas da saída bruta do YOLOv10, que prevê caixas delimitadoras no formato [c_x,_{c y}, w, h] para cada objeto detectado. As fórmulas de conversão são:
      (2)
      (3)
      (4)
      (5)
      Onde c_x, c_y são coordenadas centrais horizontais/verticais normalizadas da caixa delimitadora prevista (escaladas para o tamanho da imagem de entrada de 640 x 480).  w, h é a largura/altura normalizada da caixa delimitadora prevista (escalada para o tamanho da imagem de entrada).
   2. Filtre a saída do YOLOv10 pelo limiar de confiança (0,5) para manter apenas as detecções relacionadas ao EBike, (ID de classe correspondente a bicicleta elétrica), depois processe com o NMS (IoU=0,45) para remover caixas redundantes. Converta a caixa delimitadora restante para [x₁, y₁, x₂,_{y 2}] para o corte de ROI.
   3. Lidar com múltiplas detecções
      NOTA: Em cenários de elevador (o alvo central do conjunto de dados EBike-DET), os EBikes são tipicamente de instância única (devido a restrições de espaço). Para casos com múltiplas detecções EBike (por exemplo, elevadores lotados com dois EBikes), as seguintes regras se aplicam.
      1. Prioridade de maior confiança: Selecione a caixa delimitadora com a pontuação máxima de confiança (a confiança de saída do YOLOv10 reflete a certeza do modelo de que o objeto é um EBike).
      2. Verificação de validade espacial: Se múltiplas detecções tiverem pontuações de confiança >0,7, verifique a sobreposição espacial com os limites estruturais do elevador (por exemplo, evite caixas delimitadoras que se estendam além das paredes do elevador). Mantenha a detecção cujo ponto central c_x, c_y, está mais próximo do centro da imagem (elevadores são normalmente monitorados por câmeras frontais, com alvos centralizados).
      3. Tratamento de casos extremos: Se nenhuma detecção válida atingir o limite de confiança (por exemplo, oclusão severa), marque a imagem para correção manual do ROI (representando <3% do conjunto de dados EBike-DET).
5. Conversão e normalização em escala de cinza
   1. Realize a conversão em tons de cinza na imagem RGB recortada do ROI. Use o método da média ponderada para conversão, seguindo a fórmula:
      I_gra = 0,299 × R + 0,587 × G + 0,114 × B (6)
      onde R, G e B representam os valores dos pixels nos canais vermelho, verde e azul, respectivamente. Esse método está alinhado com a percepção humana do brilho em diferentes cores.
   2. Normalize os valores dos pixels da imagem em tons de cinza para a faixa de [0, 1] por meio de escalamento linear a partir de [0, 255]. Essa normalização melhora a estabilidade dos cálculos numéricos e garante que os cálculos subsequentes de gradiente e limiares funcionem de forma consistente sob condições de iluminação variadas.
6. Detecção de canto Harris
   1. Aplique a detecção de canto Harris à escala de cinza e normalize a região EBike para extrair pontos de características locais.
      NOTA: O princípio central da detecção de cantos Harris envolve calcular a matriz de autocorrelação para localizar com precisão os cantos na imagem, como mostrado visualmente na Figura 4B. Esses cantos detectados são tipicamente associados a componentes-chave do EBike, como rodas, área dianteira e traseira, que frequentemente apresentam características claras nos cantos.
   2. Calcule o gradiente da imagem para identificar áreas com mudanças significativas de intensidade, conforme descrito abaixo.
      1. Suavização de imagem: Aplique filtragem Gaussiana à imagem em tons de cinza para suprimir o ruído, obtendo a imagem suavizada da seguinte forma:
         I_s = G_σ*I (7)
         onde * representa a operação de convolução, e G_σ é um núcleo Gaussiano 2D com desvio padrão de σ, que controla o nível de suavização. Um valor típico para é 1,0.
      2. Calcular o gradiente da imagem: Use um operador de gradiente (como o operador Sobel) para calcular os gradientes horizontais (x) e verticais (y) da imagem suavizada:
         I_x = K_{x *} I_s ,I_y =_{K y *} I_y (8)
         onde I_x e_{I y} são os mapas de gradiente nas direções x e y, respectivamente, e Gx e Gy são os núcleos de convolução para o operador de Sobel:
         , (9)
      3. Construa a matriz de autocorrelação M com base nos gradientes previamente calculados, usando uma janela local 3 x 3 W centrada em cada pixel (x,y):
         (10)
         Na fórmula, W refere-se a uma janela local na posição (x,y), e a operação ∑W representa a soma de todos os elementos da imagem dentro dessa janela; A = ∑W I_x² representa a soma dos gradientes ao quadrado na janela W na direção x, refletindo a intensidade das mudanças na direção x; B=∑W I_y² representa a soma dos gradientes ao quadrado na janela W na direção y, refletindo a intensidade das mudanças na direção y; C = ∑W I_{xI y} representa a soma do produto dos gradientes nas direções x e y dentro da janela W, descrevendo a correlação das mudanças entre essas duas direções.
      4. Calcule a soma dos gradientes ao quadrado nas direções x e y para refletir a intensidade das variações ao longo de cada direção. O termo cruzado entre os gradientes I_x I_{I y} captura a correlação entre as direções x e y.
      5. Função de resposta dos cantos: Calcule a função de resposta dos cantos R com base no determinante e no traço da matriz de autocorrelação para detectar pontos de canto na imagem. Calcule o valor de resposta para cada pixel e selecione pontos com valores de resposta mais altos como os cantos finais, conforme mostrado na Figura 2. A função de resposta de canto é dada por:
         det(M) = A ⋅ B -^{C 2} (11)
         trace(M) = A + B (12)
         R = det(M) - k ⋅ (trace(M))² (13)
         onde det(M) é o determinante do M, refletindo a mudança geral na região local de características, e trace(M) é o traço da matriz, refletindo a intensidade total do gradiente na região. A constante empírica k é tipicamente definida entre 0,04 e 0,06.
         NOTA: Com base em experimentos, foi constatado que a escolha de k influencia significativamente os resultados:
         Quando k=0,04, os valores de resposta são muito altos, levando a um excesso de pontos de canto detectados erroneamente.
         Quando k=0,05, os valores de resposta são mais equilibrados, detectando com precisão os cantos verdadeiros.
         Quando k=0,06, os valores de resposta são muito baixos, dificultando a detecção confiável de pontos de canto.
   3. Realize divisão grosseira das áreas locais do EBike usando os resultados de detecção de pontos de canto de Harris. Divida o EBike em regiões com base na estrutura geométrica e na distribuição de pontos de canto, como mostrado na Figura 4C, para melhorar a robustez e o desempenho de detecção do modelo em cenários complexos de oclusão.
   4. Área da roda: Considere a região válida se ela contiver pelo menos 15 pontos de canto distribuídos simetricamente ao longo de uma forma circular, com pontuação de simetria não inferior a 0,85. A pontuação de simetria é mostrada na Equação 11. A relação largura-altura da região da roda deve ser aproximadamente 1:1, garantindo que reflita com precisão as características geométricas da roda.
   5. Área frontal: Inclua a região se ela contiver pelo menos 10 pontos de canto com pontuação de simetria no mínimo 0,80, e a relação largura-altura variar entre 1,2:1 e 1,5:1, garantindo que a área frontal corresponda às características estruturais esperadas.
   6. Área traseira: Inclua a região se ela contiver pelo menos 12 pontos de canto, com pontuação de simetria no mínimo 0,75, e a relação largura-altura varia entre 1,5:1 e 2:1, garantindo que a área traseira siga as propriedades geométricas esperadas.
7. Representação de áreas críticas do EBike com caixas delimitadoras
   1. Para converter pontos de canto em caixas delimitadoras retangulares, utilize o algoritmo de clusterização DBSCAN. Esse método agrupa pontos de canto próximos em agrupamentos, garantindo que os pontos de canto que formam uma região estejam agrupados. Defina a distância máxima entre pontos dentro de um cluster para 30 pixels.
   2. Para cada agrupamento de pontos de canto, determine as coordenadas mínima e máxima x e y. Essas coordenadas representam as arestas da caixa delimitadora.
   3. Adicione uma margem de 10 pixels ao redor da caixa delimitadora para garantir que todos os recursos relevantes estejam incluídos. Essa margem compensa possíveis desalinhamentos ou imprecisões de pixels na detecção de pontos de canto.
   4. Arredonda as coordenadas da caixa delimitadora até o inteiro mais próximo para garantir o alinhamento correto dos pixels para o processamento de imagens.
   5. Represente as coordenadas finais da caixa delimitadora para o componente i-ésimo (por exemplo, roda, área dianteira, área traseira) conforme descrito abaixo.
      1. Combine as regiões definidas (área das rodas, área dianteira e área traseira) e represente todas as áreas críticas do EBike usando caixas delimitadoras retangulares.
      2. Defina as coordenadas da caixa delimitadora para o componente i (por exemplo, roda, área dianteira, área traseira) como:
         (14)
         onde B_i representa a caixa delimitadora do componente i-ésimo, e e são as coordenadas dos cantos superior esquerdo e inferior direito, respectivamente.
8. Tratamento da oclusão parcial
   1. Avalie a pontuação de simetria de canto para cada região. Aceite uma região se a pontuação de simetria for maior ou igual a 0,7.
   2. Para o manejo de oclusão, meça a visibilidade dos pontos de canto. Aceite uma região se pelo menos 50% dos cantos estiverem visíveis. Se 30%-50% dos cantos estiverem visíveis, sinalize a região para revisão adicional. Se menos de 30% dos cantos estiverem visíveis, rejeite a região devido à visibilidade insuficiente para detecção precisa.
9. Julgamento de precisão das regiões locais de características
   1. Avalie a precisão de cada região local de características usando três métricas operacionais quantitativas: uma métrica de simetria S, uma métrica de continuidade de contorno C e uma métrica de conexão e estrutura L. Aplique essas métricas uniformemente à área da roda, área dianteira e área traseira.
   2. Aceite uma região somente quando todas as métricas atingirem os limites predefinidos. Se uma métrica falhar dentro de uma faixa tolerável, expanda o retorno sobre a investidura e reavalie. Se duas ou mais métricas falharem, marque a região como pouco confiável.
10. Análise de precisão das características por região de rodas
    1. Posto operacional com vista frontal
       1. Calcule a métrica de simetria:
          (15)
          onde nL e nR denotam as contagens dos cantos do lado esquerdo e direito.
       2. Aceite a região se S ≥ 0,85. Como mostrado na Figura 5A, a roda apresenta uma forma circular com simetria, e os pontos de canto Harris ao longo da circunferência formam um padrão simétrico. Então, anote toda a área da roda.
       3. Se 0,70 ≤ S<0,85, expanda o ROl em 10-20 pixels e repita a avaliação para permitir que mais características reais retornem à área de computação, e então reavalie. Como mostrado na Figura 5D, ocorre oclusão parcial da roda, então o intervalo de corte deve ser ampliado para capturar mais características da Ebike para avaliação.
       4. Se for S<0,70, rotule a região como não confiável. Como mostrado na Figura 5G, a forma circular é perturbada; exclua essa região da anotação.
    2. Ponto de controle operacional com vista lateral
       1. Meça a continuidade do contorno usando:
          (16)
       2. Aceite quando C ≥ 0,75. Como mostrado na Figura 5B, a razão entre o comprimento contínuo real do arco e o comprimento esperado atende aos requisitos, o contorno se encaixa totalmente na borda e não há quebra óbvia.
       3. Se 0,55 ≤ C < 0,75, refine a extração de contorno e verifique novamente. Como mostrado na Figura 5E, a razão de corrente entre o comprimento contínuo do arco e o comprimento esperado do arco está na faixa crítica; É necessário ajustar o limiar do algoritmo de extração para tornar o contorno mais completo.
       4. Se C < 0,55, rejeite a região devido à continuidade geométrica insuficiente. Como mostrado na Figura 5H, os requisitos de análise não podem ser atendidos.
    3. Ponto de controle operacional com vista superior
       1. Avalie a conectividade estrutural usando:
          (17)
       2. Aceite quando L ≥ 0,70. Como mostrado na Figura 5C, o desvio entre a distância observada e a distância esperada é efetivamente deslocado, a conectividade estrutural atende aos requisitos e a conexão de posição relativa entre o veículo e o ambiente do elevador está completa.
       3. Se L < 0,70, expanda o ROI e reavalie. Como mostrado na Figura 5F, o desvio de corrente entre a distância observada e a distância esperada é relativamente grande; É necessário expandir o escopo da análise e incluir mais estruturas ao redor para melhorar a precisão da avaliação da conectividade.
       4. Se a conectividade continuar inconsistente, classifique a região como não confiável. Como mostrado na Figura 5I, não pode ser usado como uma área de análise eficaz.
11. Análise de precisão das características da área frontal
    1. Para a avaliação de precisão de características da área frontal do EBike, siga o arcabouço unificado baseado em regras definido na Seção 2.10, incluindo avaliação de simetria sob a vista frontal usando a métrica S conforme definida na Equação 15, avaliação de continuidade de contorno na vista lateral usando a métrica C conforme definida na Equação 16, e validação de conectividade estrutural na visão superior usando a métrica L conforme definido na Equação 17.
    2. Devido à variabilidade geométrica e à frequente oclusão parcial na área frontal, adota-se limiares moderadamente relaxados em comparação com a região da roda. Uma região de área frontal é aceita quando S ≥ 0,80, C ≥ 0,70 e L ≥ 0,65. Como ilustrado na Figura 6A-C, regiões que atendem a esses critérios exibem distribuições equilibradas de características esquerda-direita, contornos coerentes e conectividade estrutural estável.
    3. Se alguma métrica se enquadrar na faixa intermediária especificada na Seção 2.10, expanda a região de interesse e reavalie para incorporar características contextuais adicionais, conforme mostrado na Figura 6D-F. Regiões que não atendem aos critérios mínimos após reavaliação são classificadas como não confiáveis, como ilustrado na Figura 6G-I.
12. Análise de Precisão de Características na Área Traseira
    1. Para a análise de precisão das características da área traseira, siga o protocolo de avaliação definido na Seção 2.10, empregando as métricas S conforme definidas na Equação 15, C como definidas na Equação 16 e L conforme definido na Equação 17 nas vistas frontal, lateral e superior, respectivamente.
    2. A área traseira é mais suscetível à oclusão causada por passageiros, objetos carregados ou estruturas de elevadores. Portanto, aplique condições de rejeição mais rigorosas para evitar anotações não confiáveis. Uma região de área traseira é aceita quando S ≥ 0,75, C ≥ 0,70 e L ≥ 0,65. Casos representativos aceitos com simetria suficiente, continuidade de contorno e conectividade são mostrados na Figura 7A-C.
    3. Para regiões com valores de métrica borderline, realize expansão e reavaliação do ROI, conforme ilustrado na Figura 7D-F. Se as relações geométricas permanecerem ambíguas ou as métricas não atenderem aos critérios de aceitação, marque a região como não confiável, como mostrado na Figura 7G-I.
13. Análise de Precisão das Características da Área Traseira
    1. Para a análise de precisão das características da área traseira, siga o protocolo de avaliação definido na Seção 2.10, usando as mesmas métricas S definidas na Equação 15, C como definidas na Equação 16 e L definidas na Equação 17 sob pontos de vista correspondentes.
    2. Comparada à área frontal, a parte traseira é mais suscetível à oclusão causada por passageiros, objetos carregados e estruturas internas de elevadores. Portanto, aplique critérios de rejeição um pouco mais rigorosos para evitar anotações pouco confiáveis. Uma região de área traseira é aceita quando S ≥ 0,75, C ≥ 0,70 e L ≥ 0,65. Como mostrado na Figura 7A-C, regiões aceitas mantêm simetria suficiente, coerência de contorno e conectividade estrutural.
    3. Para regiões com valores de métricas borderline, expanda e reavalie o ROI seguindo a Seção 2.10, conforme ilustrado na Figura 7D-F. Se a consistência geométrica permanecer insuficiente após a reavaliação, marque a região como não confiável, como mostrado na Figura 7G-I.
14. Implementação do pipeline
    1. Estrutura de arquivos e pastas: A implementação segue uma estrutura modular de diretórios que separa detecção, extração local de características e julgamento por anotação. Veja a organização das pastas representativas mostrada abaixo. Armazene todos os resultados intermediários em subpastas dedicadas para permitir a inspeção independente de cada etapa de processamento.
       project_root/
       │
       ├── data/
       │ ├── imagens/
       │ │ │ ├── trem/
       │ │ │ ├── Val/
       │ │ └── teste/
       │ └── Anotações/
       │
       ├── detecção/
       │ ├── detect_ebike.py
       │ └── yolov10_config.yaml
       │
       ├── ROI/
       │ ├── crop_roi.py
       │ └── cropped_images/
       │
       ├── Harris/
       │ ├── harris_corner.py
       │ └── corner_visualization/
       │
       ├── chunk_annotation/
       │ ├── region_partition.py
       │ ├── validity_judgment.py
       │ └── final_annotations/
       │
       └── configs/
       └── thresholds.yaml
    2. Pipeline de execução e exemplos de linhas de comando
       1. Detecção EBike e localização de ROI: Localize regiões EBike usando um modelo pré-treinado de detecção de objetos. Armazene os resultados da detecção como coordenadas de caixa delimitadora.
          Detecção/detect_ebike.py em Python \
          --dados de entrada/imagens/teste/ \
          --ROI/detections.json
       2. Recorte de ROI: Use as caixas delimitadoras detectadas para recortar regiões EBike a partir das imagens originais.
          ROI/crop_roi.py em Python \
          --detecções ROI/detections.json \
          --imagens dados/imagens/teste/ \
          --ROI/cropped_images/
          Salve cada imagem recortada usando o formato de nomeação: imageID_roi_xmin_ymin_xmax_ymax.jpg
       3. Extração de canto Harris: Aplique detecção de canto Harris a cada ROI cortado após a conversão em escala de cinza. Salve mapas de resposta de cantos e sobreposições visuais para inspeção.
          Python Harris/harris_corner.py \
          --retorno de entrada / cropped_images/ \
          --saída harris/corner_visualization/ \
          --config configs/thresholds.yaml
       4. Partição grosseira e anotação em blocos: Dividir regiões locais de características em roda, área dianteira e área traseira com base na distribuição espacial dos pontos de canto. Aplicar o julgamento de validade usando critérios geométricos e baseados em características.
          Python chunk_annotation/region_partition.py \
          --encurralam Harris/corner_visualization/ \
          --saída chunk_annotation/final_annotations/
    3. Saídas intermediárias esperadas e checkpoints visuais: Salve as saídas intermediárias produzidas por cada etapa de processamento que servem como checkpoints visuais. Essas saídas intermediárias permitem a verificação passo a passo da localização do ROI, qualidade da extração de cantos, particionamento regional e decisões finais de anotação.
       1. Saída do corte de ROI: Salve imagens EBike recortadas em ROI/cropped_images/. Cada imagem contém uma única região EBike extraída do quadro original.
       2. Visualização de canto Harris: Salve sobreposições de canto em Harris/corner_visualization/. Para regiões válidas das rodas, um conjunto denso de pontos de canto é observável ao longo da estrutura circular do bordo. Regiões com respostas de canto insuficientes são identificáveis neste estágio.
       3. Resultados da partição de região: Visualize as regiões divididas (roda, área dianteira, área traseira) de forma independente. Mantêm apenas regiões que atendem a critérios de validade pré-definidos (por exemplo, densidade suficiente de cantos e consistência geométrica).
       4. Saída final da anotação: Armazene as regiões aceitas em chunk_annotation/final_annotations/ como arquivos de anotação estruturados. Exclua regiões que falhem no julgamento de validade e não as propague para estágios subsequentes.
          NOTA: Todos os limiares usados para detecção de cantos e julgamento de validade regional são centralizados em arquivos de configuração. O pipeline opera com entradas de quadro único sem dependência temporal, permitindo que os resultados sejam reproduzidos independentemente para cada imagem. Dadas imagens de entrada, arquivos de configuração e ordem de execução idênticos, as saídas intermediárias geradas e as anotações finais permanecem determinísticas.
15. Etapas de finalização e liberação do conjunto de dados
    NOTA: Para garantir que o protocolo termine com um endpoint claro e reproduzível, uma etapa de finalização é definida para consolidar o salvamento de anotações, validação de qualidade, empacotamento do conjunto de dados e documentação de versões.
    1. Salvando as anotações finais: Após o julgamento de validade da região, salve todas as anotações aceitas em chunk_annotation/final_annotations/ usando o formato de texto YOLO, com um arquivo de anotação correspondente a cada imagem. Mantenha apenas regiões que satisfazem os critérios geométricos e baseados em características pré-definidos no conjunto final de anotações e exclua regiões rejeitadas ou não confiáveis do uso posterior.
    2. Validação da qualidade da anotação: Valide a qualidade final da anotação reaplicando os mesmos critérios de validade usados durante a avaliação da região, incluindo simetria, continuidade de contorno e métricas de conectividade estrutural. Remova anotações que não atendam a esses critérios durante essa etapa de verificação, garantindo consistência entre a geração de anotações e o controle de qualidade.
    3. Empacotamento do conjunto de dados: Após a validação, organize imagens e anotações em divisões fixas de treinamento, validação e teste de acordo com a partição definida do conjunto de dados. A estrutura de diretórios e as listas de arquivos são congeladas nessa etapa, e o conjunto de dados empacotado é preparado para treinamento e avaliação sem modificações adicionais.
    4. Documentação de versões e seed: Arquivos de configuração, incluindo parâmetros de detecção de cantos e limiares de validade de região, são preservados junto com o conjunto de dados empacotado. Use sementes aleatórias para divisão de dados, corrija a execução de algoritmos e registro. Além disso, documente as versões dos pesos dos modelos, arquivos de configuração e ferramentas de anotação. Dados de entrada, arquivos de configuração e sementes registradas idênticos, as anotações finais e as divisões do conjunto de dados permanecem determinísticas.

3. Ampliação de dados

NOTA: Um estudo anterior mostrou que conjuntos de dados de treinamento sem pré-processamento suficiente e aumento de dados frequentemente resultam em desempenho degradado^{do modelo 22}. Para enfrentar esses desafios, foi seguido o seguinte procedimento.

1. Iluminação
   1. Simule variações de iluminação dentro dos elevadores para lidar com mudanças frequentes de iluminação, ajustando o fator de brilho na faixa de 0,6–1,4, com probabilidade de 0,8.
   2. Aplique ajustes de intensidade de luz para transitar de ambientes claros para ambientes escuros, simulando o desfoque induzido pelo movimento do EBike. Use uma probabilidade de 0,7 para essa operação.
   3. Gerar amostras aumentadas ajustando as condições de iluminação, garantindo visibilidade estável sob diferentes níveis de iluminação.
   4. Aplique essas operações de iluminação offline e armazene-as para processamento subsequente. Defina a semente aleatória em 42 para garantir a reprodutibilidade do processo de aumento.
2. Oclusão
   1. Crie cenários de oclusão sintética para refletir as condições lotadas dos elevadores. Aplique máscaras de oclusão (por exemplo, silhuetas humanas, blocos de objetos) com probabilidade de 0,6.
   2. Aplique oclusões em mosaico para simular obstrução parcial dos EBikes durante a entrada e saída do elevador. Use percentuais de oclusão de 30%, 50% ou 70% e garanta que a oclusão seja aplicada aleatoriamente em qualquer quadrante (superior, baixo, esquerda, direita) da imagem.
   3. Incorpore amostras ocluídas para melhorar a robustez e estabilidade da detecção sob visibilidade parcial, garantindo que pelo menos um componente chave (por exemplo, roda, área dianteira, área traseira) permaneça visível.
   4. Realize o aumento de oclusão offline e valide as amostras para garantir que as características essenciais do EBike sejam mantidas. Defina a semente aleatória para 42 para reprodutibilidade.
3. Pontos de vista
   1. Ajuste ângulos de visão dentro de uma faixa pré-definida de ±15° para simular diversos ângulos de câmera em diferentes ambientes de elevador. Essa operação deve ser aplicada com uma probabilidade de 0,7.
   2. Aplique transformações de perspectiva com coeficientes de distorção entre 0,0 e 0,2 para replicar diferentes posicionamentos da câmera (por exemplo, pontos de vista elevados, laterais e oblíquos).
   3. Escale e desloque a região EBike em 0,8–1,2 vezes para simular mudanças na distância da câmera ao alvo. Aplique essa transformação com probabilidade de 0,8.
   4. Confirme que todas as transformações de pontos de vista mantêm a integridade geométrica do EBike, e que nenhuma característica crítica está distorcida.
   5. Realize transformações de ponto de vista offline e armazene as imagens aumentadas. Defina a semente aleatória para 42 para reprodutibilidade.
4. Aprimoramento
   1. Aplique escala de cinza a 30% das imagens com probabilidade de 0,3 para introduzir variações impulsionadas pela luminância e aumentar a robustez do modelo em condições de baixa luz.
   2. Use equalização histograma em 20% das amostras para aumentar o contraste e a visibilidade das principais características do EBike, sob condições de iluminação desafiadoras.
   3. Combine estratégias de iluminação, oclusão e aumento de pontos de vista sequencialmente para gerar amostras de alta diversidade. Use probabilidades de 0,9 para esse processo em múltiplas etapas.
   4. Revise as amostras aumentadas para garantir que mantenham a integridade estrutural do EBike antes de integrá-las ao conjunto de dados final.
   5. Realize operações de aprimoramento offline e armazene as imagens para uso subsequente no treinamento. Defina a semente aleatória para 42 para garantir a reprodutibilidade de todo o processo de aumento.

4. Ambiente experimental

1. Configure o ambiente experimental para garantir eficiência e estabilidade computacional durante o treinamento e testes do modelo.
2. Use um processador multi-core moderno, uma GPU dedicada para aceleração de aprendizado profundo, memória suficiente e um sistema de armazenamento estável para suportar o processamento de dados de imagens EBike em grande escala.
3. Combine o ambiente de software com a configuração do hardware instalando versões compatíveis do framework de deep learning, drivers de GPU e bibliotecas de aceleração para otimizar a velocidade de treinamento e o desempenho da inferência.
4. Consulte as Tabelas 5, Tabela 6, Tabela 7 e Tabela 8 para especificações detalhadas de hardware, ambiente de software, dependências de modelos e configurações de equipamentos de imagem para garantir a reprodutibilidade.
5. Sobrecarga computacional e análise em tempo de execução
   1. Analise o overhead computacional associado à estratégia de anotação em blocos em termos de complexidade de anotação e eficiência em tempo de execução. Comparada à anotação holística, a anotação em blocos representa um EBike usando regiões de nível de parte, incluindo a área da roda, área dianteira e traseira. Anote essas regiões apenas quando estiverem visíveis e satisfizeram os critérios de validade geométricos e baseados em características, em vez de serem aplicadas para todas as instâncias.
      NOTA: Do ponto de vista da anotação, o aumento na contagem de rótulos permanece limitado e estruturalmente restrito. Uma instância EBike contribui no máximo com três anotações em nível de parte, enquanto menos regiões são anotadas em casos de oclusão parcial (por exemplo, quando apenas a área frontal é visível). Como resultado, o número de rótulos por imagem varia com a visibilidade da cena e as condições de oclusão, e a contagem média de rótulos aumenta moderadamente, conforme resumido na Tabela 9. Esse design equilibra representação local de características com complexidade de anotação. Do ponto de vista da inferência, a anotação em blocos não introduz um aumento proporcional no custo de pós-processamento. Embora a detecção em nível parcial possa gerar caixas delimitadoras candidatas adicionais, as detecções são agregadas no nível do objeto EBike para avaliação final, e o filtragem baseada em confiança é aplicada antes do pós-processamento. Essa estratégia condicional de anotação baseada em visibilidade limita candidatos desnecessários à detecção. Para modelos como o YOLOv10, que reduzem a dependência da supressão tradicional não máxima, a sobrecarga adicional introduzida pelo chunking permanece limitada na prática.
   2. Avalie o desempenho em tempo de execução com uma resolução típica de vigilância de elevador de 640 x 480 pixels usando uma GPU NVIDIA RTX 3090. Como mostrado na Tabela 9, a anotação em blocos mantém a capacidade de inferência em tempo real, com apenas uma pequena redução nos quadros por segundo em comparação com a anotação holística. Esses resultados indicam que a estratégia de anotação em blocos continua adequada para monitoramento EBike em tempo real em ambientes de elevador.

5. Métricas de avaliação

NOTA: Embora anotações em blocos sejam usadas durante o treinamento e a inferência, a avaliação é realizada no nível do objeto da bicicleta elétrica. As detecções em nível parcial são agregadas em uma única decisão de bicicleta elétrica de acordo com as regras definidas na Seção 2.4 e 3.

1. Aplique métricas padrão de avaliação comumente usadas em pesquisas de detecção de^{alvos 27} para avaliar de forma abrangente o desempenho de algoritmos em cenários de detecção de oclusão do EBike.
2. Precisão de detecção (P)
   1. Use a Equação (8) para calcular a precisão da detecção, que mede a proporção de EBikes corretamente identificados entre todas as amostras positivas previstas.
      (18)
      onde TP denota verdadeiros positivos e FP denota falsos positivos.
   2. Defina o limite de IoU para 0,5 para determinar se as caixas delimitadoras previstas correspondem às caixas de verdade fundamental.
   3. Use precisão para avaliar a capacidade do modelo de reduzir alarmes desnecessários causados por identificação equivocada de objetos não EBike.
   4. Comando(s) para gerar essa métrica: Use o script de avaliação relevante (por exemplo, evaluate_precision.py). Salve os resultados em precision_results.txt para análise posterior.
3. Taxa de recall (R)
   1. Use a Equação (9) para determinar quão eficazmente o modelo identifica EBikes em ambientes de elevador, especialmente quando a oclusão afeta a visibilidade.
      (19)
      onde FN representa falsos negativos.
   2. Defina o limiar de IoU em 0,5 para avaliar a precisão das detecções. Use o recall para avaliar a capacidade do modelo de minimizar detecções perdidas, garantindo que os EBikes permaneçam identificados com precisão mesmo quando parcialmente obstruídos.
   3. Use(s) comando(s) para gerar esta métrica: execute evaluate_recall.py. O save resulta em recall_results.txt.
      NOTA: Detecções perdidas são críticas em cenários de elevadores lotados e devem ser minimizadas para segurança. Detecções perdidas representam preocupações de segurança em situações de elevadores lotados e devem ser minimizadas.
4. Pontuação F1
   1. Calcule a pontuação F1 usando a Equação (10) para obter uma representação balanceada da precisão e do desempenho de recordação do modelo.
      (20)
   2. Use a pontuação F1 para fornecer uma avaliação holística, especialmente em cenários onde precisão e recordação apresentam concessões sob diferentes níveis de oclusão.
   3. Use Comando(s) para gerar esta métrica: Execute evaluate_f1.py para calcular a pontuação F1. Salvamento resulta em f1_score_results.txt.
5. Precisão média média (mAP)
   1. Use a Equação (11) para medir a capacidade geral de detecção do modelo em diferentes aparências do EBike, condições de oclusão e variações de iluminação.
      (21)
      Onde AP_c denota a precisão média da categoria c e C é o número de categorias.
   2. Defina o limiar de IoU para 0,5 para avaliar o desempenho do modelo em diferentes categorias.
   3. Use mAP@0.5 para determinar quão bem o modelo se adapta a diversas condições visuais em configurações de elevador, garantindo uma avaliação abrangente do desempenho de detecção.
   4. Use o(s) seguinte(s) comando(s) para gerar essa métrica: execute evaluate_map.py com os parâmetros especificados. O save resulta em map_results.txt.

Results

Comparação entre anotação holística e anotação em blocos em conjunto de dados públicos

A avaliação foi realizada com base em um conjunto de dados público que inclui 210 imagens EBike coletadas de cenas abertas de vigilância e monitoramento de tráfego, com diversas condições de iluminação, cores EBike e diferentes graus de oclusão. Cada imagem foi anotada usando tanto o método holístico (caixa delimitadora única) quanto o método proposto em blo...

Discussion

Passos críticos

Um passo crítico nesse protocolo é o método de anotação em blocos baseado em características locais, onde os EBikes são segmentados em áreas de roda, frente e traseira. Essa divisão garante que modelos de detecção possam aprender representações detalhadas, que se mostraram essenciais em ambientes de elevadores com forte oclusão. Por exemplo, o YOLOv5 treinado com anotações em blocos no conjunto de dados EBike-DET melhorou seu ...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
h5py (SSD)	Grupo HDF	2.10.0
matplotlib (SSD)	Comunidade Matplotlib	3.1.2
matplotlib (YOLOv10)	Comunidade Matplotlib	3.9.0
matplotlib (YOLOv5)	Comunidade Matplotlib	3.8.4
matplotlib (YOLOv5+SAHI)	Comunidade Matplotlib	3.8.4
matplotlib (YOLOv8-Seg)	Comunidade Matplotlib	3.9.0
numpy (SSD)	Comunidade NumPy	1.17.0
numpy (YOLOv10)	Comunidade NumPy	1.26.3
numpy (YOLOv5)	Comunidade NumPy	1.26.4
numpy (YOLOv5+SAHI)	Comunidade NumPy	1.26.4
numpy (YOLOv8-Seg)	Comunidade NumPy	1.26.3
onnx (YOLOv10)	ONNX	1.14.0
onnx (YOLOv5)	ONNX	1.14.0
onnx (YOLOv5+SAHI)	ONNX	1.14.0
onnxruntime (YOLOv10)	Microsoft	1.15.1
onnxruntime (YOLOv5)	Microsoft	1.15.1
onnxruntime (YOLOv5+SAHI)	Microsoft	1.15.1
opencv-python (SSD)	OpenCV	4.1.2.30
opencv-python (YOLOv10)	OpenCV	4.9.0.80
opencv-python (YOLOv5)	OpenCV	4.9.0.80
opencv-python (YOLOv5+SAHI)	OpenCV	4.9.0.80
opencv-python (YOLOv8-Seg)	OpenCV	4.9.0.80
Pandas (YOLOv10)	Comunidade Pandas	2.2.2
Pandas (YOLOv5)	Comunidade Pandas	2.2.2
pandas (YOLOv5+SAHI)	Comunidade Pandas	2.2.2
Pandas (YOLOv8-Seg)	Comunidade Pandas	2.2.2
Travesseiro (SSD)	Desenvolvedores de Travesseiros	8.2.0
Travesseiro (YOLOv10)	Desenvolvedores de Travesseiros	10.2.0
Travesseiro (YOLOv5)	Desenvolvedores de Travesseiros	8.5.0
Travesseiro (YOLOv5+SAHI)	Desenvolvedores de Travesseiros	8.5.0
Travesseiro (YOLOv8-Seg)	Desenvolvedores de Travesseiros	10.2.0
psutil (YOLOv10)	Desenvolvedores Psutil	5.9.8
psutil (YOLOv5)	Desenvolvedores Psutil	5.9.8
psutil (YOLOv5+SAHI)	Desenvolvedores Psutil	5.9.8
pycocotools (YOLOv10)	Consórcio COCO	2.0.7
pycocotools (YOLOv5)	Consórcio COCO	2.0.7
pycocotools (YOLOv5+SAHI)	Consórcio COCO	2.0.7
pycocotools (YOLOv8-Seg)	Consórcio COCO	2.0.7
py-cpuinfo (YOLOv10)	Desenvolvedores Py-CPUInfo	9.0.0
py-cpuinfo (YOLOv5)	Desenvolvedores Py-CPUInfo	9.0.0
py-cpuinfo (YOLOv5+SAHI)	Desenvolvedores Py-CPUInfo	9.0.0
PyYAML (YOLOv10)	PyYAML	6.0.1
PyYAML (YOLOv5)	PyYAML	6.0.1
PyYAML (YOLOv5+SAHI)	PyYAML	6.0.1
PyYAML (YOLOv8-Seg)	PyYAML	6.0.1
solicitações (SSD)	Requisições em Python	2.27.1
solicitações (YOLOv10)	Requisições em Python	2.32.3
pedidos (YOLOv5)	Requisições em Python	2.31.0
solicitações (YOLOv5+SAHI)	Requisições em Python	2.31.0
SAHI	Desenvolvedores SAHI	0.3.4+
scipy (SSD)	Comunidade SciPy	1.2.1
scipy (YOLOv10)	Comunidade SciPy	1.13.0
scipy (YOLOv5)	Comunidade SciPy	1.13.0
scipy (YOLOv5+SAHI)	Comunidade SciPy	1.13.0
scipy (YOLOv8-Seg)	Comunidade SciPy	1.13.0
Seaborn (YOLOv10)	Desenvolvedores Seaborn	0.13.2
seaborn (YOLOv5)	Desenvolvedores Seaborn	0.13.2
seaborn (YOLOv5+SAHI)	Desenvolvedores Seaborn	0.13.2
seaborn (YOLOv8-Seg)	Desenvolvedores Seaborn	0.13.2
bem formado (YOLOv5+SAHI)	Desenvolvedores Shapely	2.0.4
SSD	Caffe/Autores Originais de SSD	Python 3.6.13+; PyTorch 1.2.0+; CUDA 10.0; CUDNN 7.4.1
Placa tensor (SSD)	Google	2.10.1
Tensorboard (YOLOv5)	Google	2.16.2
Tensorboard (YOLOv5+SAHI)	Google	2.16.2
Visão de torcha (SSD)	PyTorch	0.4.0
Torchvision (YOLOv10)	PyTorch	0.15.2
Torchvision (YOLOv5)	PyTorch	0.17.2
torchvision (YOLOv5+SAHI)	PyTorch	0.17.2
torchvision (YOLOv8-Seg)	PyTorch	0.16.1+
tqdm (SSD)	Desenvolvedores TQDM	4.60.0
tqdm (YOLOv10)	Desenvolvedores TQDM	4.66.4
tqdm (YOLOv5)	Desenvolvedores TQDM	4.66.2
tqdm (YOLOv5+SAHI)	Desenvolvedores TQDM	4.66.2
Ultralíticos (YOLOv8-Seg)	Ultralíticos	8.2.99+
YOLOv10	Equipe YOLOv10	Python 3.8.0+; PyTorch 2.0.1+cu118; CUDA 11,8; CUDNN 8.7
YOLOv5	Ultralíticos	Python 3.8.0+; PyTorch 2.2.2+; CUDA 11.2; CUDNN 8.1.2
YOLOv5 + SAHI	Ultralytics + Desenvolvedores SAHI	Python 3.8.0+; PyTorch 2.2.2+; CUDA 11.2; CUDNN 8.1.2
YOLOv8-Seg	Ultralíticos	Python 3.8.0+; PyTorch 2.0.1+cu118; CUDA 11,8; CUDNN 8.6.0+