Réseaux de neurones graphiques à attention linéaire à fentes gâchées pour la recommandation basée sur les sessions

Résumé

Cet article propose un modèle nouveau, les réseaux neuronaux graphiques à attention linéaire à emplacements avec porte pour la recommandation basée sur des sessions, qui adopte une attention linéaire à emplacements avec porte basée sur un graphe de session doublement construit. Ce modèle améliore la précision et l'efficacité des recommandations et surpasse l'état de l'art sur trois jeux de données publics.

Résumé

Les systèmes de recommandation basés sur des sessions (SBR) visent à prédire l'élément suivant avec lequel un utilisateur est susceptible d'interagir, en se basant sur la séquence de comportements observée au cours de la session en cours. Les approches récentes exploitant le mécanisme d'attention du modèle Transformer (par exemple, GC-SAN) ont montré des performances supérieures par rapport aux méthodes traditionnelles ; toutefois, elles souffrent d'une charge de calcul élevée et d'une complexité spatiale importante en raison du coût quadratique de l'auto-attention. Pour pallier ces limitations, un nouveau modèle appelé GSLA4Rec (réseaux neuronaux graphiques à attention linéaire à emplacements avec porte logique pour la recommandation basée sur les sessions) est proposé, intégrant une attention linéaire combinée à un mécanisme de porte apprenable et à une stratégie de mise à jour de la mémoire basée sur des emplacements, inspirée de l'attention à emplacements avec porte. Plus précisément, GSLA4Rec construit d'abord deux graphes : un graphe de session permettant de capturer les transitions entre éléments au sein d'une même session, et un graphe global de voisinage destiné à encoder des signaux collaboratifs entre sessions, modélisant ainsi des informations contextuelles locales et globales. L'approche proposée repose sur le mécanisme d'attention linéaire à emplacements avec porte, qui (1) utilise des unités de porte pour atténuer le bruit provenant d'interactions non pertinentes ou redondantes dans les sessions longues, (2) exploite des unités d'emplacement pour stocker dynamiquement et mettre à jour des représentations compactes de la session—réduisant ainsi la surcharge mémoire, et (3) remplace l'auto-attention par une attention linéaire afin d'atteindre une complexité temporelle linéaire. Ensemble, ces composants améliorent significativement la précision prédictive et l'efficacité du modèle pour capturer les intérêts évolutifs des utilisateurs. Des expériences approfondies menées sur plusieurs jeux de données de référence publics, notamment Diginetica, Tmall et NowPlaying, montrent que GSLA4Rec surpasse systématiquement les méthodes SBR à l'état de l'art en matière de performance de recommandation, ce qui valide l'efficacité du mécanisme GSLA.

Introduction

Avec le développement rapide des services en ligne (tels que le commerce électronique, les plateformes de courtes vidéos et les fils d'actualité), le problème de la surcharge d'information est devenu de plus en plus marqué et grave. Les systèmes de recommandation^1,2 fournissent des services de diffusion d'informations personnalisés et précis en analysant en profondeur les données comportementales des utilisateurs. Toutefois, dans de nombreuses applications pratiques caractérisées par un accès anonyme, des utilisateurs non connectés, la protection de la vie privée et des durées d'interaction courtes, les méthodes traditionnelles de recommandation telles que le filtrage collaboratif³ et la factorisation de matrices^4,5 limitent fortement l'applicabilité des algorithmes de recommandation. Pour relever ces défis, la recommandation basée sur les sessions (SBR)^6,7,8,9 a émergé. La SBR se concentre sur les données de séquence d'interactions au sein de la session en cours de l'utilisateur afin de prédire le prochain point d'intérêt potentiel. Ce paradigme évite non seulement la dépendance aux données historiques à long terme des utilisateurs, mais capte également avec acuité les changements dynamiques d'intérêts à court terme, démontrant ainsi une valeur d'application unique dans des scénarios tels que le commerce électronique, les courtes vidéos, la recommandation musicale, etc.

Les premières méthodes reposaient principalement sur les chaînes de Markov^5,10,11,12 modéliser les probabilités de transition entre les éléments dans les séquences de sessions. Bien que ces méthodes permettent de capturer les dépendances de premier ordre dans les séquences, la caractérisation des dépendances complexes d'ordre supérieur et des dynamiques non linéaires des intérêts des utilisateurs reste limitée, ce qui restreint l'efficacité des modèles dans des scénarios complexes. Avec le développement de la technologie d'apprentissage profond^13,14, les méthodes basées sur les réseaux neuronaux ont été largement appliquées dans le SBR. GRU4REC¹⁵a été le premier à appliquer des réseaux neuronaux récurrents¹⁴ (RNN) à la recommandation basée sur des sessions, en capturant efficacement les dépendances temporelles dans les séquences ; NARM¹⁶a encore amélioré la capacité d'analyse des centres d'intérêt des utilisateurs principaux en intégrant des mécanismes d'attention aux RNN ; STAMP¹⁷ ont utilisé des perceptrons multicouches (MLP) combinés à des mécanismes d'attention afin de se concentrer sur la capture des intérêts à court terme des utilisateurs. Bien que ces méthodes aient permis des progrès dans la modélisation de séquences, elles rencontraient encore des difficultés, telles que la gestion des dépendances à long terme et la sensibilité au bruit.

Ces dernières années, les réseaux neuronaux graphiques (GNNs)^18,19,20,21 ont apporté une nouvelle perspective à la tâche de recommandation basée sur les sessions (SBR). Des modèles tels que SR-GNN²² modélisent explicitement les relations complexes de transition en construisant un graphe de session (SG), obtenant ainsi des améliorations substantielles en termes de précision des recommandations. Toutefois, la plupart des méthodes existantes basées sur les GNN effectuent la construction du graphe et le passage de messages au sein de chaque session individuelle, sans exploiter efficacement les informations de corrélation globale entre les éléments. Pour résoudre ce problème, GCE-GNN²³ intègre des sémantiques globales et des graphes de session à l’aide d’un mécanisme d’auto-attention afin de pondérer de manière adaptative l’importance des éléments en construisant un graphe global de voisinage (NGG), ce qui permet d’obtenir des améliorations significatives des performances. Néanmoins, les méthodes existantes basées sur les GNN font toujours face à deux principaux obstacles : premièrement, la complexité du mécanisme d’auto-attention augmente quadratiquement avec la longueur de la session, entraînant un coût computationnel élevé lors du traitement de sessions longues ; deuxièmement, les GNN traditionnels ne disposent pas de la capacité de réguler dynamiquement l’importance des éléments durant l’agrégation des informations, ce qui rend difficile la distinction entre les comportements bruités et les comportements critiques, affectant ainsi la qualité des représentations.

Pour relever ces défis, cet article propose un réseau neuronal graphique à attention linéaire par slot avec porte pour la recommandation basée sur des sessions (GSLA4Rec) : (1) Conception d'un mécanisme de slot avec porte qui filtre le bruit par une fonction de seuil et stocke les informations sémantiques clés dans des emplacements de session, améliorant ainsi la robustesse du modèle et réduisant la surcharge de stockage ; (2) Introduction du mécanisme d'attention linéaire qui réduit la complexité calculatoire de O(N²) à O(N) où N est la longueur de la session), tout en conservant la capacité à modéliser les dépendances à longue distance ; (3) Réalisation d'expériences approfondies sur trois jeux de données publics de référence (Diginetica, Tmall et NowPlaying), montrant que GSLA4Rec surpasse nettement les méthodes SOTA existantes, en particulier en démontrant des avantages marqués dans les scénarios de sessions longues et éparses.

Protocole

Expérience de recommandation basée sur des sessions

La recommandation basée sur des sessions peut être examinée selon trois perspectives : SBR, l'apprentissage du contexte global et GSLA (voir le Tableau des matériaux). Aucun participant humain ni animal n'a été impliqué dans cette étude. Tous les jeux de données expérimentaux utilisés dans ce travail sont accessibles publiquement et fournis sous forme de Fichier supplémentaire : GSLA4Rec. zip.

Recommandation basée sur des sessions

La recommandation basée sur des sessions (SBR) était un système d'intelligence artificielle interagissant avec les utilisateurs au moyen de dialogues naturels multiphases afin de comprendre dynamiquement leurs préférences et de fournir des recommandations personnalisées. La SBR a évolué à partir de méthodes traditionnelles vers des approches fondées sur l'apprentissage profond et des approches hybrides, puis s'est orientée vers des solutions basées sur de grands modèles linguistiques (LLM).

Recommandation traditionnelle basée sur des sessions

L'approche traditionnelle de la recommandation basée sur les séquences (SBR) était généralement représentée par des méthodes fondées sur les chaînes de Markov et le filtrage collaboratif. La première générait des recommandations en décomposant des matrices de transition probabilistes spécifiques à chaque utilisateur. Par exemple, Guy Shani²⁴ a proposé une méthode de recommandation fondée sur le processus de décision markovien, produisant des recommandations par décomposition de matrices correspondantes ; Wanrong Gu²⁵ a amélioré les performances de recommandation en intégrant les chaînes de Markov avec les intervalles de temps d'achat. La seconde générait des recommandations en extrayant des relations séquentielles cachées entre les éléments interactifs adjacents par factorisation matricielle. Par exemple, Sarwar B¹ a calculé la similarité entre éléments en se basant sur les comportements historiques des utilisateurs (tels que les notes et les clics) afin de recommander des éléments correspondant aux préférences passées des utilisateurs. Si l'utilisateur A aimait l'élément a, et que l'élément c était fortement similaire à a, le système recommandait c à A ; Rendle S⁵ a proposé FPMC, un modèle de recommandation séquentielle combinant la factorisation matricielle avec les chaînes de Markov, afin de capturer les relations séquentielles cachées entre les éléments interactifs adjacents. Toutefois, ces approches traditionnelles de SBR se concentraient sur les relations séquentielles entre éléments adjacents, ce qui rendait difficile la modélisation de relations de dépendance complexes.

Recommandation basée sur des sessions utilisant l'apprentissage profond

La recommandation basée sur des sessions par apprentissage profond a évolué à travers plusieurs étapes impliquant des réseaux neuronaux convolutifs (CNN)^26,27,28,29, des RNN et des GNN. La RBS fondée sur les CNN utilisait des opérations telles que la convolution et le regroupement (pooling) pour apprendre des représentations de chaque contexte de session, utilisées ensuite pour les recommandations suivantes. Caser³⁰ convertissait les L éléments les plus récents avec lesquels un utilisateur avait interagi en vecteurs de dimension d à l’aide d’une couche d’incorporation (embedding), formant ainsi une matrice d’incorporation traitée comme une « image » mappée dans le temps et dans l’espace latent. Elle utilisait ensuite trois types de filtres convolutifs de motifs séquentiels — au niveau ponctuel, au niveau de l’union sans saut, et au niveau de l’union avec un saut — afin d’apprendre des motifs séquentiels pour améliorer les performances de la RBS. Tuan et al.³¹ ont modélisé de manière uniforme les flux de clics de session et les caractéristiques de contenu à l’aide de noyaux de convolution 3D pour former des représentations conjointes spatio-temporelles et sémantiques.

Les RNN étaient une classe d'architectures de réseaux neuronaux spécialement conçues pour traiter des données séquentielles. L'idée fondamentale consistait à capturer les dépendances temporelles à l'aide de structures récurrentes telles que les réseaux à mémoire à long court terme (LSTM)¹³ et les unités récurrentes à seuil (GRU)³², et elles étaient largement utilisées dans des domaines tels que le traitement du langage naturel (NLP)³³, la reconnaissance vocale³⁴, la traduction automatique³⁵, les déplacements^36,37, la criminalité³⁸, et la prédiction de tendances futures³⁹ (par exemple, le trafic⁴⁰, les marchés boursiers^41,42 et la météorologie⁴³). GRU4Rec, proposé par Hidasi et al., a constitué une étape importante dans la recherche en SBR, en introduisant pour la première fois les RNN dans le SBR et en capturant les motifs comportementaux séquentiels des utilisateurs au moyen de GRU afin de fournir des recommandations personnalisées.

Les réseaux neuronaux graphiques (GNNs)⁴⁴ ont démontré une forte puissance expressive pour modéliser les relations complexes au sein des données structurées en graphes, et certains chercheurs ont introduit les GNNs pour modéliser les transitions complexes à l’intérieur ou entre des sessions. Selon les différentes architectures de modèles GNNs, les méthodes fondées sur les GNNs pour la recommandation de sessions (SBR) ont été généralement classées en réseaux neuronaux graphiques à seuil (GGNNs)⁴⁵, réseaux de convolution sur graphes (GCNs)⁴⁶ et réseaux d’attention sur graphes (GATs)⁴⁷. SR-GNN a été le premier à appliquer les GNNs à la SBR en représentant les séquences de sessions sous forme de graphes orientés et en utilisant des GGNNs pour capturer les relations complexes de transition entre articles au sein des sessions, combiné à des mécanismes d’attention afin d’obtenir l’incorporation finale de la session, améliorant ainsi les performances de recommandation. Chen L⁴⁸ a proposé un cadre GNNs à vues multiples qui combine des attributs structurés et des mots-clés non structurés pour modéliser les associations produits multidimensionnelles, améliorant ainsi la précision de la SBR. Driss E⁴⁹ a conçu un système innovant de recommandation de sessions utilisant des réseaux neuronaux graphiques en capsule pour capturer les caractéristiques complexes des articles et améliorer la précision des prédictions pour la SBR.

Les techniques d'apprentissage profond susmentionnées avaient élargi le champ de recherche du SBR et amélioré efficacement les performances, mais présentaient encore certaines limites, principalement manifestées par : 1) Pour les éléments nouvellement apparus ou les sessions très peu denses, les modèles éprouvaient des difficultés à effectuer des prédictions précises en raison du manque de contexte global ; 2) Ils ne parvenaient pas à exploiter les motifs globaux présents dans l'ensemble des sessions historiques.

Recommandation hybride basée sur des sessions

La recommandation hybride basée sur des sessions a intégré les forces de différentes techniques, telles que le filtrage collaboratif, l'apprentissage profond (Deep-Learning) et les mécanismes d'attention, afin d'améliorer les performances des systèmes de recommandation basés sur les sessions (SBR). GC-SAN⁵⁰ a incorporé un mécanisme d'auto-attention fondé sur SR-GNN pour mieux capturer les informations d'interaction des éléments importants au sein d'une session. FGNN⁵¹ a en outre agrégé les informations provenant des éléments voisins grâce à un mécanisme d'attention multi-têtes, permettant d'apprendre plusieurs relations relatives à l'élément cible. SR-HetGNN⁵² appartient aux méthodes de recommandation basée sur les sessions utilisant des graphes hétérogènes ; en introduisant différents types d'éléments (utilisateur, élément, session) et des arêtes multi-relationnelles (clic, achat, co-occurrence, association d'attributs), il construit un réseau global de connaissances, dépassant ainsi la limitation des séquences d'éléments uniques, et constitue une méthode importante pour modéliser le comportement des utilisateurs anonymes et les associations d'intérêts inter-sessions ces dernières années. KGSR-SAP⁵³ a construit un graphe de connaissances en reliant les éléments par des arêtes représentant plusieurs types de relations, afin de décrire diverses interactions utilisateur-élément, résolvant ainsi le problème de perte d'information lorsque le graphe global ne contient que des arêtes d'un seul type (interaction utilisateur-élément). Wang ZH⁵⁴ a proposé DiffSBR, un modèle de recommandation de session basé sur la diffusion. Ce modèle génère des préférences fiables pour l'élément suivant en simulant un débruitage de bruit, améliorant ainsi la modélisation des séquences dynamiques de clics des utilisateurs. Qiao ST⁵⁵ a conçu un cadre de recommandation basée sur les sessions combinant un apprentissage multi-vues des intentions et un alignement avec des grands modèles linguistiques (LLM). Cette approche exploite l'intention implicite des utilisateurs sous divers angles et utilise des modèles linguistiques pour aligner les caractéristiques sémantiques, améliorant ainsi davantage les performances de recommandation.

Contexte mondial

Pour pallier l'insuffisance des « sessions de visualisation prises isolément », les chercheurs ont compris que l'information globale pouvait être utilisée pour améliorer la capacité de représentation de la session en cours, afin de résoudre des problèmes tels que la rareté des données, le démarrage à froid et l'écart sémantique dans les systèmes traditionnels de recommandation basés sur les sessions (SBR). Parallèlement, lors de la construction du contexte global, il était nécessaire d'intégrer l'information globale dans une session unique tout en minimisant les interférences de bruit. CSRM⁵⁶ a optimisé la représentation au niveau des sessions en intégrant des informations collaboratives entre la session courante et les sessions voisines, en utilisant un encodeur de mémoire externe (OME) pour extraire l'intention collaborative à partir des informations collaboratives. CA-TCN⁵⁷ a proposé un modèle de réseau convolutif temporel prenant en compte les sessions croisées, construisant des graphes globaux et des graphes de contexte de session afin de simuler l'impact des sessions croisées sur les éléments et les sessions, tandis que le réseau convolutif temporel (TCN) élargit son champ récepteur par des convolutions dilatées, avec un nombre de couches couvrant des séquences de longueur exponentielle (champ récepteur = ), résolvant ainsi le problème de disparition du gradient des RNN. Chen⁵⁸ a proposé une méthode SBR basée sur des réseaux neuronaux hypergraphes (SR-HGNNs), qui intègre une propagation d'ordre mixte (bas ordre et haut ordre) et des mécanismes d'attention afin de résoudre le problème de sur-lissage des GNN traditionnels dans les courtes sessions et de distinguer l'importance des différents ordres de propagation, permettant ainsi de capturer plus précisément les dépendances et d'éviter les interférences de bruit. GCE-GNN a utilisé des paires d'éléments co-occurrents d'ordre multiple pour construire un graphe pondéré non orienté, en comptant les fréquences de co-occurrence des éléments afin de refléter leur importance dans la session ; AGNN-GC⁵⁹ a utilisé les relations de transition entre éléments à travers les sessions pour construire un graphe collaboratif global, en calculant les probabilités de transition des éléments dans le graphe global afin de refléter les changements d'intérêt au sein de la session ; DA-GCN⁶⁰ a utilisé le chemin le plus court pour mettre à jour la matrice d'adjacence et construire un graphe pondéré dynamique, en calculant la fréquence de co-occurrence dans le graphe global et la distance de chemin entre les éléments. Inspiré par ces travaux, cet article propose de construire un graphe global selon une méthode basée sur les voisins, c'est-à-dire en utilisant le coefficient de similarité de Jaccard pour calculer les sessions similaires, ce qui exploite non seulement l'information globale mais filtre également le bruit (en éliminant les éléments non pertinents), atteignant ainsi l'objectif de construire précisément le contexte global et de poser une base solide pour l'algorithme SBR ultérieur.

Attention linéaire à fente commandée

Les transformeurs traditionnels⁶¹ entraînent une complexité spatiotemporelle élevée en raison de la nécessité d'opérations d'attention entièrement connectées sur l'ensemble de la séquence, comme suit :

(1)

Où Q, K, V ∈ R^N×d étaient des transformations linéaires des éléments d'entrée, M = {M_ij = 1 si i ≥ j, sinon −∞} était le masque causal empêchant la fuite d'informations futures, ⊙ désignait le produit élément par élément, et f désignait la fonction d'activation softmax.

Pour obtenir une attention linéaire⁶², l'idée la plus directe consistait à supprimer la fonction d'activation softmax. Toutefois, si la fonction d'activation softmax était supprimée directement, l'attention linéaire entraînerait inévitablement certains problèmes potentiels : la perte du puissant pouvoir expressif des réseaux de neurones et l'incapacité à résoudre des problèmes complexes du monde réel.

Attention linéaire par slot avec contrôle de la mémoire limitée

En supposant que la fonction d'activation softmax doive être conservée, K et V ont été compressées séparément en K̃, Ṽ ∈ R^m×d. Du point de vue du réseau de mémoire, K̃ et Ṽ présentaient des emplacements mémoire dont la longueur augmentait avec la séquence, c'est-à-dire que le nombre d'emplacements m = N. Si m était fixe, la linéarisation était évidemment possible. Inspiré par le contrôle à mémoire bornée⁶³, chaque jeton parmi les éléments d'entrée de longueur N devait être écrit de manière concurrentielle dans m emplacements.

,, (2)

Où f était la fonction d'activation softmax et φ_i était le vecteur permettant de contrôler l'entrée effective pour le contrôle de la valeur clé k_i, comme suit.

, (3)

Ici, (φ_i)_j représentait l'intensité d'écriture du ième jeton vers le jème emplacement, obtenue à l'aide d'une fonction softmax cumulative.

Pour obtenir un calcul linéaire efficace, la formule (2) a été réécrite sous la forme de la formule (4), qui calcule ο_i à partir de q_i, k_i et v_i (éq. 4) par {ο_i|_i=1^T, q_i, k_i, v_i)|_i=1^T} et adopte un calcul séquentiel en deux passes :

, (4)

Ainsi, les opérations SLA pourraient être déduites :

,  (5)

où o_i′ ∈ ℝ^m, ο_i ∈ ℝ^d. Par conséquent, l'ASL pourrait bénéficier d'un entraînement par blocs, efficace en termes de matériel et en temps linéaire⁶⁴.

Attention linéaire à fente sélective

L'attention linéaire par slot avec un contrôle à mémoire bornée pourrait réduire la complexité computationnelle et spatiale. Toutefois, l'accumulation d'informations pourrait également introduire des données bruitées dans l'interaction de session, de sorte qu'une décroissance dépendante des données était très importante pour conserver ou oublier sélectivement l'information, et ce mécanisme sélectif avait été réexaminé dans les modèles récents d'espaces d'état sélectifs⁶⁵. GSLA avec dépendance aux données pouvait s'exprimer comme suit :

,  (6)

Ici, les portes de décroissance ont été paramétrées sous une forme de produit extérieur G_i = α_i ⊗ β_i, avec α_i, β_i ∈ [0,1]^d. Dans ce qui suit, GSLA pourrait également s'écrire sous la forme équivalente suivante en fixant généralement β_t = 1 et en utilisant la multiplication matricielle comme dans⁶⁴ :

(7)

Lorsque α_i et k_i désignent respectivement la porte d'oubli et la porte d'entrée, ces deux portes peuvent être couplées selon la relation k_i = 1 − α_i, inspirée par la littérature sur les RNN à portes. Il était évident que GSLA pouvait être formulé selon un calcul séquentiel en deux passes, comme indiqué dans l'équation (8). La structure du second ordre permettait un entraînement parallèle par blocs afin d'améliorer l'efficacité de l'apprentissage, et l'insertion d'une opération softmax au milieu de cette structure du second ordre renforçait la capacité de modélisation de la mémoire à créneaux finis.

,
(8)

Transformation des données de session

Définition du problème

Soit la séquence de session donnée S = {v₁^s, v₂^s, ⋯, v_n^s}, où v_i^s désigne l’élément cliqué en ième position. En analysant le comportement de clic de l’utilisateur au sein de cette séquence, le système prédit l’élément suivant qui pourrait intéresser l’utilisateur, v_n+1^s.

Construction du graphe

Construction du graphe de session

Pour une session S = {v₁^s, v₂^s, ⋯, v_n^s}, un graphe orienté G_s = (V_s, ε_s) a été construit, où V_s correspondait à l'ensemble des éléments de la session donnée S, et ε_s = {e_ij^local|v_i, v_j, v_i, v_j ∈ V_s} représentait l'ensemble des arêtes de la session donnée S. ε_{(vi-1^s, vi^s)} désignait les éléments cliqués consécutivement au cours de cette session. L'arête e_ij^local pouvait être divisée en quatre types : e_in, e_out, e_in-out, e_self. Étant donné qu'un même élément pouvait apparaître plusieurs fois dans la séquence, la valeur pondérée de chaque arête a été prise en compte.

La session actuelle s = [v₁, v₂, v₄, v₂, v₃] a été convertie en un SG, comme illustré dans la Figure 1A.

Figure 1 : Transformer des éléments interactifs en structures de graphes. (A) Illustration de la construction d'un graphe de session (SG) par transformation d'une session en un graphe. (B) Illustration de la construction d'un graphe global de voisins (NGG) en combinant plusieurs sessions en un graphe. Cette figure a été réalisée par les auteurs eux-mêmes à l'aide de Visio, avec des éléments entièrement personnalisés. Aucune ressource graphique externe protégée par des droits d'auteur n'a été utilisée, aucun droit de licence tiers supplémentaire n'était donc nécessaire. Le droit d'auteur de la figure appartient aux auteurs et sera conforme aux règles de droit d'auteur du journal en cas d'acceptation. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Construction du graphe global des voisins

À partir de la session actuelle S, le NGG correspondant G_g = (V_g, ε_g) a été construit afin d'enrichir l'apprentissage de la représentation de la session courante de manière inter-session. V_g constituait l'ensemble des éléments contenant tous les éléments de G_g, et ε_g = {e_ij^global|v_i, v_j, v_i, v_j ∈ V_g} représentait l'ensemble des arêtes de G_g. ε_{(vi-1^g, vi^g)} désignait les éléments interagissant directement, v_i-1^g et v_i^g, dans le NGG G_g. Ce processus comprenait deux étapes : l'acquisition des sessions voisines et la construction du NGG.

Acquisition de la session voisine

Dans l'ensemble du jeu de données, on a recherché les sessions comportant le nombre maximal d'éléments co-occurrents avec la session courante. Les N premières sessions présentant les comptages de co-occurrence les plus élevés ont été sélectionnées afin de construire un ensemble de sessions voisines candidates S. Ensuite, le coefficient de similarité de Jaccard a été utilisé pour calculer la similarité entre la session courante c_u et une session S_r ∈ S provenant de l'ensemble candidat S, comme indiqué dans l'Équation (9).

(9)

Ici, co(S_c^u, S_r) désigne le nombre d'éléments apparaissant simultanément dans S_c^u et S_r, tandis que l(S_c^u) et l(S_r) représentent respectivement les longueurs de S_c^u et S_r, et S_c^u et S_r désignent la session courante et une session voisine. Les sessions dont la similarité était inférieure à un seuil donné (pouvant être défini comme un hyperparamètre) étaient éliminées, et les sessions restantes constituaient l'ensemble des sessions voisines N_s pour la session courante.

Construction du graphe global voisin

À partir de l'ensemble de sessions voisines N_s, le NGG a été construit, comme illustré dans la Figure 1B. Lors de la construction de la matrice d'adjacence, si deux éléments (v_i, v_j) présentaient une interaction, l'entrée correspondante A_ij était fixée à 1, sinon elle était fixée à 0. De plus, les interactions entre les éléments ont été traitées comme non orientées et munies de boucles réflexives, puis normalisées, comme indiqué dans le Tableau 1.

	1	2	3	4	5	6
1	1/2	1/2	0	0	0	0
2	0	1/4	1/4	1/2	0	0
3	0	0	1	0	0	0
4	0	1/4	1/2	1/4	0	0
5	0	0	0	0	1/3	2/3
6	0	1/3	0	1/3	0	1/3

Tableau 1 : Matrice d'adjacence normalisée du graphe global de voisinage. Le tableau présente la matrice d'adjacence normalisée décrivant les connexions pondérées entre les nœuds dans le graphe global de voisinage construit.

Conception d'un algorithme de recommandation basé sur des sessions

Cette section détaille le modèle innovant proposé GSLA4Rec, qui améliore les performances de SBR en introduisant le mécanisme GSLA au niveau de la représentation conjointe des caractéristiques de SG et de NGG.

Figure 2 : Cadre GSLA4Rec. Ce cadre intègre l'apprentissage de la structure du graphe de session et du graphe global des voisins, filtre le bruit des interactions à l'aide d'un mécanisme de seuil, équilibre stockage et efficacité grâce à un mécanisme de mémoires tampons, et capture la pertinence des éléments au moyen d'un mécanisme d'attention linéaire afin de prédire la préférence de l'utilisateur pour le prochain clic. Cette figure a été réalisée par les auteurs eux-mêmes à l'aide de Visio, avec des éléments entièrement personnalisés. Aucune ressource graphique externe protégée par des droits d'auteur n'a été utilisée, aucun droit de licence tiers supplémentaire n'était donc nécessaire. Le droit d'auteur de la figure appartient aux auteurs et sera conforme aux règles de droit d'auteur de la revue en cas d'acceptation. GSLA4Rec désigne les réseaux neuronaux graphiques à attention linéaire avec seuil et mémoires tampons pour la recommandation basée sur les sessions (SBR). Veuillez cliquer ici pour afficher une version agrandie de cette figure.

Figure 2 présente le cadre de GSLA4Rec, composé de quatre composants principaux : 1) Représentation des éléments au niveau de la session. Elle utilise un modèle de réseaux neuronaux graphiques (GNN) sur le graphe de session (SG) afin d'apprendre les plongements des éléments au niveau de la session courante ; 2) Représentation des éléments au niveau global des voisins. Elle apprend les plongements des éléments au niveau global à partir de toutes les sessions, en utilisant une unité récurrente à grilles (GRU) pour intégrer de manière récursive les plongements des voisins de chaque élément selon le graphe global de voisinage (NGG) ; 3) GSLA. Elle modélise les préférences des utilisateurs pour la session courante en agrégant les représentations d'éléments apprises aux niveaux de session et global ; 4) Couche de prédiction. Elle produit les probabilités prédites pour les éléments candidats. Les quatre composants sont décrits en détail ci-après.

Représentation de la session

Dans SBR, la compréhension des comportements d'interaction des utilisateurs était cruciale. À cette fin, un SG et un NGG ont été construits pour l'apprentissage de la représentation de session, dans le but de comprendre de manière exhaustive les comportements d'interaction des utilisateurs et ainsi de saisir l'intention plus authentique des utilisateurs.

Représentation des éléments au niveau de la session

Sur la base du SG dans la Figure 1A, une méthode d'attention sur graphe bidirectionnel pondéré (WBGAT) a été utilisée pour extraire les caractéristiques du SG. Cette méthode a introduit des poids sur les arêtes et la directionnalité des éléments (voisins entrants et voisins sortants) à partir du mécanisme GAT standard, renforçant ainsi les arêtes importantes et capturant les dépendances bidirectionnelles, ce qui a permis de pallier les limites du GAT traditionnel concernant les relations asymétriques entre éléments et l'intensité des interactions. Le processus de calcul était le suivant :

Premièrement, calcul des poids de normalisation du degré entrant des éléments.

(10)

où e_ij indiquait le poids du voisin entrant du premier ordre des caractéristiques de l'élément j sur l'élément i,  représentait la relation entre l'élément i et l'élément j, β^* ∈ ℝ^d étaient les vecteurs de poids, h_i et h_j étaient respectivement les représentations de l'élément i et de l'élément j, W_i⁽ⁱⁿ⁾ ∈ ℝ^d*d et W_j⁽ⁱⁿ⁾ ∈ ℝ^d*d étaient des paramètres entraînables, || représentait l'opération de concaténation. Pour distinguer les différentes relations de degré entrant, deux vecteurs de poids, nommés r_in et r_in-self, ont été entraînés. La fonction d'activation LeakyReLU a été utilisée.

(11)

Pour rendre les coefficients comparables entre différents éléments, les poids d'attention ont été normalisés à l'aide de la fonction softmax. Lorsque N_i⁽ⁱⁿ⁾ représentait l'ensemble des voisins entrants de premier ordre de l'élément i, et que   était le poids du voisin entrant correspondant à l'arête dirigée (i←j) dans le graphe SG, cette méthode permettait au modèle d'apprendre les corrélations entre les caractéristiques des éléments tout en conservant l'information sur la force intrinsèque des connexions de la structure du graphe, en prenant le logarithme des poids des arêtes et en les ajoutant au score d'attention initial e_ij.

Deuxièmement, calcul des poids de normalisation du degré de sortie des éléments.

(12)

où ẽ_ij indiquait le poids du voisin sortant du premier ordre des caractéristiques de l'élément j par rapport à l'élément i,  était la relation entre l'élément i et j, deux vecteurs de poids, à savoir r_out et r_out-self, ont été entraînés.

(13)

Où N_i^(out) était l'ensemble des voisins sortants de premier ordre de l'élément i, était le poids du voisin sortant de l'arête orientée (i→j) dans SG.

Troisièmement, l'agrégation des informations. L'incorporation mise à jour de l'élément pouvait être obtenue après pondération et sommation des incorporations de degré entrant et de degré sortant du premier ordre de l'élément i.

(14)

Où  et α̃_ij désignent respectivement les poids des degrés entrant et sortant de l'élément i, et désigne la représentation mise à jour de l'élément i.

Représentation globale de l'élément voisin

Des recherches récentes sont unanimement convenues que la construction d'un graphe global pouvait améliorer la représentation des données et, par conséquent, accroître les performances en SBR, ce qui ne fait aucun doute. Toutefois, l'amélioration globale des données pourrait également introduire des informations non pertinentes, telles que du bruit. Dans le modèle proposé, afin d'obtenir une augmentation globale des données tout en minimisant au maximum le bruit, un graphe global de proches voisins a été construit.

À partir du NGG présenté dans Figure 1B et de la matrice d'adjacence normalisée de Tableau 1, la session actuelle et ses sessions voisines ont été transformées en un NGG, et une méthode GGNNs⁴⁵ a été appliquée pour extraire les caractéristiques du NGG. Le processus d'apprentissage des vecteurs d'éléments dans le NGG est décrit par l'Équation (15).

(15)

W ∈ ℝ^d×2d désignait les poids de contrôle, z_g,i et r_g,i représentaient respectivement la porte de mise à jour et la porte de réinitialisation. [h₁^t-1, ⋯, h_n^t-1] représentait la liste de tous les vecteurs d'éléments dans la session s. σ(x) = 1/(1 + e^-x) était la fonction sigmoïde logistique, ⊙ désignait la multiplication élément par élément, et h_i ∈ ℝ^d représentait le vecteur après mise à jour avec portes. La matrice d'adjacence A_s ∈ ℝ^n×n indiquait la connectivité entre les éléments dans les sessions voisines, et A_s,i: ∈ ℝ^1×n représentait un bloc colonne de A_s correspondant à l'élément v_s,i dans la matrice d'adjacence. Pour la session courante s = [v₁, v₂, v₄, v₂, v₃], le NGG et la matrice d'adjacence normalisée étaient illustrés dans la Figure 1B et le Tableau 1, respectivement.

Représentation des éléments

La représentation de l'élément a été obtenue en additionnant le vecteur d'élément au niveau de la session et le vecteur d'élément global au niveau du voisin, comme indiqué dans l'équation (16) :

(16)

Là où la suppression a été utilisée sur les représentations d'éléments voisins au niveau global pour atténuer le surajustement.

Attention linéaire à fente sélective

L'attention linéaire à emplacement commandé (GSLA) présentée dans cet article intègre l'attention linéaire avec une commande à mémoire limitée et un mécanisme de contrôle dépendant des données. D'une part, elle hérite du mécanisme d'emplacement mémoire fini du modèle de contrôleur basé sur l'attention (ABC), qui compresse les paires clé-valeur, initialement croissantes avec la longueur de la séquence, en un nombre fixe d'emplacements, chacun étant mis à jour par écriture concurrentielle, résolvant ainsi le problème de complexité computationnelle de l'attention globale du transformeur. D'autre part, elle introduit un mécanisme de contrôle finement réglé, similaire à celui de la GLA, où les données d'entrée ajustent dynamiquement le taux de rétention de l'information historique au moyen d'une porte d'oubli α_i, résolvant le problème de bruit causé par l'absence d'un mécanisme d'oubli dans le modèle ABC.

Figure 3 : Schéma du GSLA. Le vecteur d'entrée a été associé respectivement au vecteur de requête, au vecteur de mot-clé et au vecteur de valeur, puis traité par une attention linéaire avec contrôle de la mémoire limitée et un mécanisme de seuil dépendant des données afin d'obtenir le vecteur de requête mis à jour, le vecteur de mot-clé, le vecteur de valeur et le vecteur de sortie. Cette figure a été réalisée par les auteurs eux-mêmes à l'aide de Visio, avec des éléments entièrement personnalisés. Aucune ressource graphique externe protégée par des droits d'auteur n'a été utilisée, aucune licence tierce supplémentaire n'était donc nécessaire. Le droit d'auteur de la figure appartient aux auteurs et sera conforme aux règles de droit d'auteur de la revue en cas d'acceptation. GSLA désigne l'attention linéaire à emplacements avec seuil. Veuillez cliquer ici pour afficher une version agrandie de cette figure.

Comme spécifiquement mis en œuvre dans la Figure 3, le vecteur d'entrée a été projeté séparément en un vecteur de requête, un vecteur de clé et un vecteur de valeur⁶⁴ :

(17)

Où W_q, W_k, W_v ∈ ℝ^d×d représentaient les matrices de poids de transformation correspondant respectivement à la requête, à la clé et à la valeur, et h_t désignait le vecteur d'incorporation à l'étape temporelle t dans la séquence d'entrée de la session. La fonction Swish était définie comme Swish(x) = x · σ(x) et constituait une fonction d'activation auto-régulée, où σ était la fonction sigmoïde ; elle surpassait la fonction d'activation ReLU traditionnelle dans plusieurs tâches d'apprentissage profond.

GSLA utilisait une porte d'oubli α_i et une porte d'entrée 1 − α_i, dépendant des données d'entrée, pour mettre à jour dynamiquement l'information dans l'emplacement de mémoire i. Le processus était le suivant⁶⁴ :

(18)

(19)

Ici, K̃_t et Ṽ_t représentaient les emplacements des vecteurs clés et les emplacements des vecteurs de valeurs à l'instant t, tandis que K̃_t-1 et Ṽ_t-1 représentaient les emplacements des vecteurs clés et les emplacements des vecteurs de valeurs à l'instant t−1. La porte d'oubli α_i = σ(W_αh_t)^1/τ, où W_α ∈ ℝ^d était la matrice de poids de transformation, σ était la fonction sigmoïde, et τ était le coefficient d'amortissement (généralement fixé à 8), servait à contrôler le degré de souplesse de la porte d'oubli. Cela permettait à GSLA d'ajuster en douceur le taux d'oubli des informations historiques : plus α_i était grand, plus GSLA s'appuyait sur les informations passées ; plus α_i était petit, plus GSLA se concentrait sur l'entrée actuelle.

Les emplacements du vecteur clé K̃_t et les emplacements du vecteur valeur Ṽ_t des emplacements à l’étape t ont été exprimés sous forme matricielle, comme indiqué⁶⁵ dans les équations (20) et (21) :

(20)

(21)

Ensuite, le GSLA doté de propriétés du second ordre (voir équation (8)) a été utilisé pour calculer la sortie o_i |_i=1^T à chaque pas de temps i ∈ [1, …, T]. Une transformation linéaire a été appliquée à la sortie de chaque pas de temps afin d'obtenir le résultat h̃_t. Enfin, la valeur moyenne des représentations de tous les éléments de la séquence de session a été calculée pour générer l'incorporation de session S̃_e avec des mises à jour dynamiques de la mémoire :

(22)

(23)

Ici, o_t représentait la sortie du Gated-Slot à l'instant t, h̃_t désignait le résultat de la transformation linéaire appliquée à o_t. S̃_e désignait la valeur moyenne de h̃_t à tous les instants.

Couche de prédiction

À partir de la représentation de session obtenue S̃_e et de l'incorporation initiale de l'élément i, une opération de produit scalaire a été effectuée pour calculer le score de chaque élément candidat h_i. Ensuite, la fonction softmax a été utilisée pour obtenir les probabilités de recommandation de l'élément candidat i :

(24)

Ici, ỹ représentait les probabilités de recommandation de l'élément candidat, h_i désignait le vecteur de l'élément candidat, et la fonction de perte d'entropie croisée a été utilisée pour l'entraînement du modèle.

(25)

Ici, y était la représentation encodée en one-hot de la vérité terrain.

Résultats

Ensembles de données et prétraitement

Dans les expériences, trois ensembles de données publics SBR issus de données de transactions réelles dans des scénarios d'application pratiques ont été sélectionnés pour évaluer les performances du modèle : Diginetica, extrait du concours CIKM Cup 2016, qui contient les historiques de transactions et de clics des utilisateurs ; Tmall, qui concerne les journaux d'utilisateurs provenant de la plateforme Tmall et enregistre les comportements de navigation et d'achat des utilisateurs ; et Nowplaying, qui contient des enregistrements musicaux relatifs à l'historique d'écoute des utilisateurs sur des plateformes musicales. Ces ensembles de données étaient largement utilisés dans la recherche SBR et permettaient d'évaluer de manière complète l'efficacité et l'applicabilité du modèle.

À l'étape de prétraitement des données, les ensembles de données ont été normalisés afin d'assurer une cohérence dans la qualité des données. Plus précisément, toutes les sessions d'une durée inférieure à 2 ont été filtrées, et les éléments apparaissant moins de 5 fois ont été supprimés. En outre, pour chaque session S = {v₁, v₂, ..., v_n}, plusieurs sous-séquences ont été générées pour l'entraînement et le test du modèle. Ces sous-séquences avaient la forme suivante : ([v₁]|v₂), ([v₁, v₂]|v₃), ..., ([v₁, v₂, ..., v_n-1]|v_n). Après avoir terminé le prétraitement susmentionné, des analyses statistiques ont été réalisées sur les ensembles de données, et des informations détaillées sont présentées dans Tableau 2.

Jeu de données	Diginetica	Tmall	Nowplaying
clic	982961	818479	1367963
entraînement	719470	351268	825304
test	60858	25898	60417
éléments	43097	40728	60417
longueur moyenne	5.12	6.69	7.42

Tableau 2 : Description des jeux de données. Le tableau résume les statistiques des jeux de données Diginetica, Tmall et Nowplaying, incluant les nombres de clics, d'échantillons d'apprentissage et de test, d'éléments, ainsi que la longueur moyenne des sessions.

Paramètres expérimentaux

Configuration des paramètres

Afin de garantir l'équité de l'expérience, des méthodes de prétraitement ont été adoptées pour traiter trois jeux de données, tout en prédéfinissant les paramètres du modèle GSLA4Rec. Pour les jeux de données Diginetica et Nowplaying, la taille du lot a été fixée à 150, et à 300 pour le jeu de données Tmall. Les paramètres de ce modèle ont été initialisés à l'aide d'une distribution gaussienne de moyenne 0 et d'écart type 0,1, et la dimension a été fixée à 100. L'optimiseur utilisé était Adam, avec un taux d'apprentissage initial fixé à 0,001. Le taux d'apprentissage était multiplié par 0,1 toutes les 3 époques. L'entraînement a été effectué pendant un total de 30 époques sur une GPU NVIDIA TITAN V et avec PyTorch 1.11.0 avec cu113 (voir Tableau du matériel) afin de retenir la meilleure valeur. Le seuil de filtrage des sessions voisines a été fixé à 0,5, et une régularisation L₂ a été appliquée dans l'expérience. Pour chaque jeu de données, les 10 % derniers des données triées par ordre chronologique des transactions ont été sélectionnés comme ensemble de test, tandis que les 10 % restants et les 80 % restants ont été choisis aléatoirement comme ensemble de validation et ensemble d'entraînement, respectivement. Le nombre de blocs mémoire dans GSLA a été fixé à une valeur dans {0, 1, 2, 3, 4, 5}.

Métriques d'évaluation

Cet article a adopté P@N (Précision@N, N = 10/20) et MRR@N (rang réciproque moyen@N, N = 10/20). P@N a été utilisée pour mesurer la proportion de recommandations correctes parmi les N premiers résultats de recommandation, MRR@N a été utilisée pour calculer le rang réciproque moyen des projets corrects ; plus la valeur de MRR est élevée, meilleure est la performance de tri.

Analyse des performances

L'efficacité du modèle GSLA4Rec a été évaluée par rapport à des références représentant différentes étapes du développement technologique. Au début, des méthodes d'apprentissage automatique ont été utilisées pour la SBR, par exemple FPMC⁵ a été utilisé pour prédire l'effet séquentiel basé sur une chaîne de Markov. Ensuite, l'apprentissage profond a été largement appliqué à la SBR avec le développement de l'intelligence artificielle ; par exemple, GRU4Rec¹⁰ reposait sur des RNN qui modélisent la SBR en empilant plusieurs couches de GRU et en concevant des fonctions de perte spécialisées pour optimiser la SBR, NARM¹⁶ a introduit l'AM afin de capturer les principaux intérêts des utilisateurs et a généré une représentation intégrée finale de l'élément pouvant être recommandé ensuite, STAMP¹⁷ a utilisé des perceptrons multicouches améliorés par l'AM pour capturer simultanément l'intérêt général et l'intérêt immédiat des utilisateurs. Ces dernières années, les réseaux neuronaux graphiques ont également été largement utilisés en SBR en raison de leur puissante capacité d'apprentissage sur des données non euclidiennes. Par exemple, SR-GNN²² a appliqué les GNN à la SBR pour la première fois, extrayant des relations complexes de transition d'articles via des GGNN et se concentrant sur les intérêts immédiats des utilisateurs en conjonction avec l'AM, GCE-GNN²³ a utilisé des GAT pour obtenir les relations de transfert d'articles dans les contextes local et global, et a généré des représentations de session à travers RPE et l'AM souple, S²-DHCN⁶⁶ a transformé les données de session en hypergraphe et en graphe de lignes, et a exploité l'apprentissage auto-supervisé pour améliorer la SBR.

Récemment, une approche globale a été adoptée pour améliorer les performances du SBR. Par exemple, GC-SAN⁵⁰ combine des réseaux neuronaux graphiques (GNN) avec des réseaux d'auto-attention multicouches afin d'améliorer les performances de recommandation en modélisant les dépendances à court et à long terme ; TASRec⁶⁷ intègre des informations temporelles en construisant une séquence de captures instantanées de graphes dynamiques à différents horodatages ; CT-GNN⁶⁸ utilise des GNN intégrant des informations temporelles pour apprendre des associations temporelles supplémentaires entre les éléments ; CORE⁶⁹ fusionne les informations de co-occurrence et les informations temporelles des éléments afin d'obtenir une représentation finale de session ; RESTC⁷⁰ propose des motifs d'interaction spatio-temporels inspirés des propriétés d'uniformité et d'alignement de l'apprentissage contrastif ; COTRec^66,71 adopte un apprentissage auto-supervisé sur deux vues de graphes de session et un entraînement conjoint pour résoudre la rareté des données dans le SBR ; RAIN⁷¹ exploite le masquage des arêtes et la reconstruction structurelle, et entraîne conjointement un indicateur d'arête afin d'identifier et d'éliminer explicitement les arêtes bruitées, ce qui améliore considérablement la précision et la robustesse du SBR.

	Ensembles de données	Diginetica				Tmall				Nowplaying
Classification des méthodes	Métriques	P@10	P@20	MRR@10	MRR@20	P@10	P@20	MRR@10	MRR@20	P@10	P@20	MRR@10	MRR@20
Apprentissage automatique	FPMC	15,42	22,10	6,20	6,66	13,12	16,05	7,10	7,30	5,28	7,35	2,66	2,82
Apprentissage profond	GRU4REC	17,92	30,80	7,73	8,20	9,47	10,93	5,78	5,89	6,74	7,92	4,40	4,48
Apprentissage profond	NARM	35,44	48,32	15,12	16,00	19,16	23,30	10,40	10,70	13,60	18,59	6,62	6,92
Apprentissage profond	STAMP	33,97	46,62	14,26	15,13	22,63	26,47	13,10	13,35	13,20	17,65	6,57	6,88
Réseaux de neurones graphiques (GNNs)	SR-GNN	38,42	51,26	16,89	17,76	23,41	27,57	13,46	13,72	14,17	18,86	7,15	7,47
Réseaux de neurones graphiques (GNNs)	S2 -DHCN	40,21	53,66	17,59	18,51	26,22	31,42	14,60	15,05	17,35	23,50	7,87	8,18
Réseaux de neurones graphiques (GNNs)	GCE-GNN	41,16	54,22	18,15	19,04	28,01	33,42	15,08	15,42	16,94	22,37	8,03	8,40
GNNs+Att	TASRec	39,85	52,53	17,19	18,22	25,72	29,58	14,22	14,51	16,35	20,52	7,30	7,78
GNNs+Att	GC-SAN	38,40	51,30	16,80	17,80	23,50	27,60	13,50	13,80	14,20	18,90	7,20	7,50
GNNs+Tem	CT-GNN	39,40	52,71	17,50	18,56	25,95	31,42	14,52	15,00	16,55	22,28	7,75	8,06
GNNs+Tem	CORE	41,03	52,84	17,95	18,47	32,97	39,16	18,72	19,16	17,65	21,81	7,92	7,35
GNNs+Tem	RESTC	42,35	55,93	18,75	19,65	35,57	42,47	18,05	18,52	18,39	24,79	8,31	8,72
GNNs+COT	COTRec	39,87	54,18	17,53	19,07	30,62	36,35	17,65	18,04	-	-	-	-
GNNs+ReStr	RAIN	-	55,50	-	19,20	-	38,73	-	19,12	-	24,17	-	8,47
GNNs+Gated-Slot	GSLA4Rec	43,35	56,47	19,38	19,98	36,56	43,60	19,46	19,96	19,80	27,10	8,86	9,32
	SD	±0,0009	±0,0011	±0,0008	±0,0009	±0,0018	±0,0021	±0,0016	±0,0018	±0,0028	±0,0031	±0,0024	±0,0026
	p-value	<0,001	<0,001	<0,001	<0,001	<0,001	<0,001	<0,001	<0,001	<0,001	<0,001	<0,001	<0,01
	Tinference	0,294	0,296	0,295	0,297	0,168	0,169	0,169	0,171	0,472	0,478	0,475	0,479

Tableau 3 : Comparaison des performances sur trois ensembles de données. Ce tableau compare GSLA4Rec avec des méthodes de recommandation basées sur l'apprentissage automatique, l'apprentissage profond, les réseaux de neurones graphiques (GNN), l'attention, les méthodes temporelles et d'autres approches, sur les jeux de données Diginetica, Tmall et Nowplaying, en utilisant les métriques P@10, P@20, MRR@10 et MRR@20. Les écarts types (SD) et les valeurs p sont également indiqués pour GSLA4Rec.

Afin de vérifier les performances du modèle GSLA4Rec et d'éliminer l'aléatoire lié à l'amélioration des performances causé par des facteurs aléatoires, plusieurs expériences de regroupement et une analyse statistique ont été menées sur l'ensemble de test. Plus précisément, l'ensemble de test a été divisé en groupes de 150 sessions par lot, puis répété 30 fois à l'aide de la méthode de graine aléatoire. Les résultats moyens et le temps de calcul de toutes les expériences groupées ont été calculés comme étant respectivement les performances et le temps d'inférence du modèle GSLA4Rec. L'écart type (SD) et le test de significativité statistique t ont été calculés pour le modèle GSLA4Rec afin de vérifier davantage la stabilité et la certitude de l'amélioration des performances du modèle GSLA4Rec. Tableau 3 présente les performances, l'écart type, la valeur p et T_inference du modèle de recommandation proposé, GSLA4Rec, comparé aux modèles de référence sur les trois jeux de données. Les nombres soulignés indiquent la meilleure méthode de référence, et le modèle offrant les meilleures performances pour chaque métrique d'évaluation est indiqué en gras noir.

Méthodes de recommandation par apprentissage automatique : dans les tâches SBR, la méthode traditionnelle FPMC a présenté les pires performances, principalement parce que les modèles de chaîne de Markov n'ont pas réussi à capturer les motifs de transition complexes entre les éléments. 2) Méthodes de recommandation par apprentissage profond : des modèles tels que GRU4REC, NARM et STAMP ont utilisé des approches de modélisation de séquences et ont obtenu certaines améliorations de performance. Parmi eux, NARM et STAMP ont fourni de meilleurs résultats de recommandation que GRU4REC, principalement parce que NARM a introduit un mécanisme d'attention permettant de capter les intérêts principaux des utilisateurs. 3) Méthodes de recommandation par réseaux neuronaux graphiques (GNNs) : l'adoption des GNNs dans la SBR a permis des améliorations notables de performance. Par exemple, SR-GNN, qui a été pionnier dans la conversion des séquences de sessions en structures de graphes afin de capturer l'information structurelle spatiale des éléments, a surpassé les méthodes d'apprentissage profond représentées par STAMP avec un gain de 0,36 à 4,64 %, démontrant ainsi l'avantage spatial des structures de graphes dans le traitement des données séquentielles. S²-DHCN a adopté une convolution hypergraphique à double canal pour capturer les dépendances d'ordre supérieur entre les éléments et a combiné un apprentissage contrastif auto-supervisé pour améliorer les représentations, palliant ainsi la limitation des GNNs traditionnels qui modélisent uniquement des relations par paires et contiennent une information insuffisante ; sa performance a dépassé celle des méthodes d'apprentissage profond représentées par STAMP de 1,30 à 7,04 %. GCE-GNN, en intégrant efficacement l'information de session unique et l'information globale de session, a surpassé les méthodes d'apprentissage profond représentées par STAMP de 1,46 à 7,60 % et SR-GNN de 0,88 à 5,85 %, indiquant que les méthodes basées sur des structures de graphes intégrant une information contextuelle globale peuvent considérablement améliorer la performance de la SBR. 4) Méthodes de recommandation combinant GNNs et mécanisme d'attention : TASRec visait à capturer plus précisément les préférences à court et à long terme dans les séquences de comportement des utilisateurs en introduisant un mécanisme sensible au temps ; sa performance a dépassé celle des méthodes d'apprentissage profond de 0,73 à 5,91 % et celle du modèle SR-GNN de 0,30 à 2,31 %, mais elle restait inférieure à celle du modèle GCE-GNN de 0,59 à 3,84 %. GC-SAN a combiné des structures de graphes converties à partir de séquences de sessions avec des mécanismes d'auto-attention multi-têtes afin de capturer efficacement les dépendances locales et à long terme au sein des sessions ; sa performance était comparable voire légèrement supérieure à celle du modèle SR-GNN, mais inférieure à celle des modèles TASRec et GCE-GNN. Cela suggère que l'introduction de mécanismes d'attention peut améliorer efficacement la performance de la SBR, bien que l'amélioration soit moins marquée que celle obtenue grâce à l'information globale, confirmant ainsi l'importance de l'information contextuelle globale. 5) Méthodes de recommandation combinant GNNs et encodage temporel : CT-GNN a été le premier à combiner des structures de graphes avec un encodage temporel afin de capturer simultanément la « structure spatiale » et la « dynamique temporelle », surpassant ainsi le modèle GC-SAN de 0,55 à 3,82 %. CORE a capturé les préférences à long terme et les intentions à court terme en analysant statistiquement les fréquences de co-occurrence des éléments dans les sessions globales et en concevant un poids temporel pour les positions dans les sessions actuelles, puis a fusionné cette information de co-occurrence et temporelle afin d'obtenir la représentation finale de session ; sa performance a dépassé celle du modèle TASRec de 0,25 à 9,58 % et celle du modèle GC-SAN de 0,67 à 11,56 %, montrant une amélioration significative de 3,64 à 5,74 % par rapport au modèle GCE-GNN sur le jeu de données Tmall. RESTC a introduit un modèle d'apprentissage contrastif basé sur des GNNs spatio-temporels afin de résoudre des problèmes présents dans les GNNs traditionnels, tels que la focalisation uniquement sur les structures de graphes spatiaux, l'ignorance de l'information temporelle et une fusion spatio-temporelle insuffisante ; sa performance a dépassé celle du modèle CORE de 0,39 à 3,31 % et celle du modèle GCE-GNN de 0,28 à 7,56 %, indiquant que l'encodage temporel et l'apprentissage contrastif améliorent efficacement la performance de la SBR. RAIN a utilisé des techniques de masquage d'arêtes et de reconstruction structurelle afin d'entraîner conjointement un indicateur d'arêtes pour identifier et éliminer explicitement les arêtes bruitées, atteignant ainsi une performance proche de celle du modèle RESTC.

Le modèle proposé, GSLA4Rec, intègre des informations contextuelles globales et un mécanisme d'attention linéaire à tranches avec porte pour capturer efficacement les informations contextuelles des utilisateurs tout en filtrant le bruit et en réduisant la complexité computationnelle. Il a démontré des améliorations de performance sur tous les jeux de données, dépassant les deux modèles de référence les plus performants — le modèle RESTC de 0,54 à 2,31 % et le modèle GCE-GNN de 0,83 à 10,18 %. Cette amélioration était particulièrement marquée dans la gestion des dépendances séquentielles dans les scénarios de longues sessions en SBR (notamment des gains de 10,18 % et 4,73 % par rapport à GCE-GNN, et de 1,44 % et 2,31 % par rapport à RESTC sur les jeux de données Tmall et Nowplaying, respectivement). En résumé, le modèle GSLA4Rec proposé intègre une construction efficace de graphe pour capturer les contextes des utilisateurs et filtrer le bruit ; ses performances ont systématiquement surpassé celles de l'état de l'art sur tous les jeux de données.

Analyse de l'efficacité

Comme le montre la Figure 4, les résultats expérimentaux sur le jeu de données Diginetica ont montré que le GSLA4Rec proposé atteignait une vitesse d'apprentissage plus rapide que les modèles de référence en termes de temps d'entraînement par époque, tous les essais étant exécutés sur une GPU NVIDIA TITAN V et consommant environ 9300 Mo de mémoire. Les modèles basés sur l'apprentissage profond, notamment STAMP, NARM et GRU4Rec, fonctionnaient efficacement mais offraient les performances les plus faibles ; les modèles TASRec et GC-SAN, fondés sur les GNN et le mécanisme d'auto-attention, amélioraient les performances, mais souffraient d'un temps de calcul important. Bien que S²-DHCN et CORE, basés sur les GNN, entraînent une légère augmentation du temps de calcul, les performances globales ont considérablement progressé, en particulier pour le modèle GSLA4Rec proposé, qui a montré une amélioration substantielle des performances. La raison principale était que le modèle GSLA4Rec consommait moins de temps pour la construction du graphe que les modèles de référence ; de plus, il utilisait un mécanisme d'attention linéaire à double passage avec des emplacements mémoire fixes m, conduisant à une complexité temporelle linéaire O(Ldm). Cette conception était nettement plus efficace que l'auto-attention classique O(L²d), tout en conservant une forte capacité de mémoire grâce à une lecture des emplacements améliorée par softmax. Des expériences de test de performance sur l'ensemble de test, menées afin de synchroniser le temps d'inférence statistique, comme indiqué dans la dernière ligne du Tableau 3, ont démontré l'avantage en efficacité du modèle GSLA4Rec, évitant ainsi le piège de la « fausse haute précision mais indisponibilité » et réalisant véritablement un compromis entre efficacité et performance.

Figure 4 : Performances en fonction du temps d'exécution de GSLA4Rec sur Diginetica. Ce graphique montre que notre modèle GSLA4Rec proposé ainsi que les modèles de référence ont été exécutés sur une GPU NVIDIA TITAN V en utilisant Diginetica pour mesurer le temps d'entraînement relatif par époque, et que GSLA4Rec a atteint une vitesse d'entraînement plus rapide que les modèles de référence. Cette figure a été réalisée elle-même à l’aide d’OriginPro avec des éléments entièrement personnalisés. Aucune ressource graphique externe protégée par des droits d’auteur n’a été utilisée, aucun droit de licence tiers supplémentaire n’était donc nécessaire. Le droit d’auteur de la figure appartient aux auteurs et sera conforme aux règles de droit d’auteur de la revue en cas d’acceptation. GSLA4Rec désigne les réseaux neuronaux graphiques à attention linéaire à emplacements avec portes pour la SBR. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

En résumé, l'efficacité du modèle GSLA4Rec proposé, doté d'une attention à emplacements sélectifs à complexité linéaire, surpasse systématiquement l'état de l'art sur tous les jeux de données. En particulier, GSLA4Rec a obtenu des gains de performance significatifs dans les scénarios de recommandation pour sessions longues sur les jeux de données Tmall et Nowplaying, et a démontré une capacité supérieure à modéliser les dépendances séquentielles.

Analyse des expériences d'ablation

Impact de SG, NGG et GSLA

Afin d'évaluer l'impact du SG, du NGG, du mécanisme de contrôle, des emplacements mémoire et de l'attention linéaire sur le SBR actuel, des études d'ablation ont été menées sur les jeux de données Diginetica, Tmall et Nowplaying. GSLA4Rec‑NotSG excluait le codage de caractéristiques SG tout en conservant le codage NGG, GSLA4Rec‑NotNGG supprimait le codage NGG et effectuait l'extraction de caractéristiques uniquement à partir du SG, GSLA4Rec‑NotGM retirait uniquement le mécanisme de contrôle au sein de GSLA, GSLA4Rec‑NotMS éliminait simplement les emplacements mémoire de GSLA, et GSLA4Rec‑NotLA omettait uniquement le module d'attention linéaire dans GSLA.

Jeu de données	Diginetica		Tmall		Nowplaying
Mesures	P@20	MRR@20	P@20	MRR@20	P@20	MRR@20
GSLA4Recs-NotSG	54.28	18.87	31.40	15.11	22.48	7.45
GSLA4Recs-NotNGG	52.65	17.67	28.90	14.61	20.17	7.74
GSLA4Rec-NotGM	53.82	18.21	39.26	16.52	23.14	7.62
GSLA4Rec-NotMS	53.40	17.60	38.05	15.65	22.55	7.40
GSLA4Rec-NotLA	51.86	16.92	29.12	13.96	20.82	7.28

Tableau 4 : Performances des expériences d'ablation de GSLA4Rec. Le tableau indique les performances d'ablation de GSLA4Rec après suppression de composants individuels du modèle sur les jeux de données Diginetica, Tmall et Nowplaying, évaluées à l'aide de P@20 et MRR@20.

Tableau 4 présentait les résultats de l'étude d'ablation sur différents ensembles de données ; toutes les métriques de performance ont diminué par rapport au modèle complet. La baisse de performance en supprimant le codage du graphe de session global par voisinage proche (GSLA4Rec-NotNGG) était plus marquée que lors de la suppression du codage des caractéristiques du graphe de session (GSLA4Rec-NotSG). La suppression de n'importe quel sous-module de GSLA entraînait une dégradation des performances, classée du plus élevé au plus faible selon l'attention linéaire, les emplacements mémoire et le mécanisme de seuil. La raison en était que l'importance de chaque élément dans SBR était clairement différente, et qu'il existait un besoin de mémoire associative entre les éléments. On pouvait constater que GSLA constituait une partie essentielle du modèle proposé dans cet article.

Impact de différentes méthodes d'agrégation

Afin d'évaluer l'impact de différentes méthodes d'agrégation d'informations sur les performances du modèle GSLA4Rec, les trois méthodes classiques d'agrégation suivantes ont été étudiées : 1) le regroupement par moyenne (Average Pooling) : effectuer une opération de regroupement par moyenne sur les vecteurs générés par le SG et le NGG ; 2) la concaténation de vecteurs : concaténer les vecteurs produits par le SG et le NGG ; 3) la somme de vecteurs (Vector Summation) : additionner les vecteurs générés par le SG et le NGG. Les résultats sont présentés dans le Tableau 5. GSLA4Rec avec Vec-Sum a obtenu les meilleures performances sur Diginetica, Tmall et Nowplaying. En revanche, le regroupement par moyenne (Mean-pooling) a donné de mauvais résultats sur l'ensemble des jeux de données. La performance inférieure de l'agrégation par moyenne et de l'agrégation par concaténation pourrait provenir d'un surajustement dû à un nombre excessif de paramètres, ce qui a dégradé les performances globales du modèle.

Jeu de données	Diginetica		Tmall		Nowplaying
Mesures	P@20	MRR@20	P@20	MRR@20	P@20	MRR@20
Moyenne par regroupement	45,26	15,63	38,84	16,3	23,56	7,55
Concaténation de vecteurs	51,77	17,24	39,83	18,24	24,06	8,88
Somme de vecteurs	56,47	19,98	43,6	19,96	27,1	9,32

Tableau 5 : Effets de différentes méthodes d'agrégation. Le tableau compare les effets du regroupement par moyenne, de la concaténation de vecteurs et de la sommation de vecteurs sur les performances de GSLA4Rec sur les jeux de données Diginetica, Tmall et Nowplaying, en utilisant P@20 et MRR@20.

Analyse des paramètres hyper-paramétriques

Effets de différentes tailles de fentes de mémoire

Les emplacements mémoire stockaient des informations provenant d'étapes temporelles antérieures, ce qui était particulièrement important pour les tâches comportant des dépendances temporelles. Cette section a examiné l'impact des tailles d'emplacements mémoire m = [0, 1, 2, 3, 4, 5] sur les performances de SBR. Les résultats expérimentaux, présentés dans le Tableau 6, ont indiqué que lorsque la taille des emplacements mémoire m était fixée à 3, les métriques P@20 et MRR@20 atteignaient des performances optimales sur les trois jeux de données. Cela suggère qu'une taille modérée d'emplacements mémoire améliore efficacement la précision des recommandations et la qualité du classement du modèle : des emplacements trop petits peinent à mémoriser suffisamment d'informations historiques et se concentrent davantage sur les intérêts à court terme des utilisateurs, tandis que lorsque la taille des emplacements mémoire augmente à 4 ou plus, le modèle stocke trop d'informations historiques, ce qui le pousse à trop s'appuyer sur les intérêts passés au détriment des informations d'entrée actuelles plus pertinentes, dégradant ainsi la qualité des recommandations.

Jeu de données	Diginetica		Tmall		Nowplaying
Mesures	P@20	MRR@20	P@20	MRR@20	P@20	MRR@20
GSLA4Rec-m0	53,40	17,60	38,05	15,65	22,55	7,40
GSLA4Rec-m1	55,43	18,92	41,55	17,12	25,60	8,43
GSLA4Rec-m2	56,02	19,35	42,90	18,25	26,62	8,95
GSLA4Rec-m3	56,47	19,98	43,60	19,96	27,10	9,32
GSLA4Rec-m4	53,96	19,25	43,06	19,09	26,34	8,35
GSLA4Rec-m5	52,18	18,03	42,12	17,56	24,86	8,85

Tableau 6 : Effets de différentes tailles de mémoire tampon. Le tableau indique les performances de GSLA4Rec avec différentes configurations de mémoire tampon (m0–m5) sur les jeux de données Diginetica, Tmall et Nowplaying, en utilisant P@20 et MRR@20.

Effets de différents taux de dropout

Pour éviter le surapprentissage, une régularisation par abandon (dropout) a été introduite. Avant de sommer le vecteur d'élément au niveau de la session et le vecteur d'élément au niveau global du voisin, les sorties des neurones ont été aléatoirement abandonnées dans le vecteur d'élément global du voisin h_i^ngg,(k) afin d'améliorer la robustesse et la capacité de généralisation du modèle GSLA4Rec.

Figure 5 : Performances de GSLA4Rec selon différents taux de désactivation. (A) P@20 et (B) MRR@20 de GSLA4Rec selon différents taux de désactivation sur les jeux de données Nowplaying, Tmall et Diginetica. Les performances ont d'abord augmenté, puis diminué à mesure que le taux de désactivation augmentait, démontrant ainsi la robustesse et la capacité de généralisation du modèle. GSLA4Rec, réseaux neuronaux graphiques à attention linéaire à emplacements à seuil pour la recommandation basée sur des sessions (SBR). Cette figure a été réalisée par les auteurs à l'aide d'OriginPro avec des éléments entièrement personnalisés. Aucune ressource graphique externe protégée par des droits d'auteur n'a été utilisée ; par conséquent, aucune licence tierce supplémentaire n'était requise. Les droits d'auteur de la figure appartiennent aux auteurs et seront conformes aux règles de droit d'auteur de la revue en cas d'acceptation. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 5A–B montre l'impact de différents taux de dropout dans l'équation (16) sur les performances du modèle. Les résultats expérimentaux indiquent que le modèle a de mauvaises performances lorsque le taux de dropout est faible ; toutefois, à mesure que ce taux augmente, les performances du modèle s'améliorent progressivement jusqu'à atteindre un niveau optimal. Plus précisément, le taux de dropout optimal était de 0,3 sur le jeu de données Diginetica, de 0,2 sur le jeu de données Tmall et de 0,5 sur le jeu de données Nowplaying. Lorsque le taux de dropout dépassait ces valeurs optimales, les performances du modèle commençaient à diminuer, principalement parce qu'un dropout excessif des neurones empêchait le modèle d'apprendre efficacement les caractéristiques importantes à partir des données de session.

Effets de différentes tailles d'incorporation

Afin de minimiser au maximum la charge de calcul tout en maintenant des performances optimales du modèle, l'impact de différentes dimensions d'incorporation d a été étudié sur les performances du modèle GSLA4Rec. Comme illustré dans Figure 6A–B, sur trois jeux de données publics — Diginetica, Tmall et Nowplaying —, le modèle GSLA4Rec a montré de faibles performances lorsque la dimension d'incorporation d était comprise entre 10 et 40 ; toutefois, les performances du modèle ont rapidement augmenté à mesure que la valeur de d croissait, les métriques de performance tendant à se stabiliser lorsque d se situait entre 80 et 120, puis les performances ont effectivement diminué lorsque d a continué d'augmenter, probablement en raison d'un surajustement causé par une dimension d'incorporation trop élevée. Par conséquent, la dimension du vecteur d'incorporation des éléments a finalement été fixée à 100.

Figure 6 : Performances de GSLA4Rec pour différentes tailles d'incorporation. (A) P@20 et (B) MRR@20 de GSLA4Rec pour différentes tailles d'incorporation sur les jeux de données Nowplaying, Tmall et Diginetica. Les performances du modèle ont progressivement augmenté avec la taille de l'incorporation, puis ont finalement atteint un plateau. GSLA4Rec, réseaux neuronaux graphiques à attention linéaire à emplacements avec porte pour la recommandation basée sur des sessions (SBR). Cette figure a été réalisée par les auteurs à l'aide d'OriginPro avec des éléments entièrement personnalisés. Aucune ressource graphique externe protégée par des droits d'auteur n'a été utilisée ; par conséquent, aucune licence tierce supplémentaire n'était requise. Les droits d'auteur de la figure appartiennent aux auteurs et seront conformes aux règles de droit d'auteur de la revue en cas d'acceptation. Veuillez cliquer ici pour afficher une version agrandie de cette figure.

Effets de différentes durées de séance

Il était bien connu que la durée de chaque session variait selon les trois ensembles de données réels de SBR (Diginetica, Tmall et Nowplaying). Afin de vérifier la robustesse du modèle GSLA4Rec par rapport aux modèles de référence sur des sessions de différentes longueurs, toutes les sessions de Diginetica et Tmall ont été divisées en trois groupes : groupe court (S), groupe moyen (M) et groupe long (L), correspondant respectivement aux plages de 1 à 6, 7 à 12, et supérieures à 12. L’MRR@20 a été adopté pour évaluer les performances des méthodes au lieu de la P@20, car l’MRR reflète mieux la qualité du classement des résultats corrects. Figure 7A–B indiquaient que le modèle GSLA4Rec surpassait le modèle de référence basé sur les séquences NARM, le modèle de référence basé sur les GNN SR-GNN, le modèle de référence GNN amélioré par apprentissage contrastif S²-DHCN, et le modèle de référence spatio-temporel RESTC, pour différentes longueurs de sessions. Par ailleurs, on a également observé que les performances de toutes les méthodes diminuaient avec l’augmentation de la longueur des séquences, car les transitions d’articles à longue portée rendaient difficile la capture des préférences des utilisateurs. Toutefois, le modèle proposé GSLA4Rec présentait la vitesse de décroissance la plus lente par rapport aux modèles de référence, car le mécanisme à emplacements à seuil permettait d’éliminer les articles non pertinents. Ainsi, les performances de GSLA4Rec dépassaient respectivement celles du modèle NARM de 6,3 et 8,85 dans les groupes longs de Diginetica et Tmall.

Figure 7 : Performances de GSLA4Rec selon différentes longueurs de session. Performances de GSLA4Rec et des modèles de référence selon différents groupes de longueur de session sur les jeux de données (A) Diginetica et (B) Tmall, évaluées à l’aide de MRR@20. Les groupes de longueur de session sont notés L, M et S. GSLA4Rec, réseaux neuronaux graphiques à attention linéaire par créneaux avec porte pour la recommandation basée sur les sessions (SBR). Cette figure a été réalisée par les auteurs à l’aide d’OriginPro avec des éléments entièrement personnalisés. Aucune ressource graphique externe protégée par des droits d’auteur n’a été utilisée ; par conséquent, aucune licence tierce supplémentaire n’était requise. Les droits d’auteur de la figure appartiennent aux auteurs et seront conformes aux règles de droit d’auteur de la revue en cas d’acceptation. Veuillez cliquer ici pour afficher une version agrandie de cette figure.

Conclusion

Cet article propose un réseau d'attention linéaire à emplacements commandés par contexte global pour la recommandation basée sur les sessions (SBR). En combinant SG et NGG, et en introduisant un mécanisme d'attention linéaire à emplacements commandés, cette méthode permet de se concentrer sur les éléments clés de la séquence de session, de capturer les dépendances à long et à court terme, de réduire efficacement le bruit et de diminuer la complexité computationnelle. Les résultats expérimentaux confirment que cette méthode présente une excellente précision et efficacité de recommandation sur trois jeux de données publics, en particulier dans les tâches de modélisation des dépendances à long terme.

DISPONIBILITÉ DES DONNÉES :

Trois ensembles de données publics courants (Diginetica, Tmall et Nowplaying, dont les URL sont disponibles dans le Tableau des matériaux) qui soutiennent les résultats de cette étude sont librement accessibles sur Internet. Parallèlement, trois ensembles de données publics largement utilisés ainsi que le code source de ce travail ont été soumis sous forme de Dossier supplémentaire : GSLA4Rec.zip. Veuillez cliquer ici pour télécharger ce fichier.

Discussion

Compared with baselines, the GSLA4Rec model achieves dual improvements in performance and efficiency for three core reasons. First, applying gating mechanisms to NGG alleviates data sparsity and filters noise effectively. Second, the memory slots mechanism balances storage capacity and efficiency via hyperparameter m adjustment. Third, the linear attention mechanism computes item correlations at an O(N) complexity, far lower than the O(N²)⁶¹. The GSLA4Rec model overly relies on users' interaction sequences and ignores the multimodal properties of items⁴⁸. Meanwhile, the NGG construction uses a fixed Jaccard threshold without dynamic adjustment function, and the memory slots m cannot achieve adaptive adjustability⁶⁵.

The GSLA4Rec model, which builds SG&NGG and adopts gated-slot linear attention, especially fits anonymous session recommendation³⁹ across e-commerce and online streaming platforms. In e-commerce platforms, this model recommends matching products to users by capturing their browsing, clicking, or adding behaviors to their shopping cart, without relying on user characteristic attributes. The datasets Diginetica and Tmall used in this paper are e-commerce recommendation datasets. For short-video and music streaming platforms, this method analyzes users' playback sequences to infer their implicit preferences, updates content summaries to retain users, and extends viewing time. The dataset Nowplaying used in this paper is the music recommendation dataset.

There are alternative solutions that can replace the gated slot linear attention architecture. The emerging Mamba⁶⁵ based state space model, as an alternative, has the characteristics of selective state storage space and linear computational complexity, balancing linear complexity and long sequence fitting ability, and combined with the LLM⁵⁵ enhancement framework, it extracts the users' implicit intent from the original interaction log, thereby achieving good recommendation performance and efficiency. Future work can optimize GSLA4Rec from multiple perspectives: building dynamic NGG to replace fixed Jaccard filtering, implementing variable memory slots to automatically match sessions of different lengths, and incorporating user multimodal information to improve recommendation accuracy. In addition, with the help of LLM-augmented models⁵⁵, users' implicit intentions can be mined from interaction sequences, and noisy conversation data can be filtered more accurately⁷².

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
CUDA 11.3	NVIDIA	NONE	CUDA 11.3 est une version de la plateforme et du modèle de programmation de calcul parallèle publiée par NVIDIA en 2021, conçue pour améliorer les performances et la flexibilité de développement des applications accélérées par GPU.
Diginetica	Diginetica	NONE	Diginetica est le jeu de données officiel du concours CIKM (Conférence internationale sur la recherche d'information) Cup 2016, utilisé lors de la compétition algorithmique CIKM pour résoudre le problème de recherche personnalisée de produits en commerce électronique avec contexte de recherche. Il est désormais devenu le jeu de données de référence le plus répandu dans le domaine de la recommandation basée sur des sessions (SBR).
Nowplaying	Zenodo	NONE	Il s'agit d'un jeu de données à grande échelle sur le comportement d'écoute musicale, construit à partir de l'extraction de tweets contenant le hashtag « #nowplaying », principalement utilisé pour la recherche en recommandation conversationnelle musicale, recommandation contextuelle et analyse de corrélation des sentiments.
OriginPro 2024 (64-bit) SR1	OriginLab Corporation	NONE	OriginPro est un logiciel commercial professionnel de dessin scientifique et d'analyse de données développé par OriginLab Corporation, couramment utilisé pour la création de graphiques de niveau publication, l'analyse statistique des données, l'ajustement de courbes, le traitement du signal, etc. Cet article utilise OriginPro pour tracer des graphiques de comparaison expérimentale, des courbes et des diagrammes en barres.
PyTorch 1.11.0	PyTorch Foundation	NONE	PyTorch est un framework open source de deep learning pour l'apprentissage machine et le deep learning, publié par Facebook en 2016. Il implémente principalement la différentiation automatique et introduit des graphes de calcul dynamiques afin de rendre la construction des modèles plus flexible.
TITAN V GPU	NVIDIA	NONE	Le TITAN V d'NVIDIA est une carte graphique phare lancée par NVIDIA fin 2017, principalement destinée aux domaines du calcul haute performance et de l'intelligence artificielle.
Tmall	Tmall	NONE	Issu du concours de recommandation Alibaba Tmall IJCAI 2015, Alibaba Tianchi a publié publiquement des journaux réels anonymisés de Tmall en ligne. C'est l'un des trois jeux de données standards dans le domaine SBR (Diginetica, Yoocoose, Tmall) et l'ensemble d'évaluation privilégié pour les scénarios de commerce électronique chinois.
visio 2021	Microsoft	NONE	Visio est un logiciel de dessin vectoriel développé par Microsoft, utilisé  pour créer des schémas de structure de modèles, des organigrammes, des diagrammes d'architecture, des topologies de réseau dans les articles scientifiques, et pour exporter des illustrations vectorielles destinées aux publications.