Двухступенчатая маркировка текста для рекрутинга с использованием маршрутизации с лексиконом и расширенные с поиском больших языковых моделей

Hushuang Shen; Yuan Wang

doi:10.3791/70153

Для просмотра этого контента требуется подписка на JoVE. Войдите или начните свой бесплатный пробный период.

Методическая статья

Двухступенчатая маркировка текста для рекрутинга с использованием маршрутизации с лексиконом и расширенные с поиском больших языковых моделей

164 просмотров

⸱

DOI:

10.3791/70153

⸱

8 мая 2026 г.

Hushuang Shen¹ , Yuan Wang²

¹School of Petroleum, China University of Petroleum-Beijing at Karamay Campus, ²School of Business Administration, South China University of Technology

В этой статье

Краткое содержание

Описывается двухэтапный рабочий процесс для классификации учебников по направлению по искусственному интеллекту, охране окружающей среды или другим. Сортировка, управляемая лексиконом, присваивает рутинные случаи, тогда как вывод с помощью поиска и оптимизированной для подсказок вывод по моделям больших языков разрешает неоднозначные случаи, обеспечивая точное масштабное маркировку и последующем описательное резюме рынка труда.

Аннотация

Рекрутинговые тексты неоднородны, а терминология предметной области эволюционирует со временем, что затрудняет масштабное маркировку при ограниченной возможности ручного аннотирования. Этот протокол обеспечивает воспроизводимый двухэтапный рабочий процесс для классификации китайских учебников по набору в области искусственного интеллекта, охраны окружающей среды или других. Первый этап проводит сортировку с помощью лексиконного руководства, используя два кураторских списка ключевых слов домена. Публикации, соответствующие только одному доменному лексикону, напрямую маркированы. Объявления, не соответствующие ни одному из лексиконов, обозначены как «Другие», а публикации с двойным совпадением направляются на второй этап. Второй этап применяет вывод по моделям большого языка с помощью поиска. База знаний, скомпилированная из 12 авторитетных документов домена, преобразуется в текст, делится примерно на 1000-символьные блоки с перекрытием 20 символов, встраивается с использованием полностью MiniLM-L6-v2 и индексируется в LanceDB. Для каждой неопределённой публикации поиск по косинусоидальности k-ближайшего соседа возвращает кандидатные блоки, отфильтрованные по минимальному порогу сходства (τ), и до четырёх чанков вводятся в фиксированный шаблон запроса, который определяет границы меток и ограничивает выход одной меткой. Эталонный набор из 3000 публикаций проверяется вручную, с 1000 публикаций на класс, и достигает межаннотаторского согласия в размере 95,0 % и каппы Коэна (κ) примерно 0,93. Evaluation сравнивает несколько открытых крупных языковых моделей в настройках только запросов и в настройках с дополненным поиском с помощью Qwen2.5-7B-Instruct. Конфигурация, дополненная поиском, достигает точности 98,47 % и поддерживает маркировку корпуса примерно 6,93 миллиона публикаций для нижней описательной агрегации.

Введение

В последние годы, благодаря стремительному развитию ИИ и экологических технологий, появилось множество новых профессий. С одной стороны, мировой рынок труда переполнен множеством совершенно новых вакансий, основанных на ИИ и устойчивом развитии. Доказательства, основанные на вакансиях, свидетельствуют о быстром росте спроса на навыки, связанные с ИИ, что увеличивает гетерогенность текстов для найма и мотивирует воспроизводимый, масштабируемый протокол метки^{доменов 1.} С другой стороны, последняя редакция Словаря классификации профессий (ОКР) в Китае показала столь же устойчивый рост новых профессий в сферах инфо....