어휘 가이드 라우팅과 검색 증강 대형 언어 모델을 통한 2단계 모집 텍스트 라벨링

Hushuang Shen; Yuan Wang

doi:10.3791/70153

이 콘텐츠를 보려면 JoVE 구독이 필요합니다. 로그인하거나 오늘 무료 평가판을 시작하세요.

방법 논문

어휘 가이드 라우팅과 검색 증강 대형 언어 모델을 통한 2단계 모집 텍스트 라벨링

136 조회수

⸱

DOI:

10.3791/70153

⸱

2026년 5월 8일

Hushuang Shen¹ , Yuan Wang²

¹School of Petroleum, China University of Petroleum-Beijing at Karamay Campus, ²School of Business Administration, South China University of Technology

이 논문에서

요약

채용 텍스트를 인공지능, 환경 보호 또는 기타로 분류하기 위한 2단계 워크플로우가 설명되어 있습니다. Lexicon 유도 분류는 일상적인 사례를 할당하고, 검색 증강 및 prompt 최적화 대형 언어 모델 추론은 모호한 사례를 해결하여 정확한 대규모 라벨링과 하위 기술적 노동시장 요약을 가능하게 합니다.

초록

모집 텍스트는 이질적이며, 도메인 용어가 시간이 지남에 따라 진화하여 대규모 라벨링이 제한된 수동 주석 작성 능력을 가지고 있어 어렵습니다. 이 프로토콜은 중국어 채용 텍스트를 인공지능, 환경 보호 또는 기타로 분류하기 위한 재현 가능한 2단계 워크플로우를 제공합니다. 1단계는 두 개의 큐레이션된 도메인 키워드 리스트를 사용하여 어휘 기반 분류를 수행합니다. 한 도메인 어휘에만 맞는 게시물은 직접 라벨링됩니다. 두 어휘 모두 일치하지 않는 게시글은 기타로 분류되며, 이중 매치 게시글은 2단계로 라우팅됩니다. 2단계는 검색 증강 대규모 언어 모델 추론을 적용합니다. 12개의 권위 있는 도메인 문서를 모아 컴파일된 지식 베이스는 텍스트로 변환되어 약 1,000자 단위의 청크와 20자 겹침이 있는 청크로 나뉘고, all-MiniLM-L6-v2를 사용해 내장하고 LanceDB에 인덱싱됩니다. 불확실한 게시마다 코사인 유사성 k-최근접 이웃 검색은 최소 유사도 임계값(τ)으로 필터링된 후보 청크를 반환하며, 최대 네 개의 청크를 고정된 프롬프트 템플릿에 주입하여 라벨 경계를 정의하고 출력을 단일 라벨로 제한합니다. 3,000개의 게시글로 구성된 벤치마크 세트가 수동으로 검증되며, 각 수업당 1,000개의 게시글이 작성되며, 주석자 간 합의율은 95.0%, 코헨스 카파(κ)는 약 0.93입니다. Evaluation은 Qwen2.5-7B-Instruct를 사용하여 프롬프트 전용 환경과 검색 증강 환경에서 여러 오픈 소스 대형 언어 모델을 비교합니다. 검색 증강 구성은 98.47%의 정확도를 달성하며, 약 693만 개의 게시글에 대한 코퍼스 규모 라벨링을 지원하여 하위 기술적 집계를 지원합니다.

서론

최근 몇 년간 AI와 환경 기술의 급속한 발전과 함께 많은 신흥 직업들이 등장했습니다. 한편으로, 글로벌 취업 시장은 AI와 지속 가능성 기반의 많은 신규 직종으로 넘쳐나고 있습니다. 공석 기반 근거는 AI 관련 기술 수요의 급격한 증가를 문서화하며, 이는 채용 텍스트의 이질성을 높이고 재현 가능하고 확장 가능한 도메인 태깅 프로토콜을 촉진합니다^. 반면, 중국의 최신 직업분류사전(OCD) 개정판에서도 고용 정보화와 녹색 및 저탄소 분야에서 신규 직업이 크게 증가했으며, 2022년 개정판에서는 2015년 대비 158개의 신규 직업이 순증가하여 총 97개의 디지털 직업이 포함되어 있습니다. 또는 전체 직업 수의 6%, 134개의 녹색 직업과 함께 표시되어 있으며, 전체 직업 수의 8%를 차지합니다².

이러한 새로운 직업들이 계속 등장함에 따라, 기업의 채용 공고의 내용과 형식은 점점 더 복잡해지고 있습니다. 채용 공고는 종종 주제별 지식과 다양한 기술 요건을 포함하고 있으며, 직무명과 기술 목록 같은 구조화된 필드뿐만 아니라 많은 수의 비구조화된 자유 텍스트 설명도 포함하고 있어 점점 더 복잡한 채용 공고 구조가 만들어지고 있습니다. 이러한 복잡한 채용 공고는 일반적으로 명확하게 정의된 구조화된 요소(예: 직함, 필수 기술 목록)와 함께 광범위한 비구조화된 자유 텍스트 설명을 포함합니다. 예를 들어, AI 엔지니어 채용 광고에는 '딥러닝 프레임워크 숙련도', '역전파 알고리즘 최적화 경험'과 같은 기술 용어를 기술 목록에 포함시키고, 책임에 대한 상세한 설명도 포함할 수 있습니다; 마찬가지로, 환경 엔지니어 공고는 특정 규제 기준과 인증을 언급할 수 있습니다. 구조화된 내용과 비구조화된 콘텐츠의 조합은 매우 전문적이고 복잡한 직무 설명서를 만듭니다.

인공지능과 환경 보호가 모집 분류의 현실적인 교차 영역 모호성 하에서 프로토콜을 평가하도록 선정되었습니다. 실제로 O*NET과 구인 게시판과 같은 주류 직업 자원은 거친 태그를 부여하여, 키워드만으로는 산업 간 역할을 구분하기 어렵습니다. 환경 보호는 여러 과학 분야와 겹치는 광범위한 영역을 대표하는 반면, 인공지능은 컴퓨팅 내에서 일반적인 소프트웨어 역할과 혼동되는 더 세밀한 영역을 반영합니다. 이 조합은 광범위한 및 좁은 도메인 간 환경을 서로 다른 용어와 적절한 권위 있는 문서로 모두 포착하며, 핵심 워크플로우를 변경하지 않고 도메인 말뭉치를 대체함으로써 다른 산업에 적응할 수 있게 합니다.

최근 몇 년간 채용 공고 분류에 관한 연구가 급증했습니다. 연구자들은 점점 더 대형 사전 학습 모델을 활용해 직업 분류를 개선하고 있습니다. 2019년 BERT의 도입은 깊은 맥락적 언어 이해를 가능하게 하고 텍스트 분류 성능을 크게 향상시키는 돌파구였습니다^. 예를 들어, Clavié 등(2023)은 명령어 조정 대형 언어 모델(LLM)을 사용해 직무 분류를 연구했으며, 적절한 프롬프트 엔지니어링이 LLM이 대학원 직무^{분류 과제에서} 최첨단 감독 모델보다 우수한 성능을 낼 수 있음을 발견했습니다. 마찬가지로, Li 등(2023)은 대규모 언어 모델 요약과 직업 코드 매칭을 결합한 LLM4Jobs 접근법을 제안하여, 먼저 요약을 추출한 후 표준 직무 코드⁵와 정렬하여 긴 직무 기술서의 분류 정확도를 크게 향상시켰습니다. 또한, Senger 등이 2024년에 실시한 설문조사에서는 인사 분야의 딥러닝 최신 발전을 정리하며, 기술 추출과 직무 분류가 계산 취업 시장 분석에서 핵심 과제가 되었다고 지적합니다^. Kavas 등(2024)은 다국어 텍스트 임베딩과 LLM 기반 분류를 결합하여 구인 분류를 개선하여 눈에 띄는 정확도 향상을 달성했습니다^. 7. 전통적인 시스템에서는 비교적 대략적인 범주 집합을 가진 키워드 기반 휴리스틱부터 4,000개 이상의 직함 ^8,9에 대한 계층 구조를 사용하는 Carotene과 같은 분류 기반 프레임워크까지 다양했습니다. Javed 등(2016)은 체계적인 직업 분류로 나아가는 첫걸음 중 하나를 보여주는 초기 직책 분류 체계를 제시했습니다. 그러나 이러한 감독 하의 접근법은 광범위한 라벨링 데이터가 필요하며, 분류 분류체계가^{노동 시장보다} 더 느리게 발전하기 때문에 새로운 직무의 급속한 등장에 적응하는 데 어려움을 겪습니다.

이러한 한계를 해결하기 위해 최근 연구는 외부 지식을 통합한 하이브리드 전략으로 전환하고 있습니다; 예를 들어, Lewis 등(2020)은 사전 학습된 언어 모델과 리트리버를 결합해 관련 도메인 지식을 주입함으로써 지식 집약^{적 작업에서} 우수한 정확도와 더 사실적인 출력을 달성하는 검색-증강 생성(RAG) 프레임워크를 도입했습니다. Lester 등은 모델 크기가¹²로 증가할수록 prompt 튜닝이 더 큰 성능 향상을 가져온다는 것을 입증하여 강력한 기본 LLM 사용을 강화했습니다. 예를 들어, Han 등은 규칙 유도 프롬프트를 사용하면 모델을 핵심 특징에 집중시켜 텍스트 분류 정확도를 높일 수 있음을 보여주었다^. 더불어, Brown 등(2020)은 대형 언어 모델이 몇 가지 예시나 명령어만으로도 새로운 과제를 수행할 수 있음을 보여주며, 프롬프트 기반 소수^{샷 학습의} 힘을 강조했습니다. 특히, 최근 프롬프트 기반 NLP 기법 설문조사에서는 프롬프트 문구가 모델 출력에 큰 영향을 미칠 수 있음을 강조^{했습니다.} 동시에, 거시적 변화와 노동 시장의 불확실성은 새로운 역할이 생길 때마다 갱신할 수 있는 확장 가능하고 업데이트 친화적인 라벨링 프로토콜의 필요성을 강화^합니다. 취업 시장 NLP 분야에서는 분류학 기반 다국어 사전 훈련도 직업 구조와 언어 간 변동성과 더 잘 일치하도록 탐구되었습니다¹⁷. 이 연구들은 집합적으로 접근법을 알리고, 검색 및 알림 최적화를 포함한 대형 언어 모델을 활용해 새로운 직업 맥락을 보다 효과적으로 인식하고 적응할 수 있는 잠재력을 보여줍니다.

본 연구에서는 도메인 지식만을 인공지능과 환경 보호에 대해서만 큐레이션하며, 코퍼스 구축, 검증, 유지보수가 도메인 간 모집 분류의 주요 운영 비용을 차지합니다. 따라서 기타는 실질적인 산업 분류라기보다는 범위 외 거부 범주로 간주된다. 보고된 높은 정확도는 3개 라벨 설정이 단순해지고 더 세밀한 분류체계에 비해 성능이 부풀릴 수 있으므로 신중하게 해석해야 합니다. 이 프로토콜은 포괄적인 다중 범주 분류 시스템을 대체하는 것이 아니라, 목표 도메인을 위한 경량의 지식 기반 라벨링 계층으로 설계되었습니다. 라벨 세트를 확장하면 중복, 모호성, 그리고 더 엄격한 말뭉치 범위 요건으로 인해 정확도가 떨어질 수 있습니다. 실제로는 도메인 코퍼스를 확장하고 내부 지식 기반을 통합함으로써 거부 집합을 점진적으로 정제할 수 있습니다. 따라서 3개 라벨 구성은 포괄적인 직업 분류학보다는 재사용 가능한 패러다임을 보여줍니다.

이 데이터셋은 구조화된 소스와 비구조화된 소스를 결합합니다. 구조화된 말뭉치는 2014년부터 2023년까지 중국 주요 온라인 채용 플랫폼에 상장된 기업들이 공개적으로 게시한 구인 광고에서 저자들이 수집하고 엄선한 것입니다. 중복 제거와 기본 정리 후, 구조화된 말뭉치에는 약 693만 개의 게시물이 포함되어 있습니다. 관련 권위에서 공개한 비정형 도메인 문서가 도메인 지식과 라벨링 기준을 정의하는 데 사용되었습니다. 이 출처들로부터 인공지능, 환경 보호, 관련 없는 분야에서 각각 1,000개의 게시물을 포함하는 세 개의 벤치마크 하위 집합이 수작업으로 구성되어 평가를 위해 검증되었습니다.

모델 백본은 정확도, 정밀도, 회상률, 그리고 F1(정밀도와 회상률의 조화평균, F1 = 2PR/(P+R))을 사용하여 검색-보강 워크플로우의 최적 기반을 선택함으로써 평가됩니다. 권위 있는 도메인 문서는 검색 증강 생성(RAG)을 위한 지식 베이스로 수집됩니다. 관련 구절은 검색되어 분류를 지원하기 위해 고정된 프롬프트 템플릿에 삽입됩니다. 프롬프트 변형은 체계적으로 테스트되며, 최종 구성을 결정하기 위해 큐워드 최적화 전략을 적용합니다. 검색된 증거는 관련성을 기준으로 필터링되어 잡음을 최소화하고 정확하고 효율적인 추론을 지원합니다.

대규모 분류를 가능하게 하기 위해 워크플로우는 단계별 파이프라인을 채택합니다: 어휘 가이드 분류는 일상적인 사례를 효율적으로 해결하고, 검색 증강 및 프롬프트 최적화 LLM 추론은 모호한 게시를 처리하여 확장성과 정확성의 균형을 맞추고 있습니다(그림 1).

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

프로토콜

이 연구는 인간 참가자나 동물 대상을 포함하지 않았습니다. 따라서 윤리적 승인과 사전 동의는 필요하지 않았습니다. 워크플로우는 64비트 윈도우 운영체제의 Python 3.10 환경에서 재료 표에 나열된 하드웨어, 도구 및 소프트웨어를 사용하여 실행되었습니다.

1. 모델 활동

데이터 및 지식 기반 구축
1. 중국 주요 온라인 채용 플랫폼(2014–2023)에서 상장기업 구인 광고를 자체 구조화된 구인 말뭉치를 수집 및 큐레이션하여 플랫폼 정책과 관련 규정 준수를 보장합니다. 각 공고마다 직무명, 직무 설명, 회사명, 공고 날짜, 고유 식별자(예: 공고 ID나 URL이 있는 경우)를 기록하세요. 중복 및 유효하지 않은 항목을 제거하고, 최종 말뭉치에 약 693만 개의 기록이 포함되어 있는지 확인하세요.
2. 보조 파일 1에 나열된 문서를 포함하여 인공지능 및 환경 보호와 관련된 권위 있는 도메인 문서를 수집합니다. 문서에 역량, 자격 기준, 업무 범위 또는 규제된 절차를 정의하는지 확인하세요.
벤치마크 데이터셋 구성
1. 구조화된 데이터셋을 수동으로 스크리닝하세요. 인공지능, 환경 보호, 그리고 관련 없는 분야를 명확히 대표하는 게시글을 선택하세요. 경계 사례를 포함시켜 보장을 개선하세요.
2. 각 공고에 직무명, 직무 설명, 고용주 정보를 명확히 표시하세요.
3. 인공지능, 환경 보호, 기타 분야에서 각각 1,000개의 게시물을 포함하는 세 개의 벤치마크 하위 집합을 구성합니다.
4. 이중 주석을 사용하세요. 각 게시물에 라벨을 붙일 주석 한 명과 서면 가이드라인을 따라 라벨을 검증할 두 번째 주석자를 지정하세요.
5. 의견 차이는 토론과 세 번째 주석자의 심사를 통해 해결하세요.
6. 주석자 간 합의를 계산합니다. 비율 합의와 κ를 기록하세요.
7. 모델 평가를 위해 검증된 벤치마크 데이터셋을 보존하세요.
모델 백본 평가
1. 동일한 프롬프트 템플릿과 벤치마크 데이터셋을 사용하여 명령어 조정된 LLM 백본을 평가합니다.
2. 백본 비교 중에 검색 증강을 비활성화하세요.
3. 프롬프트 문구, 디코딩 매개변수, 라벨 매핑은 모델 간 동일하게 유지하세요.
4. 전체 정확도, 클래스별 정밀도, 회상률, F1을 계산합니다.
5. 가장 성능이 좋은 백본을 선택하여 그 구성을 표 1에 기록 하세요.
6. 전체 평가 결과를 표 2에 보고 하세요.
도메인 적응형 인코더 훈련 수행
1. 보조 파일 1에 나열된 권위 있는 문서만을 사용하여 라벨이 붙지 않은 말뭉치를 작성하세요.
2. 모든 문서에서 일반 텍스트를 추출하세요.
3. 텍스트를 최대 길이 512, 보폭 492의 시퀀스로 세그먼트합니다.
4. 50자 미만의 구간은 버리세요.
5. 벤치마크 게시글은 이 말뭉치에서 제외되도록 하세요.
6. 중국 BERT 기지 체크포인트를 초기화하세요.
7. 마스킹 확률 0.15로 마스크드 언어 모델 사전 학습을 수행합니다.
8. AdamW를 사용해 3시대 동안 학습 속도 5e-5, 배치 크기 2로 훈련하세요.
9. 사전 학습된 체크포인트를 저장하세요.
10. 학습률 2e-5, 배치 크기 2, 최대 시퀀스 길이 512를 사용하여 3클래스 분류를 위해 인코더를 미세 조정할 수 있습니다.
11. 무작위 시드를 42로 고정하고 층화된 열차 검증 분할을 적용하세요.
12. 보고서 정확성, 매크로 평균 정밀도, 매크로 평균 회상율, 매크로 평균 F1, 클래스별 지표, 혼동 행렬 등이 포함됩니다.
13. 검증을 위해 평가 출력을 저장하세요.
검색-증강 분류 파이프라인 구축
1. 지식 기반을 구축하세요
  1. 12개의 권위 있는 도메인을 모으세요.
  2. 중복되거나 오래된 버전은 제거하세요.
  3. 문서를 일반 텍스트로 변환하세요.
  4. 발행 기관과 발행 연도를 포함한 문서 메타데이터를 기록하세요.
  5. 텍스트를 약 1,000자 단위로 나누고, 20자 중복 단위로 나누세요.
  6. 청크의 총 수와 청크 길이 분포를 기록하세요.
    참고: 지식 기반이 확장되면 검색 성능을 재검증하세요.
2. 인코딩 및 저장 임베딩
  1. 모든 청크를 임베딩 모델로 인코딩하고 벡터 데이터베이스에 임베딩을 저장하세요.
  2. 아카이브 청크 식별자와 출처 메타데이터.
  3. 저장된 벡터 수가 청크 카운트와 일치하는지 확인하세요.
3. 회수하세요.
  1. 모든 채용 공고를 동일한 임베딩 모델을 사용해 임베드하세요.
  2. 코사인 유사성을 사용하여 k-최근접 이웃 탐색을 수행합니다.
  3. 유사도 임계값 τ를 적용해 저관련성 매칭을 필터링하세요.
  4. 홀드된 부분집합에서 조율한 후 τ와 top-κ를 고정합니다.
  5. 검색된 청크 식별자와 유사도 점수를 기록하세요.
4. 검색 증강 추론 수행
  1. 프롬프트 템플릿의 증거 섹션(보조 파일 2)에 최대 네 개의 조회된 청크를 삽입하세요.
  2. 구인 공고 텍스트와 수집한 증거를 연결하세요.
  3. 선택한 LLM을 사용해 최종 3클래스 라벨을 생성합니다.
  4. 검색 로그, 프롬프트, 모델 출력을 저장하세요.
어휘 가이드 분류 수행
1. 구성어 키워드 어휘집
  1. 인공지능용과 환경 보호용 두 개의 키워드 어휘집을 작성하세요 (보충 문서 3).
  2. 채용 공고와 권위 있는 문서에서 후보자 용어를 추출하세요.
  3. 지정된 토큰화 라이브러리를 사용하여 텍스트를 토큰화합니다.
  4. 용어 빈도 및 영역 대비 통계를 계산하고 모호하거나 지나치게 일반적인 용어를 제거합니다.
  5. 어휘를 최종 확정하고 보관하세요.
2. 노선 게시
  1. 정확한 문자열과 토큰 레벨 매칭을 적용하세요.
  2. 인공지능 키워드만 포함된 게시글은 인공지능 부서로 라우팅하세요.
  3. 환경 보호 키워드만 포함된 노선 게시는 환경보호 부서로 향합니다.
  4. 매칭 없음 게시물은 기타로 라벨링하세요.
  5. 듀얼 매치 게시글을 회수-보강 단계로 라우팅하세요.
  6. 라우팅 통계와 어휘 버전 기록.
3. 모호한 게시물을 분류하기
  1. 고정된 top-κ와 τ 설정에서 관련 청크를 검색하세요.
  2. 회수된 증거를 프롬프트 템플릿에 주입하세요.
  3. 최종 라벨을 생성하고 인스턴스별 로그를 저장하세요.

2. 결과 재분류

유의어 사전의 구성
1. 인공지능 용어 사전을 구성하세요 (보충 파일 4). 머신러닝, 자연어 처리, 컴퓨터 비전, 로봇공학 및 관련 하위 분야의 용어를 포함하세요. 각 범주별로 상세한 용어를 정리하세요.
2. 환경 보호 용어에 대한 별도의 유의어 사전을 만드세요. 환경과학 기초, 환경 모니터링 및 분석, 오염 통제 및 관리, 환경 계획 및 관리 등을 포함합니다.
3. 모든 인공지능 및 환경 보호 용어를 토큰화 사전에 추가하세요. 텍스트 분할 시 이 용어들이 완전한 단위로 인식되도록 하세요.
전처리 텍스트
1. 정규 표현식으로 구두점과 특수 문자를 제거하세요. 텍스트와 공백만 유지하세요.
2. 단어 분할을 수행하여 연속된 텍스트를 개별 토큰으로 분리합니다.
특징 매칭 및 분류 수행
1. 입력 텍스트를 전처리하여 세그먼트 토큰 목록을 얻습니다.
2. 예비 분류에 따라 적절한 유의어 사전을 선택하세요.
3. 분할된 토큰을 순회하여 정규화 후 유의어 사전과 정확히 일치합니다. 하위케이스를 적용하고 미리 정의된 변형을 통합한 후 매칭하세요.
4. 매칭된 각 용어와 해당 유의어 사전을 기록하세요.
  참고: 여러 지선이 일치할 경우, 고정된 규칙(예: 최고 일치 횟수 다음이 가장 이른 순서)으로 동점을 결정합니다.
5. 매칭된 항어 목록과 하위 집계용 도메인 내 최종 태그를 내보내세요.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

결과

재료표에 나열된 네 개의 오픈소스 명령어 조정 대형 언어 모델 백본(Backbone A–D)은 3등급 구인 분류 과제에서 벤치마킹됩니다. 평가는 전체 정확도, 정밀도, 회상률, F1 등 모든 백본에 걸쳐 동일한 테스트 프로토콜, 전처리 절차, 지표를 사용하여 수행됩니다. 신속한 정제와 검색 증강 생성(RAG)이 이후 백본 B에 적용되어 동일한 조건에서 재평가됩니다. 성과 결과는 표 2에 요약되어 있습니다.

고정된 3클래스 프로토콜과 공유 평가 인터페이스 하에서, 백본 B 기반의 프롬프트 최적화 검색-보강 구성은 벤치마크 테스트 세트에서 98.47%의 정확도와 98.47%의 매크로 F1을 달성하며, 표 2 의 가장 강력한 백본 단독 기준선보다 정확도가 4.47%포인트 향상되었습니다. 거시평균 정밀도와 호출율은 각각 98.50%와 9...

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

토론

이전 연구들은 고전적인 머신러닝과 신경 모델을 채용 텍스트 분류, 이력서 및 직무 설명 분류에 적용한 바 있지만, 이러한 접근법은 종종 상당한 라벨링 데이터가 필요하며 도메인 용어가 바뀔 때 성능이 저하될 수 있습니다. Ali 등은 NLP와 머신러^{닝 기법}을 활용한 이력서 분류 시스템을 제안했다. Jalili 등은 BiLSTM 기반 이력서 분류¹⁹를 탐구했습니다. Pal 등은 고전 머신러^{닝 방법을 사용하여} 이력서 분류를 평가했다. Nasser 등은 단어 임베딩을 포함한 합성곱 신경망을 적용하여 이^{력서를 분류}했다. Ramraj 등은 LinkedIn 프로필^{설명을 활용}한 실시간 이력서 분류 시스템을 개발했습니다. 최근 연구들은 또한 하위 분류를 지원하기 위해 합성 ...

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

공개 사항

저자들은 공개할 것이 없습니다.

감사의 글

저자들은 데이터 큐레이션과 원고 준비 과정에서 기술 지원과 건설적인 피드백을 준 동료들에게 감사를 표합니다. 이 프로젝트는 외부 자금을 받지 않았습니다.

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

재료

이 논문에 사용된 재료 목록
이름	회사	카탈로그 번호	댓글
all-MiniLM-L6-v2 (문장 인코더)	포옹하는 얼굴 (문장 변형)	https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2	벡터화에 사용되는 문장 임베딩 모델.
버트-베이스-중국어 (베이스라인 인코더)	포옹하는 얼굴 (구글 버트)	https://huggingface.co/google-bert/bert-base-chinese	기본 인코더(중국산 BERT 베이스).
DDR5 메모리, 16GB	워크스테이션/노트북 구성	해당 없음	시스템 메모리(16GB DDR5); 공급업체/부품 번호는 명시되지 않았습니다.
딥시크-R1-디스틸-웬-7B (백본 A)	포옹 얼굴 (딥시크-아이)	https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B	LLM 백본 A.
GLM-4-9B-채팅 (백본 C)	포옹하는 얼굴 (자이-오르그)	https://huggingface.co/zai-org/glm-4-9b-chat-hf	LLM 백본 C.
인텔 코어 i5-13500HX CPU	인텔	https://www.intel.com/content/www/us/en/products/sku/232156/intel-core-i513500hx-processor-24m-cache-up-to-4-70-ghz/specifications.html	워크스테이션 CPU를 실험에 사용했습니다.
InternLM2.5-7B-Chat (백본 D)	허깅 페이스 (내부)	https://huggingface.co/internlm/internlm2_5-7b-chat	LLM 중추 D.
지에바 (중국어 토큰 제기)	PyPI (jieba)	https://pypi.org/project/jieba/	중국어 토큰화/세분화 라이브러리; 버전 미확인.
키워드 라이브러리(AI & 환경) (보충 파일 3)	이 연구	보충 파일 3	도메인 키워드 렉시콘은 렉시콘 가이드 프리 필터링에 사용되었습니다; 각 런마다 정확한 버전이 사용되었습니다.
LanceDB (벡터 데이터베이스)	랜스DB	해당 없음	임베딩 저장/검색을 위한 벡터 데이터베이스; 버전 미확인.
NVIDIA GeForce RTX 4060 노트북 GPU (8GB VRAM)	엔비디아	https://www.nvidia.com/en-us/geforce/laptops/40-series/	추론/실험에 사용되는 GPU입니다.
온라인 채용 플랫폼 채용 공고 (2014년 이후 ndash; 2023)	주요 중국 채용 플랫폼 (공개 웹 데이터)	해당 없음	저자들이 수집하고 기획한 공개 채용 공고; 정리 후 ~693만 건의 게시물.
pip (Python 패키지 설치 파일)	파이PA	해당 없음	의존성을 설치하고 pip freeze를 사용해 환경 스냅샷을 내보내는 데 사용하는 패키지 설치 프로그램입니다.
프롬프트 템플릿 진화 (보충 파일 2)	이 연구	보충 파일 2	연속적인 프롬프트 변형과 평가에 사용된 최종 프롬프트.
파이썬 3.10	파이썬 소프트웨어 재단	해당 없음	런타임 인터프리터(Python 3.10); 패치 버전은 명시되지 않았습니다.
Qwen2.5-7B-인스트럭터 (백본 B)	포옹하는 얼굴 (Qwen)	https://huggingface.co/Qwen/Qwen2.5-7B-Instruct	LLM 백본 B.
RAG 지식 기반 분야 설명/색인 (보충 파일 1)	이 연구	보충 파일 1	검색 증강 추론에 사용되는 지식 베이스의 스키마/필드 노트와 문서 색인.
유의어 사전(AI & 환경) (보충 파일 4)	이 연구	보충 파일 4	재분류 및 분석에 사용되는 용어 사전; 각 런마다 정확한 버전이 사용되었습니다.
윈도우 11 (64비트)	마이크로소프트	해당 없음	운영체제 (윈도우 11, 64비트); 빌드/버전은 명시되지 않았습니다.

참고문헌

Alekseeva, L., et al. The demand for AI skills in the labor market. Labour Economics. 71, 102002(2021).
Ministry updates official dictionary of careers. , Ministry of Human Resources and Social Security of the People’s Republic of China. Available at: https://english.www.gov.cn/statecouncil/ministries/202209/30/content_WS633647bbc6d0a757729e0bb6.html (2022).
BERT: Pre-training of deep bidirectional transformers for language understanding. Devlin, J., Chang, M. W., Lee, K., Toutanova, K. 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), Minneapolis, MN, USA, , 4171-4186 (2019).
Large language models in the workplace: A case study on prompt engineering for job type classification. Clavié, B., et al. 28th International Conference on Applications of Natural Language to Information Systems (NLDB 2023); , Derby, UK, , Springer. Natural Language Processing and Information Systems. Lecture Notes in Computer Science 3-17 (2023).
Li, N., Kang, B., De Bie, T. LLM4Jobs: Unsupervised occupation extraction and standardization leveraging large language models. arXiv. , Available at: https://arxiv.org/abs/2309.09708 (2023).
Deep learning-based computational job market analysis: A survey on skill extraction and classification from job postings. Senger, E., Zhang, M., van der Goot, R., Plank, B. 1st Workshop on Natural Language Processing for Human Resources (NLP4HR 2024), St. Julian’s, Malta, , 1-15 (2024).
Enhancing job posting classification with multilingual embeddings and large language models. Kavas, H., Serra-Vidal, M., Wanner, L. 10th Italian Conference on Computational Linguistics (CLiC-it 2024), Pisa, Italy, , 440-450 (2024).
JobBERT: Understanding job titles through skills. Decorte, J. J., Van Hautte, J., Demeester, T., Develder, C. International Workshop on Fair, Effective and Sustainable Talent Management using Data Science (FEAST 2021) at ECML-PKDD 2021, , (2021).
Carotene: A job title classification system for the online recruitment domain. Javed, F., et al. IEEE First International Conference on Big Data Computing Service and Applications (BigDataService), , 286-293 (2015).
Javed, F., McNair, M., Jacob, F., Zhao, M. Towards a job title classification system. arXiv. , Available at: https://arxiv.org/abs/1606.00917 (2016).
Lewis, P., et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. Presented at: Advances in Neural Information Processing Systems. NeurIPS. , (2020).
The power of scale for parameter-efficient prompt tuning. Lester, B., Al-Rfou, R., Constant, N. 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP), , 3045-3059 (2021).
Han, X., et al. PTR: Prompt tuning with rules for text classification. AI Open. 3, 182-192 (2022).
Brown, T. B., et al. Language models are few-shot learners. Presented at: Advances in Neural Information Processing Systems. NeurIPS. , (2020).
Liu, P., et al. predict: A systematic survey of prompting methods in natural language processing. ACM Comput Surv. 55 (9), 195:1-195:35 (2023).
Blue, A. The outlook for 2023 is uncertain, but here’s what we know about the global labour market. World Economic Forum (Agenda). , Available at: https://www.weforum.org/agenda/2023/01/the-outlook-for-2023-is-uncertain-but-here-s-what-we-know-about-the-global-labour-market-davos23 (2023).
ESCOXLM-R: Multilingual taxonomy-driven pre-training for the job market domain. Zhang, M., van der Goot, R., Plank, B. 61st Annual Meeting of the Association for Computational Linguistics (ACL 2023), Toronto, Canada, , 11871-11890 (2023).
Ali, I., et al. Resume classification system using natural language processing and machine learning techniques. Mehran Univ Res J Eng Technol. 41 (1), 65-79 (2022).
BiLSTM for resume classification. Jalili, A., Tabrizchi, H., Razmara, J., Mosavi, A. 22nd IEEE International Symposium on Applied Machine Intelligence and Informatics (SAMI 2024), Stará Lesná, Slovakia, , (2024).
Pal, R., Shaikh, S., Satpute, S., Bhagwat, S. Resume classification using various machine learning algorithms. ITM Web Conf. 44, 03011(2022).
Convolutional neural network with word embedding based approach for resume classification. Nasser, S., Sreejith, C., Irshad, M. 2018 International Conference on Emerging Trends and Innovations in Engineering and Technological Research (ICETIETR 2018), , Ernakulam (Cochin), India. (2018).
Real-time resume classification system using LinkedIn profile descriptions. Ramraj, S., Sivakumar, V. 2020 International Conference on Computational Intelligence for Smart Power Systems and Sustainable Energy (CISPSSE 2020), Keonjhar, Odisha, India, , (2020).
Heakl, A., et al. ResumeAtlas: Revisiting resume classification with large-scale datasets and large language models. arXiv. , Available at: https://arxiv.org/abs/2406.18125 (2024).
Skondras, P., Zervas, P., Tzimas, G. Generating synthetic resume data with large language models for enhanced job description classification. Future Internet. 15 (11), 363(2023).
Chen, Z. Ethics and discrimination in artificial intelligence-enabled recruitment practices. Humanit Soc Sci Commun. 10, 567(2023).
Retrieval-augmented few-shot text classification. Yu, G., et al. Findings of the Association for Computational Linguistics: EMNLP 2023, Singapore, , 6721-6735 (2023).
Izacard, G., et al. Atlas: Few-shot learning with retrieval augmented language models. J Mach Learn Res. 24 (251), 1-43 (2023).
KW-ATTN: Knowledge infused attention for accurate and interpretable text classification. Jang, H., et al. Deep Learning Inside Out (DeeLIO): 2nd Workshop on Knowledge Extraction and Integration for Deep Learning Architectures, , 96-107 (2021).

액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.

어휘 가이드 라우팅과 검색 증강 대형 언어 모델을 통한 2단계 모집 텍스트 라벨링

이 논문에서

요약

초록

서론

프로토콜

결과

토론

공개 사항

감사의 글

재료

참고문헌

재인쇄 및 허가

태그