자동 인코딩언어 모델은 알려진 어휘에서 문장의 어느 부분이든 누락된 단어를 채우도록 모델에 요청함자기회귀언어 모델은 알려진 어휘에서 주어진 문장의 바로 다음에 가장 가능성 있는 토큰을 생성하도록 모델에 요청LLM자기회귀, 자동 인코딩 등 두가지 조합이 될 수 있는 언어 모델을 말한다크고 광범위한 학습 데이터셋을 사용한다텍스트 생성 및 분류와 같은 복잡한 언어 작업을 파인튜닝이 필요 없을 만큼 높은 정확도로 수행 가능함LLM의 주요 특징기존 트랜스포머 아키텍처는 2017년 고안된 시퀀스-투-시퀀스 모델이다보통 인코더 & 디코더로 이루어진다인코더원시 텍스트를 받아들여 핵심 구성 요소로 분리해당 구성 요소를 벡터로 변환하는 업무 (Word2cec 과정과 유사)를 담당어텐션을 사용해 텍스트 맥락을 이해디코더수정..
전체 글
경험들을 아카이빙합니다.LLM의 성능을 평가할때, 어떤 기준으로 평가해야할까?그러한 의문을 해결해주는 것이 벤치마크 데이터셋이다. 벤치마크 데이터셋모델 품질 평가를 위한 표준화 방식점수를 통해 학습 모델 성능 파악 및 비교학습 모델이 어떤 과목에 능숙한지 파악 전통적 지표Perplexity & BLEU기본적으로 언어 모델 평가시 언어 모델 핵심 능력 : 다음 단어 예측 능력을 확인 Big 6 벤치마크 데이터셋ARC, HellaSwag, MMLU, TruthfulQA, Winogrande, GSM8k허깅 페이스 Open LLM 리더보드순위에 영향을 미치는 벤치마크 데이터셋 1. ARC목적 : 추론 능력 평가2. HellaSwag목적 : 상식 추론미완성된 구절을 LLM으로 하여금 완성문맥에 따라 텍스트 이해, 예측 능력을 테스..
LLM에 대한 자료수집을 하다가 메디컬 분야에서도 LLM이 유의미한 성과를 얻었길래 아카이빙해봅니다 ^^특정 도메인 분야에 특화된 모델을 만들기위해 해당 지식을 파인튜닝하고 Q&A 챗봇을 만들 수 있는 바탕이 될 것 같습니다 :) 글: https://m.post.naver.com/viewer/postView.naver?volumeNo=38136901&memberNo=34635212 LLM은언어 모델의 한 종류문장 내 단어 시퀀스에 확률을 할당하는 역할목적 : 가장 자연스러운 단어 순서를 찾음이전 단어가 주어지면 다음 단어를 예측함의료분야의 LLM인간과 유사한 텍스트를 이해하고 생성하는 능력을 발휘복잡한 의료 작업을 해결하고 환자 치료를 개선의료 질문-답변(QA) 시스템, 대화 시스템, 텍스트 생성다양한 ..
대학 동기의 추천으로 오픈소스 아카데미의 존재를 알게 되었습니다.백엔드 개발자로 일하면서 제일 친숙한 레디스에 흥미가 제일 갔습니다.그래서 git 활용 및 Redis 섹션에 지원하게 되었습니다. 지원 동기는 직무 내용에 대해 작성했던 것 같습니다.회원 로직 개발 내용과 함께 레디스 오픈소스에 대해 흥미가 생긴 배경에 대해작성했습니다. 그와 더불어 자기소개도 작성해야했는데저의 개발 성향과 최근에 했던 흥미로운 프로젝트들에 대해 작성했습니다. OSSCA에는 체험형/참여형으로 나뉘는데 체험형의 경우 4주, 참여형의 경우 12주 정도로기간차이가 납니다. 체험형을 통해 가볍게 오픈소스를 경험해볼 수 있었습니다. 4주간의 실습이 끝난 뒤에는 멘티별로 개별 활동서를 작성해야합니다.1,2,3,4주차 동안 진행한 실습과..