AI (163) 썸네일형 리스트형 주피터 노트북에서 멀티프로세싱 사용 다중분류용 학습 데이터를 수집하는 과정 중 수만개의 json 파일에서 텍스트를 추출하던 중 병렬처리의 필요성을 느껴 검색을 해봄. json 의 구조나, EDA 수행에는 터미널보다 주피터 노트북이 유용함. 기존에 말뭉치 전처리를 위해 터미널에서 병렬처리 라이브러리인 ray 를 활용한 적이 있었으나, 주피터 노트북에서 병렬처리를 해본 적은 없었음. 결론. 주피터 노트북에서 병렬처리을 사용하려면, 메인 함수를 외부파일로 빼고, 해당 함수를 불러와서 수행해야 함. 병렬 처리 전 json 파싱 시간 (json 파일 총 66097개) : 237.5초 병렬 처리 후 json 파싱 시간 (json 파일 총 66097개) : 6.9초 from multiprocessing import Pool from tqdm impor.. PyTorch *.pt, *.pth, *.pkl 의 차이 파이토치에서 모델 확장자 pt, pth, pkl 은 이름만 다를 뿐, 형식의 차이는 없다. 단지 모델을 저장하는 사람의 취향 차이일 뿐 파이참에서 터미널을 아나콘다 가상환경으로 설정 파이참에서 터미널을 아나콘다 가상환경으로 설정하는 방법 pycharm 실행 후 File -> Setting -> Tools -> Terminal -> Application Settings -> Shell path 해당 위치에 cmd.exe c:\ProgramData\Anaconda3\Scripts\activate.bat { 실행할가상환경 이름 } 을 입력 후 하단 Apply를 클릭 세팅을 하고 터미널 실행을 하면 아래와 같이 가상환경으로 터미널이 실행된다. 일렉트라(electra) 모델 사전학습 feat. RTX 3060 12G 일렉트라 모델 사전학습 feat. RTX 3060 12G 본 글은 일렉트라 모델 사전학습 테스트 과정과, 일반 RTX GPU를 사전학습에 활용할 수 있을까에 대한 테스트 및 결과를 기록하기 위한 글입니다. 목적 - 일렉트라 모델의 파이프라인 테스트 및 요약 - RTX 라인 단일 GPU 환경에서의 사전학습 효용성 평가 일렉트라 사전학습 파이프라인 1. 말뭉치 수집 - 일렉트라 모델 사전학습을 위한 말뭉치(코퍼스)를 수집하는 단계 - 주로 데이터를 수집한 후 파싱하는 과정을 거친다. 사전학습에는 한 줄씩 파싱된 텍스트 파일(utf-8)이 필요하므로 dump 형식의 데이터나, json 데이터를 텍스트 파일로 변환(파싱)하는 과정이 필요하다. - 수집한 말뭉치는 wiki-한국어 dump 와 AI-Hub의 웹데이.. NoneType check 파이썬에서 NoneType 체크 is 연산자 활용 if variable is None: ... if variable is not None: ... 변수 유형 체크 name = None # True --> name = 12 if type(name) != type(None): print(name) else: print("Can't find name") RTX 30XX 번대 GPU에서 구글 공식 Electra 레퍼런스 구동 윈도우 11(10) 환경에서 구글 공식 Electra 레퍼런스로 사전학습 시도시, TensorFlow 1.15 버전은 RTX 30XX번대 GPU 환경일 경우 메모리 이슈가 발생하여 사전학습이 제대로 진행되지 않음. 해결 방법 1. 공식 레퍼런스는 TensorFlow 1.15 버전 으로 작성되어 있는데 1.15 버전을 TensorFlow 2.X 버전으로 마이그레이션 2. wsl Ubuntu 환경에서 TensorFlow 1.15 버전 세팅 해결 1. TensorFlow 2.X 버전 마이그레이션 가. 텐서플로우 2 버전에서 제공하는 자동변환 스크립트를 활용해 코드 변환 나. contrib 모듈의 경우, 텐서플로우 2에서는 없어진 모듈이므로, 자동변환 스크립트를 사용한 후 tf.keras 모듈이나 tf-slim.. Electra Electra - Efficiently Learning an Encoder that Classifies Token Replacements Accurately pre-trained model 을 학습시키기 위한 pre-training methods는 크게 두가지 범주로 나눌 수 있다. LM MLM - 입력 텍스트를 단방향으로 처리하여 다음 단어를 예측 - 다음 단어를 예측하는 태스크에 강함 - 마스크된 언어모델로 텍스트의 중간 중간을 랜덤하게 감추고, 예측을 수행 - 단방향이 아니기 때문에 토큰의 왼쪽과 오른쪽 모두에서 예측이 가능하다는 장점이 있음 - 입력 텍스트의 중간중간 토큰을 마스크 처리하기 때문에 각 문장에서 학습하는 양이 줄어드는 단점이 생김 GPT BERT, RoBERTa Electra는 대체.. pip 패키지 관리자 1. pip 이란? - pip은 파이썬 패키지를 설치 및 관리하는 패키지 관리자를 말함 - Pip installs Package의 약자 2. pip 패키지 설치와 제거 - pip install : 패키지 설치 pip install 패키지명 ex) $ pip install sklearn $ pip install tqdm $ pip install numpy - pip uninstall : 설치된 패키지 제거 pip uninstall 패키지명 ex) $ pip uninstall numpy - pip list : 현재 pip으로 설치된 패키지들의 리스트 확인 $ pip list sklearn 0.0 soupsieve 2.3.1 stack-data 0.2.0 terminado 0.13.1 testpath 0.6... 이전 1 2 3 4 ··· 21 다음
