jupyter notebook에서 wandb 사용해서 훈련시 에러 발생!pip install ipython==8.16.1 버전맞춰 재설치하면 해결 출처https://github.com/wandb/wandb/issues/6546 [CLI]: TypeError: _WandbInit._pause_backend() takes 1 positional argument but 2 were given · Issue #6546 · wandb/wandbDescribe the bug if i used run = wandb.init(entity="bart_tadev", project='GPT-4 in Python', name="test") in jupyter notebook error raised TypeError: _Wan..
전체 글
공부하고 삽질한 것 정리하는 블로그입니다. 코딩 테스트 대비를 위한 백준-프로그래머스 문제 풀이, pytorch/ubuntu 에러 해결법, 논문 리뷰 등을 올립니다.
vscode에서 파일 실행해봐도 동작을 안할 때 해결방법 1. restricted mode인지 확인하고 trust 모드로 바꿔주기 왼쪽 하단 restircted mode 눌러서 trustmode로 바꾸기 2. vscode 재설치
작성중 기본 형식 SELECT * FROM TABLE; JOIN 하기 SELECT * FROM TABLE1 JOIN TABLE2 ON TABLE1.COL1 = TABLE2.COL1; GROUP으로 묶기 SELECT * FROM TABLE GROUP BY COL1 HAVING COL1 < 10; CASE WHEN 조건문 SELECT COL1, ( CASE WHEN COL2 < 10 THEN 'A' WHEN COL2 < 20 THEN 'B' ELSE 'C' END ) AS CUSTOM_COL2 FROM TABLE; 문자열 처리 concat( str1, str2 ) 통계 count( col이름 ), sum( col이름 ), avg( col이름 ), std( col이름 ), ceil( col이름 ), floor..
forward 중에 inplace operaion 이 있어서 역전파 autograd시 무슨 문제가 있다는 말 x += model(x) 이런 꼴이 있는지 확인해보자 t = model(x) x = x+t 이렇게 바꾸면 됨 https://discuss.pytorch.org/t/runtimeerror-one-of-the-variables-needed-for-gradient-computation-has-been-modified-by-an-inplace-operation-torch-cuda-floattensor-1-1-256-256-which-is-output-0-of-relubackward0-is-at-version-1-expected-version-0-instead/143490/9 RuntimeError: on..
문제 set 자료구조를 구현하여 Insert, Delete, GetRandom 연산을 O(1)으로 수행할 수 있게 하라는 문제 https://leetcode.com/problems/insert-delete-getrandom-o1 LeetCode - The World's Leading Online Programming Learning Platform Level up your coding skills and quickly land a job. This is the best place to expand your knowledge and get prepared for your next interview. leetcode.com 문제 풀이 기본적으로 set 자료형에는 add라는 insert 함수와 remove, ..
https://dcgi.fel.cvut.cz/home/sykorad/dia Diffusion Image Analogies dcgi.fel.cvut.cz 씨그래프 2023에 나옴 Problem Definition Image analogies 이미지 A, A'가 주어졌을 때, A와 A'의 관계를 이해하고 그 관계를 새로운 이미지 B에 적용하여 B'를 만드는 것. A:A' :: B:B'로 표현함. 이 논문에서는 이 image analogies를 디퓨전으로 품. 논문에서 제시하는 문제상황은 다음과 같음. 1) image anaologies에 대한 이전 연구들은 low level(pixel)로써 이미지를 이해하기 때문에 higher level인 context를 이해하거나 structure를 바꾸는데 어려움이 있음..
이해한 만큼만 작성해 봄,, GPU CPU는 컴퓨터의 모든 명령을 처리해야 하는 두뇌이기 때문에, 범용 명령어 세트를 처리하기 위한 복잡한 회로로 구성되어 있다. 그래서 다른 AI 반도체에 비해 전력 사용량도 많고, 느리다. 반면에 GPU는 컴퓨터 그래픽을 처리하기 위해 등장해서 병렬적으로 많은 연산을 수행하기 위해 코어수가 많고, 각 코어가 단순한 연산을 수행한다. ex) 3D를 2D로 렌더링 한다고 생각했을 때, 매번 2D 픽셀당 해당하는 광량, 위치, 색상, 그림자 등등 병렬적으로 계산할 것이 많음 그래서 단순한 계산을 병렬적으로 진행할 수 있는 GPU가 훨씬 속도가 빠르고 효율적이라 GPU로 인공지능 모델을 학습하곤 한다. 이때, CUDA, cudnn, .. 을 이용해 인공지능 연산을 가속화한다...
인공지능 학습 할 때 CPU 대신 GPU 쓰는 이유? CPU 컴퓨터의 두뇌 역할, 모든 읽고 쓰고 실행하는 장치는 CPU를 거쳐서 수행됨. GPU를 사용한 인공지능 학습 시에는 GPU로 연산을 하라고 데이터와 명령 보내주는 역할. GPU GPU는 graphic 처리를 위해 등장한 연산장치로 CPU에 비해 몇배나 큰 core 수를 가지고 있음. 근데 이제 그 코어가 단순연산만 함. 그래서 많은 코어를 기반으로 CPU에 비해 병렬연산을 빠르게 수행할 수 있음. GPU와 CPU간의 병목 CPU의 처리 속도에 비해 GPU가 연산을 너무 빠르게 수행하면 GPU는 CPU가 새로운 데이터를 보내줄 때까지 쉬게 됨. 하드웨어의 전송 속도의 문제로 발생함. CUDA Computed Unified Device Archit..