감자블로그

[error] TypeError: _WandbInit._pause_backend() takes 1 positional argument but 2 were given 오류 해결

감자156 — Fri, 26 Apr 2024 11:49:14 +0900

jupyter notebook에서 wandb 사용해서 훈련시 에러 발생

!pip install ipython==8.16.1

버전맞춰 재설치하면 해결

출처

https://github.com/wandb/wandb/issues/6546

[CLI]: TypeError: _WandbInit._pause_backend() takes 1 positional argument but 2 were given · Issue #6546 · wandb/wandb

Describe the bug if i used run = wandb.init(entity="bart_tadev", project='GPT-4 in Python', name="test") in jupyter notebook error raised TypeError: _WandbInit._pause_backend() takes 1 positional a...

github.com

[error] vscode 파일 실행 안될 때

감자156 — Fri, 5 Apr 2024 22:21:15 +0900

vscode에서 파일 실행해봐도 동작을 안할 때 해결방법

1. restricted mode인지 확인하고 trust 모드로 바꿔주기

왼쪽 하단 restircted mode 눌러서 trustmode로 바꾸기

2. vscode 재설치

[mySQL] 내가 보려고 만든 SQL 문법 기초 정리

감자156 — Sat, 30 Mar 2024 02:22:18 +0900

작성중

기본 형식

SELECT * FROM TABLE;

JOIN 하기

SELECT * FROM TABLE1 JOIN TABLE2
ON TABLE1.COL1 = TABLE2.COL1;

GROUP으로 묶기

SELECT * FROM TABLE
GROUP BY COL1
HAVING COL1 < 10;

CASE WHEN 조건문

SELECT COL1, (
	CASE WHEN COL2 < 10 THEN 'A'
    	 WHEN COL2 < 20 THEN 'B'
    	 ELSE 'C'
    END
) AS CUSTOM_COL2 FROM TABLE;

문자열 처리

concat( str1, str2 )

통계

count( col이름 ), sum( col이름 ), avg( col이름 ), std( col이름 ), ceil( col이름 ), floor( col이름 ), round( col이름 ), abs( col이름 ), sqrt( col이름 )

날짜 관련 함수

quarter( datecol )

정렬

WITH

with로 쿼리 안에서 재사용 가능한 테이블 표현식 ( Common Table Expression, CTE ) 을 만들어 사용

WITH TMP AS (SELECT SUM(SCORE) AS S, EMP_NO FROM HR_GRADE GROUP BY EMP_NO)
SELECT TMP.S AS SCORE, E.EMP_NO, E.EMP_NAME, E.POSITION, E.EMAIL
FROM HR_EMPLOYEES AS E JOIN TMP ON TMP.EMP_NO = E.EMP_NO
WHERE TMP.S = (SELECT MAX(S) FROM TMP);

기타

distinct( col이름 ), exists( 서브쿼리 )

서브쿼리1 : SELECT 에서

서브쿼리1 : FROM 에서

cf)

https://wildeveloperetrain.tistory.com/223

(MySQL) IN, NOT IN, EXISTS, NOT EXISTS 동작 방식 정리

해당 내용은 IN / NOT IN / EXISTS / NOT EXISTS 동작 방식을 정리한 내용으로 MySQL을 기준으로 실행하고 작성된 내용이지만 MSSQL, Oracle 등에서도 적용되는 내용입니다. (예시에 사용될 orders table, customers ta

wildeveloperetrain.tistory.com

[error] RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [8192, 180]], which is output 0 of ViewBackward, is at version 1; expected version 0 instead. Hint: enable anom..

감자156 — Fri, 23 Feb 2024 20:44:25 +0900

forward 중에 inplace operaion 이 있어서 역전파 autograd시 무슨 문제가 있다는 말

x += model(x) 이런 꼴이 있는지 확인해보자

t = model(x)

x = x+t

이렇게 바꾸면 됨

https://discuss.pytorch.org/t/runtimeerror-one-of-the-variables-needed-for-gradient-computation-has-been-modified-by-an-inplace-operation-torch-cuda-floattensor-1-1-256-256-which-is-output-0-of-relubackward0-is-at-version-1-expected-version-0-instead/143490/9

RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatT

Thanks a lot. it worked for me.

discuss.pytorch.org

Insert Delete GetRandom O(1) 풀이

감자156 — Mon, 29 Jan 2024 15:17:45 +0900

문제

set 자료구조를 구현하여 Insert, Delete, GetRandom 연산을 O(1)으로 수행할 수 있게 하라는 문제

https://leetcode.com/problems/insert-delete-getrandom-o1

LeetCode - The World's Leading Online Programming Learning Platform

Level up your coding skills and quickly land a job. This is the best place to expand your knowledge and get prepared for your next interview.

leetcode.com

문제 풀이

기본적으로 set 자료형에는 add라는 insert 함수와 remove, discard라는 delete 내장 함수가 존재함.

add는 O(1), remove/discard도 O(1).. 파이썬에서 set는 해쉬 테이블로 구현되어 있기 떄문에 삽입연산이나 삭제연산이나 모두 평균 시간복잡도가 O(1)

문제는 GetRandom 함수임. 원래 set에서는 pop이라는 O(1)짜리 랜덤 삭제 내장함수가 있지만 여기서는 원소가 삭제되면 안되고, return된 결과값에서 등장한 비율이 일정해야한다는 제한 조건이 있어 인덱싱으로 접근..

의문인 점은 처음에는

def getRandom(self) -> int:
    return list(self.RS)[0]

하니까 틀림.. 알아보니 set를 list로 변환할 때 랜덤한 순서로 배치되는게 아니고, set 자료구조 내 해쉬테이블에 따라 배치된다고 한다.

코드

class RandomizedSet:

    def __init__(self):
        self.RS = set([])

    def insert(self, val: int) -> bool:
        leng = len(self.RS)
        self.RS.add(val)
        return True if len(self.RS) != leng else False

    def remove(self, val: int) -> bool:
        leng = len(self.RS)
        try:
            self.RS.remove(val)
            return True
        except: return False

    def getRandom(self) -> int:
        idx = random.randint(0,len(self.RS)-1)
        return list(self.RS)[idx]

[paper review] Diffusion Image Analogies 초간단 리뷰

감자156 — Mon, 29 Jan 2024 12:53:48 +0900

https://dcgi.fel.cvut.cz/home/sykorad/dia

Diffusion Image Analogies

dcgi.fel.cvut.cz

씨그래프 2023에 나옴

Problem Definition

Image analogies

이미지 A, A'가 주어졌을 때, A와 A'의 관계를 이해하고 그 관계를 새로운 이미지 B에 적용하여 B'를 만드는 것.

A:A' :: B:B'로 표현함.

이 논문에서는 이 image analogies를 디퓨전으로 품. 논문에서 제시하는 문제상황은 다음과 같음.

1) image anaologies에 대한 이전 연구들은 low level(pixel)로써 이미지를 이해하기 때문에 higher level인 context를 이해하거나 structure를 바꾸는데 어려움이 있음.

2) 요즘에는 LLM과 Diffusion으로 text-guided 이미지 생성 모델이 핫함. 하지만 원하는 B'를 뽑기 위해서는 text를 사용자가 복잡하게 지시해야하고, text prompt를 복잡하게 준다고 한들 원하는 대로 조작하기 쉽지 않음.

본 논문에서는 이런 문제점들을 개선하여 text없이 A:A'의 관계를 바로 B에 적용하여 B'를 생성하는 방식을 제안함.

Method

본 논문에서는 input image A,A',B가 Stable Diffusion으로부터 생성된 이미지라고 가정. 노이즈 이미지 ∗ 에 diffusion process 가 반복적으로 진행되는데, 그때 CLIP features ∗가 diffusion 과정을 가이드함.

본 논문에서는 생성할 output image B':

여기서 : ′는 이미지 와 ′의 CLIP features를 뺀 것임

새로운 임의의 real world 이미지(B)가 있을 때 initial noise ∗ and CLIP features ∗를 추론해야 하는데, 본 논문에서는 디퓨전을 활용해 optimization함.

overview

본 논문에서는 디퓨전 과정에서 clip feature와 initial noise의 정보가 복합적으로 영향을 미치기 때문에, output이 잘 나오는 것처럼 보이더라도 clip feature로 semantic 한 의미만을 담지 못하게 된다고 함. 그래서 initial noise ∗ and CLIP features ∗를 독립적으로 최적화 시켜서 이를 해결하고자 했음. 위의 overview 그림 참조

AI 반도체(GPU, NPU, TPU, 뉴로모픽)

감자156 — Sat, 13 Jan 2024 14:11:26 +0900

이해한 만큼만 작성해 봄,,

GPU

CPU는 컴퓨터의 모든 명령을 처리해야 하는 두뇌이기 때문에, 범용 명령어 세트를 처리하기 위한 복잡한 회로로 구성되어 있다. 그래서 다른 AI 반도체에 비해 전력 사용량도 많고, 느리다.

반면에 GPU는 컴퓨터 그래픽을 처리하기 위해 등장해서 병렬적으로 많은 연산을 수행하기 위해 코어수가 많고, 각 코어가 단순한 연산을 수행한다.

ex) 3D를 2D로 렌더링 한다고 생각했을 때, 매번 2D 픽셀당 해당하는 광량, 위치, 색상, 그림자 등등 병렬적으로 계산할 것이 많음

그래서 단순한 계산을 병렬적으로 진행할 수 있는 GPU가 훨씬 속도가 빠르고 효율적이라 GPU로 인공지능 모델을 학습하곤 한다. 이때, CUDA, cudnn, .. 을 이용해 인공지능 연산을 가속화한다. ex) convolution..

NPU

GPU가 단순한 연산을 병렬적으로 처리하긴 하지만, 탄생 자체가 컴퓨터의 그래픽 연산을 처리하기 위함이라, CPU보다는 아니지만 여전히 범용 명령어 처리를 위한 회로로 구성되어 있다. 그래서 인공지능 연산을 주로 처리하기 위한 회로로 구성된 NPU가 등장하게 되었다.

전용 회로로 구성되어 있어서 인공지능 모델을 사용할 때 전력 사용량이 줄고, 더 빠르게 연산을 수행할 수 있다. 전력을 줄이는 것에 집중하기 때문에 소형 디바이스에서 실시간 연산을 수행할 때 주로 사용한다.

TPU

TPU는 서버(클라우드)에 사용하기 위해 구글에서 개발한 AI 반도체이며 일종의 NPU로 AI 연산에 최적화된 반도체이다.

뉴로모픽 칩

우선, 여기서 사용하는 개념을 알기 위해 Computing Memory 개념을 정리해 보겠다.

일반적으로 우리가 알고 있는 컴퓨터의 메모리는 단순히 데이터(값)를 저장하는 공간이다.

출처 하이닉스 뉴스룸

그래서 연산은 반도체(CPU)가 하고, 메모리에서 값을 불러오거나 저장하는 식으로 컴퓨터는 동작한다. 다시 말하면, 인공지능을 학습할 때, 반도체를 무엇을 쓰건 간에 메모리에서 데이터를 불러오거나 저장하는 속도인 '메모리 대역폭'에 의해 성능의 한계가 생길 수밖에 없다. 그래서 메모리 내에서 연산을 수행하는 Computing Memory를 사용하여 , 반도체가 메모리에 접근하고, 값을 가져오고, 저장하는 부가적인 명령어를 처리하지 않게 해서 성능을 대폭 개선할 수 있다.

예를 들어, y=wx라는 연산을 수행한다고 하자.(w는 고정된 값)

기존의 컴퓨터, 메모리 구조로는 좌측과 같이 복잡한 연산을 수행해야 한다. 하지만 computing memory를 사용하면 이를 우측 구조처럼 아주 단순한 구조로 표현할 수 있다.

x: 전압, w: 저항의 역수(고정값)가 정해져 있기 때문에, y(w*x)가 아주 빠르게 연산될 수 있다.

이 연산을 여러 번 한다고 생각해 보면, 좌측의 반도체-메모리 간의 연산을 4번 반복하는 것 대신, 우측처럼 단 한 번의 연산으로 훨씬 효율적으로 연산 수를 줄일 수 있다.

동시에, 노이즈 등의 문제로 회로가 항상 일정한 wx(i) 값을 보이지 않더라도, 여러 값을 동시에 처리하게 되면, output에서 개별 wx(i)의 노이즈의 영향을 아주 적어져서 정확도에는 별 영향을 끼치지 않을 것이다.

ref) https://news.skhynix.co.kr/post/jeonginseong-column-ai-6 https://voidint.com/2020/11/25/gpu-vs-npu-deeplearning-difference/

CUDA란?

감자156 — Thu, 4 Jan 2024 12:01:55 +0900

인공지능 학습 할 때 CPU 대신 GPU 쓰는 이유?

CPU

컴퓨터의 두뇌 역할, 모든 읽고 쓰고 실행하는 장치는 CPU를 거쳐서 수행됨. GPU를 사용한 인공지능 학습 시에는 GPU로 연산을 하라고 데이터와 명령 보내주는 역할.

GPU

GPU는 graphic 처리를 위해 등장한 연산장치로 CPU에 비해 몇배나 큰 core 수를 가지고 있음. 근데 이제 그 코어가 단순연산만 함. 그래서 많은 코어를 기반으로 CPU에 비해 병렬연산을 빠르게 수행할 수 있음.

GPU와 CPU간의 병목

CPU의 처리 속도에 비해 GPU가 연산을 너무 빠르게 수행하면 GPU는 CPU가 새로운 데이터를 보내줄 때까지 쉬게 됨. 하드웨어의 전송 속도의 문제로 발생함.

CUDA

Computed Unified Device Architecture(CUDA)는 GPU에서 수행하는 병렬 연산을 프로그래밍 언어로 작성하여 수행할 수 있게 하는 기술임. NVIDIA가 개발해오고 있음.

그럼 인공지능 학습 환경 설정할 때 설치하는

CUDA toolkit, Nvidia-dirver, Cudnn은 뭐임?

nvidia-driver은 물리적인 nvidia GPU를 컴퓨터가 제어하기 위한 소프트웨어
CUDA toolkit은 CUDA를 통해 작성한 프로그래밍 언어를 GPU가 돌리기 위해 필요한 모든 툴을 제공하는 kit, ex) CUDA 라이브러리, 컴파일러, ...
cuDNN은 cuda Deep Neural network Library로 딥러닝 모델 연산을 가속화 할 수 있는 라이브러리임. ex) 컨볼루션, ...

[프로그래머스] lv.1 콜라츠 추측 python 풀이

감자156 — Sat, 16 Dec 2023 01:06:24 +0900

문제

https://school.programmers.co.kr/learn/courses/30/lessons/12943

프로그래머스

코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요.

programmers.co.kr

문제 풀이

문제에서 주어진 대로 구현. 아래 코드 참조

코드

def solution(num):
    if num==1: return 0
    for i in range(500):
        if num == 1: return i
        if num%2:
            num *= 3
            num += 1
        else: num//=2
        
    return -1

[프로그래머스] lv.2 멀리 뛰기 풀이

감자156 — Sun, 19 Nov 2023 22:57:40 +0900

문제

https://school.programmers.co.kr/learn/courses/30/lessons/12914

프로그래머스

programmers.co.kr

문제 풀이

dp를 설정해 이전값과 그 이전값을 더해주면 됨. 여기서 두 값의 의미는

이전값 : 이전 모든 경우에 +1 해주는 경우

그 이전값: 그 이전값의 모든 경우에 +2 해주는 경우

임. 아래 코드를 보면 결국 피보나치 꼴이 된다.

코드

def solution(n):
    dp = [0 for _ in range(n)]
    dp[0] = 1
    if n>1: dp[1] = 2

    for i in range(2,n):
        dp[i] = (dp[i-1] + dp[i-2])%1234567
        
    return dp[-1]