본문 바로가기
케라스 창시자에게 배우는 딥러닝 : 5장 컴퓨터 비전 보호되어 있는 글입니다.
케라스 창시자에게 배우는 딥러닝 : 2. 신경망의 구성요소 2019. 1. 16. 19:01 2장. 신경망 구조와 구성요소 '케라스 창시자에게 배우는 딥러닝' 교재 2장을 요약정리한 내용입니다. - 신경망을 위한 데이터 표현 - 텐서 연산 - Gradient 기반 최적화 1. 신경망을 위한 데이터 표현텐서(Tensor)란 다차원 Numpy 배열이다...2D 텐서는 행렬!!여기서 D는 Dimension의 약자로 텐서에서 종종 axis로 부르기도 하며, rank와 같은 말(D=axis갯수=rank).단, 이건 텐서에서의 표현, 벡터내에서 표현하는 차원은 원소의 갯수(tensor와는 다르게 쓰임) 1) 스칼라 (Scalar, 0D tensor) - 하나의 숫자를 의미. - ndim으로 차원을 뽑으면 0차원이라고 나옴. - 텐서의 축(axis)의 갯수를 rank라고 부름. 2) 벡터 (vector, 1..
Recurrent Neural Network (RNN) 2018. 11. 4. 19:36 Recurrent Neural Network (RNN) 어떻게하면 입력 데이터의 순서를 Network가 이해할 수 있을까? IDEA : 이전 입력값의 처리결과를 다음 출력에 반영하자! 위 그림의 좌측부분을 펼친게 오른쪽 그림이 된다. - 먼저, 입력을 살펴보면 순서대로 좌->우로 흘러간다. 아래첨자로 t가 붙었다는 건 time의 개념이 들어갔고, 이것이 sequential한 느낌을 갖는다고 생각할 수 있다.(그렇게 생각하도록 하자) - 간단한 예로 문장은 여러 단어로 쪼개질 것이다. 여기서 단어가 위 그림의 입력이 된다.(X0, X1, ....Xt) X0~Xt까지 t+1이 Sequence length가 된다. - A라는 상자(여기서는 Cell 이라 하자)로부터 2개의 처리결과가 나온다. 하나는 outpu..
Convolutional Neural Network(CNN) 2018. 11. 1. 16:17 Convolutional Neural Network(CNN) 이미지 분류에서 강력한 성능을 보이는 Convolutional Neural Network를 알아보자. convolution? : 하나의 함수와 또 다른 함수를 반전 이동한 값을 곱한 다음, 구간에 대해 적분하여 새로운 함수를 구하는 수학 연산자 (wikipedia) : 쉽게 말해 원본이미지에 무언가를 곱해준다는 의미 : 즉, CNN은 이미지에 무언가를 계속 곱해주는 것으로 볼 수 있다. 좀 더 자세히 알아보자. 가장 좌측의 이미지 데이터(array)가 가운데 3x3 filter를 통과하는데, 그냥 통과시키는게 아니라, Convolution, 즉 이 둘을 곱하여 하나의 값으로 출력한 convolution feature map을 출력해낸다.(가장 ..
이미지 데이터 다루기 2018. 10. 31. 17:03 이미지 데이터 다루기 (Image Handling) 간단간단하게 코드를 통해 설명하겠습니다. 아래의 패키지를 먼저 import해줍니다. import os from scipy.misc import imread, imresize import matplotlib.pyplot as plt %matplotlib inline 이미지의 shape을 print해보기 위해 간단한 출력함수를 만들어줍니다. def print_typeshape(img): print("Type is %s" % (type(img))) print("Shape is %s" % (img.shape,)) 먼저, 저는 코드를 실행시키는 위치와 동일선상에 img 폴더(디렉토리)를 만들어 그 안에 고양이, 강아지, 젖소 등의 사진을 넣어놓았습니다. 아래를 ..
소프트맥스(Softmax) 2018. 10. 25. 18:26 소프트맥스(Softmax) 함수? : 주로 분류(Classification)문제에서 사용되는 함수 # example a = np.array([0.3, 2.9, 4.0]) exp_a = np.exp(a) sum_exp_a = np.sum(exp_a) y = exp_a / sum_exp_a print(y) # 출력 : [0.01821127 0.24519181 0.73659691] # softmax 구현 def softmax(a): exp_a = np.exp(a) sum_exp_a = np.sum(exp_a) y = exp_a / sum_exp_a return y Problem : Overflow : 값이 너무 커져서, 표현할 수 있는 범위를 초과해버려 nan값이 출력될 위험 존재# example : over..
활성화 함수(Activation Function) 2018. 10. 24. 16:39 활성화 함수(Activation Function)? : 입력신호의 총합을 출력신호로 변환하는 함수 : 크게 가중치를 곱한 입력신호의 총합을 계산, 이걸 활성화 함수에 집어넣어 결과를 출력하는 두 가지 단계로 계산이 이루어진다. 1. Step function(계단 함수): 활성화함수처럼 임계값을 경계로 출력이 바뀌는 함수를 Step Function이라 한다. # step funtion 시각화 # step function을 한줄로 만들어보자 def step_function(x): return np.array(x > 0, dtype=np.int) x = np.arange(-5.0, 5.0, 0.1) y = step_function(x) plt.plot(x,y) plt.ylim(-0.1, 1.1) # y축 범위..
퍼셉트론(Perceptron)과 다층 퍼셉트론(MLP) 2018. 10. 24. 14:55 1. 퍼셉트론(Perceptron)이란? : 프랑크 로젠블라트가 1957년에 고안한 알고리즘으로 Neural-Network(신경망)의 기원이 되는 알고리즘.: 가장 오래되고 단순한 형태의 판별 함수 기반 예측 모형(discriminant function based predition model) 중 하나: 퍼셉트론은 다수의 신호를 받아(input) 하나의 신호(0 또는 1)로 출력(output). x1, x2라는 신호 입력이 y라는 신호로 출력이 되는 과정 자체가 퍼셉트론입니다.이때 각 입력신호(x1,x2)는 weight(w1,w2)가 곱해지게 됩니다.** 동그라미를 뉴런 혹은 노드라고 말한다. 1) Weight(가중치), Bias(편향치), Theta(임계점) : 입력 신호는 각 weight와 곱해져 w..

티스토리툴바