데이터시럽

0. 개요 가. 패키지 설치 및 라이브러리 호출 In [16]: import warnings # 불필요한 경고 출력을 방지합니다. warnings.filterwarnings('ignore') import subprocess import sys import pandas as pd import numpy as np import pickle import hashlib def install(package): subprocess.check_call([sys.executable, "-m", "pip", "install", package]) install("folium") install("seaborn") install("xgboost") 나. 강의 목차 1.데이터 수집 2.데이터 전처리 3.데이터 시각화 4.모델링..

import tensorflow as tf # 실행마다 동일한 결과 얻기 위한 랜덤시드 적용 tf.keras.utils.set_random_seed(42) # 텐서플로 연상을 결정적으로 만든다. # 시작부분 입력 tf.config.experimental.enable_op_determinism() 손실곡선 In [ ]: from tensorflow import keras from sklearn.model_selection import train_test_split In [ ]: (train_input, train_target), (test_input, test_target) = keras.datasets.fashion_mnist.load_data() Downloading data from https://s..

텐서플로 Pooling 풀링 레이어는 플래튼 이후에 사용되는 가중치의 개수를 적게 유지하기 위해 입력으로 사용할 칼럼 수를 조정하는 것이 목적임 맥스풀링의 원리 : (6,6) 사이즈의 이미지가 있다고 할 때, 그 절반인 (3,3) 크기의 사이즈로 이미지를 줄이는 것임 맥스풀링은 유의미한 정보를 남기면서 사이즈를 줄이는것이 목적 In [1]: import tensorflow as tf import pandas as pd In [5]: # 데이터를 준비하고 (독립, 종속), _ = tf.keras.datasets.mnist.load_data() 독립 = 독립.reshape(60000, 28, 28, 1) 종속 = pd.get_dummies(종속) print(독립.shape, 종속.shape) (60000, ..

컨볼루전(Conv2D) 컨볼루전은 이미지 처리 신호 분야에서 매우 유용한 도구임 이미치 처리에서 특정 패턴의 특징이 어느 부분에 등장하는지 파악하는데 사용함 특징 맵(feature map) : 대상 이미지로부터 필터를 통해 특징을 잡아냄 컨볼루전 필터 하나는 대상 이미지를 보고 특징 맵 이미지 하나를 만들게 된다. 필터 하나가 이미지 하나를 만듬 필터는 가중치로 이루어져 있고 컴퓨터는 특징맵을 만들어내는 컨볼루션 필터를 학습한다. 히든 레이어르 추가하는 것은 지정한 노드 개수 만큼 컴퓨터에 분류를 위한 가장 좋은 특징을 찾아 다랄고 요청하는 것임 Conv2D 실습 In [3]: # 라이브러리 사용 import tensorflow as tf import pandas as pd In [4]: # 데이터 준비..

텐서플로 플래튼 플래튼 레이어(Flatten Layer)를 활용한 이미지 학습 모델을 만들어 보자 플래튼은 영상을 일차원으로 바꿔주는 역할을 한다. 플래튼이 없는 모델과 있는 모델의 차이를 알아보자 In [30]: import tensorflow as tf import pandas as pd In [31]: # with reshape (독립, 종속),_ = tf.keras.datasets.mnist.load_data() 독립 = 독립.reshape(60000, 784) 종속 = pd.get_dummies(종속) print(독립.shape, 종속.shape) (60000, 784) (60000, 10) In [32]: # 모델을 만들고 X = tf.keras.layers.Input(shape = [784]..

이미지 데이터의 이해 차원의 이해 차원 : 칼럼의 관점에서 각 데이터들은 2차원 평면에서 점으로 표현될 수 있다. 여기서 변수를 하나 더 추가한다면, 3차원 공간이 된다. 즉, 칼럼의 갯수가 n개라면, n차원의 공간의 한 점으로 표현이 가능하다. 이미지 데이터 이미지 데이터는 숫자들의 집합이 2차원 형태로 이루어져 있다. 예를 들어 (28,28)가로세로가 이루어져 있다면, 이 안에 숫자는 두개를 곱한 784개의 숫자가 존재한다. 이러한 이미지가 6만장 준비되어 있다면 (60000, 28, 28)의 형태가 되는것이다. 흑백이미지와 다르게, 컬러 이미지는 숫자 집합이 3개 존재한다. 각각 R(red) G(green) B(blue) 3가지로 구성되는 숫자들이다. 컬러는 각 칸에 숫자가 3개씩 들어 있다. 빨강..

텐서플로 히든레이어를 이용한 보스턴 집값 예측 텐서플로를 이용해서 보스턴 집값을 예측해보자 독립변수 : crim, zn, indus, chas, nox, rm, age, dis, rad, tax, tratio, b, lstat 종속변수 : medv medv는 해당타운의 주택들 가격의 중앙값을 나타냄 회귀알고리즘을 사용하여 딥러닝을 통한 예측을 실시함 이번에는 히든레이어를 추가하여 집값을 예측해본다. 히든레이어 : 입력레이어와 출력 레이어 사이에 추가한 부분을 히든레이어라고 하며, 입력과 출력 사이에 하나의 층을 쌓아서 구성한 모델임 예를 들어 총 5개의 노드가 있다면 5개의 퍼셉트론이 필요하다. 히든레이어는 1층만 쌓아서 실시해보자 텐서플로 히든레이어를 이용한 아이리스 품종 붓꽃 데이터를 분류실시 하고자..

붓꽃 데이터 분류 붓꽃 데이터를 분류실시 하고자 함 독립변수 : 꽃잎길이, 꽃잎 폭, 꽃받침 길이, 꽃받침 폭 종속변수 : 품종 분류 알고리즘으로서 범주형인 종속변수를 더미화 시켜줘야 함 활성화 함수 = 확률값으로 만들어주기,(softmax 사용) In [6]: import pandas as pd import tensorflow as tf import numpy as np In [8]: 파일경로 = 'https://raw.githubusercontent.com/blackdew/tensorflow1/master/csv/iris.csv' 아이리스 = pd.read_csv(파일경로) 아이리스.head() Out[8]: 꽃잎길이꽃잎폭꽃받침길이꽃받침폭품종01234 5.1 3.5 1.4 0.2 setosa 4.9 ..

import pandas as pd import tensorflow as tf import numpy as np 보스턴 집값 예측 텐서플로를 이용해서 보스턴 집값을 예측해보자 독립변수 : crim, zn, indus, chas, nox, rm, age, dis, rad, tax, tratio, b, lstat 종속변수 : medv medv는 해당타운의 주택들 가격의 중앙값을 나타냄 회귀알고리즘을 사용하여 딥러닝을 통한 예측을 실시함 In [22]: 파일경로 = 'https://raw.githubusercontent.com/blackdew/tensorflow1/master/csv/boston.csv' 보스턴 = pd.read_csv(파일경로) In [23]: print(보스턴.columns) 보스턴.hea..

https://www.tensorflow.org/tutorials/keras/classification?hl=ko 기본 분류: 의류 이미지 분류 | TensorFlow Core 기본 분류: 의류 이미지 분류 이 튜토리얼에서는 운동화나 셔츠 같은 옷 이미지를 분류하는 신경망 모델을 훈련합니다. 상세 내용을 모두 이해하지 못해도 괜찮습니다. 여기서는 완전한 텐서플 www.tensorflow.org fashion_mnist = tf.keras.datasets.fashion_mnist In [ ]: import pandas as pd import tensorflow as tf import matplotlib.pyplot as plt In [ ]: fashion_mnist = tf.keras.datasets.fa..