데이터시럽

Chapter 1. DataFrame 살펴보기 1. DataFrame이 뭔가요? DataFrame은 2차원(col과 row을 가짐)테이블 데이터 구조를 가지는 자료형 Data Analysis, Machine Learning에서 data 변형을 위해 가장 많이 사용 주의 : Series나 DataFrame은 대소문자가 구분되므로 Series, DataFrame으로 사용 In [1]: # pandas import import pandas as pd 1-1. DataFrame 만들어 보기 Dictionary 형으로 생성 In [2]: a1 = pd.DataFrame({"a" : [1,2,3], "b" : [4,5,6], "c" : [7,8,9]}) a1 Out[2]: abc012 1 4 7 2 5 8 3 6 ..

데이터 베이스란? 여러 사람이 공유해 사용할 목적으로 통합하여 관리되는 데이터의 모음 데이터베이스의 종류에 따라 사용 방법이 조금씩 다르지만, 데이터베이스에서 검색과 분석에 사용되는 기본 사용 방법은 데이터베이스 종류와 상관없이 동일 SQL 이란 Structured Query Language의 약자로 데이터 베이스에 접근하고 조작하기 위한 표준 언어 데이터베이스는 다양한 종류를 가지고 있지만, 가장 많이 사용되는 종류는 관계형 데이터베이스 비관계형 데이터베이스 관계형 데이터베이스 DB는 관계형 데이터베이스, 비관과형 데이터 베이스가 있으며 관계형 DB는 서로 관계가 있다는 의미 비 관계형 DB란 데이터가 서로 관계가 3개의 테이블이 연결되어 있는 것이 관계형 DB라고 할 수 있으며, 각 id들이 하늘색 ..

# 이미지 분할 (Segmentation) # 이미지 분할 : 이미지를 구성하는 모든 픽셀에 대하여 픽셀 단위로 분류하는 것. # 예) 배경 클래스와 객체 클래스로 구성된 이미지가 있다면, # 모든 픽셀은 배경 또는 객체 중 하나로 분류된다. # 이렇게 모든 픽셀에 대한 정답 클래스를 레이블 처리한 데이터셋을 가지고, # 딥러닝 모델을 훈련시키면 정답 클래스를 알지 못하는 새로운 이미지에 대해서도 배경과 객체를 분리할 수 있다. # 이미지 분할의 종류 # 의미 분할(Semantic Segmentation) : 같은 범주의 여러 객체를 하나의 범주로 묶어서 구분 # 인스턴스 분할 (Instance Segmentation) : 같은 범주에 속하더라도 서로 다른 객체로 구분하는 개념 # Mask R-CNN 논..

# 나만의 YOLO 모델 생성 # Darknet 수준의 YOLO 모델을 개인이 학습하기에는 # 컴퓨터 리소스도 많고, 시간도 너무 많이 걸린다는 점. # 검은색 바탕에 간단한 도형3개만 탐지하는 YOLO 모델을 구현 # YOLO 논문에서는 이미지를 가로 세로 각 7개의 셀로 나누어 총 49개의 셀을 기본으로 하지만, # 우리는 가로 세로 3개의 셀로 나누는 방식으로 문제를 단순화. # 논문에서는 한 셀당 2개의 박스를 그리지만, # 우리는 한 셀당 1개의 박스를 그리는 방식으로 수정. # 마지막 탐지할 객체의 종류인 Class도 3개로 줄여서 구현 In [1]: # 필요한 패키지를 임포트 함 import tensorflow as tf import numpy as np import cv2 from goog..

import In [ ]: import tensorflow as tf # tensorflow import tensorflow_hub as tfhub # tensorflow hub Data In [ ]: # 샘플 이미지 다운로드 # 위키디피아에서 제공하는 강남 지역의 거리 사진을 다운로드 후, 모델의 입력 형태에 맞게 전처리 img_path = 'https://upload.wikimedia.org/wikipedia/commons/thumb/c/c4/Gangnam_Seoul_January_2009.jpg/1280px-Gangnam_Seoul_January_2009.jpg' img = tf.keras.utils.get_file(fname='gangnam', origin=img_path) img = tf.io...

하루하루 최종 프로젝트가 단단해지고 있다. 오늘은 기존 고추 잎으로 해본 것을 고추에 있는 탄저병을 구분해보려고 한다. model은 yolo v5를 사용해서 학습을 실시해보자 (코랩에서는 사람들이 올려놓은 예제를 따라했을때 잘됬는데, 안되서 애좀 먹었다. 알고보니 폴더 구성을 잘못해서...ㄷㄷ;) 실행은 CPU환경으로 했다. import torch import utils display = utils.notebook_init() # checks YOLOv5 v6.1-325-g3e85863 Python-3.9.13 torch-1.12.0+cpu CPU Setup complete (16 CPUs, 31.9 GB RAM, 295.3/466.1 GB disk) PC의 Cuda 버전을 11.7 버전을 설치했는데, ..

최근 Transformer 기반의 모델들이 각광을 받고 있다. 관련 코드를 보고, AI hub에 있는 데이터셋을 받아서 고추 잎 이미지의 분류를 실시해보았다. ViT Image classification 모델 https://keras.io/examples/vision/image_classification_with_vision_transformer/ Keras documentation: Image classification with Vision Transformer Image classification with Vision Transformer Author: Khalid Salama Date created: 2021/01/18 Last modified: 2021/01/18 Description: Imple..

활성화 함수 (1) 뇌세포의 출력값 - 뇌세포는 항상 일정한 크기의 값을 출력함 (0 or 1) - 뇌세포의 출력물은 디지털 신호로 간주할 수 있음 (1) Sigmoid 함수 - 입력값을 0부터 1사이의 값으로 출력 (2) Tanh 함수 - -1 부터 1사이값으로 다듬어주며 입력값이 작을수록 -1에 가까운 값을 출력하고 입력값이 크면 1에 가까운 값을 출력하게 된다. 음수값을 사용하지 않으려는 추세가 등장하면서 선호도가 낮아짐 (3) ReLU 함수 - 0보다 작은값을 0으로 만들고, 0보다 큰 값은 그대로 출력한다. - 렐루는 뉴런의 활동을 모사하기 보단, 기울기 소실 문제(vanishing gradient problem)을 해결하기 위한 방법으로 조명됨 - 기울기 소실문제 : 딥러닝 신경망의 가중치 수..

책 내용 정리 데이터 파이프 라인 구축은 원하는 결과를 얻기 위해 여러 태스크 동작으로 구성한다. 데이터 파이프라인 그래프 태스크 간의 의존성을 확인하는 방법은 그래프로 표현 하는 것이다. 그래프에서 화살표의 최종 끝점은 태스크 A에서 B로 연결되고, B가 시작되기 전, A를 완료해야 된다는 의미이다. 이러한 그래프를 방향성 그래프 라고 한다. 이런 형태의 그래프는 일반적으로 방향성 비순환 그래프(Directed Acyclic Braph, DAG) 대그 라고 부르게 된다. 비순호나 그래프는 태스크 간의 순환 실행을 방지하기 때문에 매우 중요하며 그래프를 실행할 때, 순환 의존성을 발생시킨다. 순환그래프 의경우, 2가완료된 후 3이 실행되고 다시 2가 실행되는 논리적 오류 때문에 그래프가 동작하지 않는다 ..

클라우드 컴퓨팅의 종류와 특징 - Iaas - 서버, 스토리지, 네트워크를 필요에 따라 인프라 자원을 사용할 수 있게 클라우드 서비스를 제공하는 형태이다. 대표적인 기술로는 서버 가상화, 데스크톱 가상화 등이 있다. IaaS(Infrastructure as a Service) 관리 영역 IaaS(Infrastructure as a Service)의 특징 - 서버, 네트워크, 스토리지, OS를 가상화 하여 제공 - 가상화 자원을 UI 형태의 대시보드나 API를 통해 확인 및 관리 - 사용자는 OS, 미들웨어, 런타임, 데이터, 애플리케이션을 관리 - 공급자는 물리적인 자원과 전체적인 인프라를 관리 - 지원하게 되는 환경을 공유자원을 나눠 사용하게 되므로, 각각 가상화를 통해 나눠서 이를 사용하게 됨 Iaa..