데이터시럽

GitHub - luchonaveiro/image-search-engine: Compare two different image search engine approaches developed with Deep Learning algorithms GitHub - luchonaveiro/image-search-engine: Compare two different image search engine approaches developed with Deep Learning alg Compare two different image search engine approaches developed with Deep Learning algorithms - GitHub - luchonaveiro/image-search-eng..

GROUP BY SELECT(명령) user_id, COUNT(*)(검색컬럼) FROM rental GROUP BY user_id(그룹화 기준); 그룹함수 활용 방법 SELECT user_id, SUM(컬럼명) FROM rental GROUP BY user_id; -- user_id가 같은 열에서 컬럼의 내용을 다 더한 값을 출력 SELECT user_id, AVG(컬럼명) FROM rental GROUP BY user_id; -- user_id가 같은 열의 컬럼의 평균을 출력 SELECT user_id, MAX(컬럼명) FROM rental GROUP BY user_id; -- user_id가 같은 열중에서 해당 컬럼명이 가장 큰 값을 출력 SELECT user_id, MIN(컬럼명) FROM rent..

Python 활용한 데이터 전처리/시각화 Chapter 2. 데이터 시각화 데이터 시각화는 데이터 분석과정에서 매우 중요한 부분입니다. 프로젝트 초기 단계 또는 리포팅 단계에서의 탐색적 데이터 분석(EDA)의 일환으로 결과를 다른 사람과 공유할 때 유용합니다. 또한 데이터를 시각화 하면 값의 분포나 값 사이의 관계를 확인하고 모델링을 위한 가설 도출을 하는데 도움이 됩니다. 1. Matplotlib 라이브러리 Matplotlib 개요 Matplotlib는 파이썬에서 데이터를 차트나 플롯(Plot)으로 그려주는 가장 많이 사용되는 데이터 시각화(Data Visualization) 패키지로 라인 plot, 바 차트, 파이차트, 히스토그램, Box Plot, Scatter Plot 등을 비롯하여 다양한 차트와..

Chapter 1. DataFrame 살펴보기 1. DataFrame이 뭔가요? DataFrame은 2차원(col과 row을 가짐)테이블 데이터 구조를 가지는 자료형 Data Analysis, Machine Learning에서 data 변형을 위해 가장 많이 사용 주의 : Series나 DataFrame은 대소문자가 구분되므로 Series, DataFrame으로 사용 In [1]: # pandas import import pandas as pd 1-1. DataFrame 만들어 보기 Dictionary 형으로 생성 In [2]: a1 = pd.DataFrame({"a" : [1,2,3], "b" : [4,5,6], "c" : [7,8,9]}) a1 Out[2]: abc012 1 4 7 2 5 8 3 6 ..

# 이미지 분할 (Segmentation) # 이미지 분할 : 이미지를 구성하는 모든 픽셀에 대하여 픽셀 단위로 분류하는 것. # 예) 배경 클래스와 객체 클래스로 구성된 이미지가 있다면, # 모든 픽셀은 배경 또는 객체 중 하나로 분류된다. # 이렇게 모든 픽셀에 대한 정답 클래스를 레이블 처리한 데이터셋을 가지고, # 딥러닝 모델을 훈련시키면 정답 클래스를 알지 못하는 새로운 이미지에 대해서도 배경과 객체를 분리할 수 있다. # 이미지 분할의 종류 # 의미 분할(Semantic Segmentation) : 같은 범주의 여러 객체를 하나의 범주로 묶어서 구분 # 인스턴스 분할 (Instance Segmentation) : 같은 범주에 속하더라도 서로 다른 객체로 구분하는 개념 # Mask R-CNN 논..

# 나만의 YOLO 모델 생성 # Darknet 수준의 YOLO 모델을 개인이 학습하기에는 # 컴퓨터 리소스도 많고, 시간도 너무 많이 걸린다는 점. # 검은색 바탕에 간단한 도형3개만 탐지하는 YOLO 모델을 구현 # YOLO 논문에서는 이미지를 가로 세로 각 7개의 셀로 나누어 총 49개의 셀을 기본으로 하지만, # 우리는 가로 세로 3개의 셀로 나누는 방식으로 문제를 단순화. # 논문에서는 한 셀당 2개의 박스를 그리지만, # 우리는 한 셀당 1개의 박스를 그리는 방식으로 수정. # 마지막 탐지할 객체의 종류인 Class도 3개로 줄여서 구현 In [1]: # 필요한 패키지를 임포트 함 import tensorflow as tf import numpy as np import cv2 from goog..

import In [ ]: import tensorflow as tf # tensorflow import tensorflow_hub as tfhub # tensorflow hub Data In [ ]: # 샘플 이미지 다운로드 # 위키디피아에서 제공하는 강남 지역의 거리 사진을 다운로드 후, 모델의 입력 형태에 맞게 전처리 img_path = 'https://upload.wikimedia.org/wikipedia/commons/thumb/c/c4/Gangnam_Seoul_January_2009.jpg/1280px-Gangnam_Seoul_January_2009.jpg' img = tf.keras.utils.get_file(fname='gangnam', origin=img_path) img = tf.io...

활성화 함수 (1) 뇌세포의 출력값 - 뇌세포는 항상 일정한 크기의 값을 출력함 (0 or 1) - 뇌세포의 출력물은 디지털 신호로 간주할 수 있음 (1) Sigmoid 함수 - 입력값을 0부터 1사이의 값으로 출력 (2) Tanh 함수 - -1 부터 1사이값으로 다듬어주며 입력값이 작을수록 -1에 가까운 값을 출력하고 입력값이 크면 1에 가까운 값을 출력하게 된다. 음수값을 사용하지 않으려는 추세가 등장하면서 선호도가 낮아짐 (3) ReLU 함수 - 0보다 작은값을 0으로 만들고, 0보다 큰 값은 그대로 출력한다. - 렐루는 뉴런의 활동을 모사하기 보단, 기울기 소실 문제(vanishing gradient problem)을 해결하기 위한 방법으로 조명됨 - 기울기 소실문제 : 딥러닝 신경망의 가중치 수..

클라우드 컴퓨팅의 종류와 특징 - Iaas - 서버, 스토리지, 네트워크를 필요에 따라 인프라 자원을 사용할 수 있게 클라우드 서비스를 제공하는 형태이다. 대표적인 기술로는 서버 가상화, 데스크톱 가상화 등이 있다. IaaS(Infrastructure as a Service) 관리 영역 IaaS(Infrastructure as a Service)의 특징 - 서버, 네트워크, 스토리지, OS를 가상화 하여 제공 - 가상화 자원을 UI 형태의 대시보드나 API를 통해 확인 및 관리 - 사용자는 OS, 미들웨어, 런타임, 데이터, 애플리케이션을 관리 - 공급자는 물리적인 자원과 전체적인 인프라를 관리 - 지원하게 되는 환경을 공유자원을 나눠 사용하게 되므로, 각각 가상화를 통해 나눠서 이를 사용하게 됨 Iaa..

실습 맛보기 Keras Tokenizer의 이해 In [14]: # 샘플 문장 sample_text1 = "안녕하세요 저는 양혜림입니다." sample_text2 = "★여러분 모두 만나서 반갑습니다!!!" sample_text3 = "◆HI HELLO Nice To meet you ☆" sample_text4 = "즐거운 하루 되세요. 저는 양혜림입니다." In [15]: # keras Tokenizer import 합니다. from tensorflow.keras.preprocessing.text import Tokenizer In [16]: # word_index dic으로 저장 합니다. # 해당 결과를 통해 어떻게 토크나이징이 되었는지 특징을 파악 가능합니다. # 공백으로 분리, 일부 기호 삭제 됩..