데이터시럽

import In [ ]: import tensorflow as tf # tensorflow import tensorflow_hub as tfhub # tensorflow hub Data In [ ]: # 샘플 이미지 다운로드 # 위키디피아에서 제공하는 강남 지역의 거리 사진을 다운로드 후, 모델의 입력 형태에 맞게 전처리 img_path = 'https://upload.wikimedia.org/wikipedia/commons/thumb/c/c4/Gangnam_Seoul_January_2009.jpg/1280px-Gangnam_Seoul_January_2009.jpg' img = tf.keras.utils.get_file(fname='gangnam', origin=img_path) img = tf.io...

하루하루 최종 프로젝트가 단단해지고 있다. 오늘은 기존 고추 잎으로 해본 것을 고추에 있는 탄저병을 구분해보려고 한다. model은 yolo v5를 사용해서 학습을 실시해보자 (코랩에서는 사람들이 올려놓은 예제를 따라했을때 잘됬는데, 안되서 애좀 먹었다. 알고보니 폴더 구성을 잘못해서...ㄷㄷ;) 실행은 CPU환경으로 했다. import torch import utils display = utils.notebook_init() # checks YOLOv5 v6.1-325-g3e85863 Python-3.9.13 torch-1.12.0+cpu CPU Setup complete (16 CPUs, 31.9 GB RAM, 295.3/466.1 GB disk) PC의 Cuda 버전을 11.7 버전을 설치했는데, ..

최근 Transformer 기반의 모델들이 각광을 받고 있다. 관련 코드를 보고, AI hub에 있는 데이터셋을 받아서 고추 잎 이미지의 분류를 실시해보았다. ViT Image classification 모델 https://keras.io/examples/vision/image_classification_with_vision_transformer/ Keras documentation: Image classification with Vision Transformer Image classification with Vision Transformer Author: Khalid Salama Date created: 2021/01/18 Last modified: 2021/01/18 Description: Imple..

활성화 함수 (1) 뇌세포의 출력값 - 뇌세포는 항상 일정한 크기의 값을 출력함 (0 or 1) - 뇌세포의 출력물은 디지털 신호로 간주할 수 있음 (1) Sigmoid 함수 - 입력값을 0부터 1사이의 값으로 출력 (2) Tanh 함수 - -1 부터 1사이값으로 다듬어주며 입력값이 작을수록 -1에 가까운 값을 출력하고 입력값이 크면 1에 가까운 값을 출력하게 된다. 음수값을 사용하지 않으려는 추세가 등장하면서 선호도가 낮아짐 (3) ReLU 함수 - 0보다 작은값을 0으로 만들고, 0보다 큰 값은 그대로 출력한다. - 렐루는 뉴런의 활동을 모사하기 보단, 기울기 소실 문제(vanishing gradient problem)을 해결하기 위한 방법으로 조명됨 - 기울기 소실문제 : 딥러닝 신경망의 가중치 수..

책 내용 정리 데이터 파이프 라인 구축은 원하는 결과를 얻기 위해 여러 태스크 동작으로 구성한다. 데이터 파이프라인 그래프 태스크 간의 의존성을 확인하는 방법은 그래프로 표현 하는 것이다. 그래프에서 화살표의 최종 끝점은 태스크 A에서 B로 연결되고, B가 시작되기 전, A를 완료해야 된다는 의미이다. 이러한 그래프를 방향성 그래프 라고 한다. 이런 형태의 그래프는 일반적으로 방향성 비순환 그래프(Directed Acyclic Braph, DAG) 대그 라고 부르게 된다. 비순호나 그래프는 태스크 간의 순환 실행을 방지하기 때문에 매우 중요하며 그래프를 실행할 때, 순환 의존성을 발생시킨다. 순환그래프 의경우, 2가완료된 후 3이 실행되고 다시 2가 실행되는 논리적 오류 때문에 그래프가 동작하지 않는다 ..

클라우드 컴퓨팅의 종류와 특징 - Iaas - 서버, 스토리지, 네트워크를 필요에 따라 인프라 자원을 사용할 수 있게 클라우드 서비스를 제공하는 형태이다. 대표적인 기술로는 서버 가상화, 데스크톱 가상화 등이 있다. IaaS(Infrastructure as a Service) 관리 영역 IaaS(Infrastructure as a Service)의 특징 - 서버, 네트워크, 스토리지, OS를 가상화 하여 제공 - 가상화 자원을 UI 형태의 대시보드나 API를 통해 확인 및 관리 - 사용자는 OS, 미들웨어, 런타임, 데이터, 애플리케이션을 관리 - 공급자는 물리적인 자원과 전체적인 인프라를 관리 - 지원하게 되는 환경을 공유자원을 나눠 사용하게 되므로, 각각 가상화를 통해 나눠서 이를 사용하게 됨 Iaa..

https://school.programmers.co.kr/learn/courses/30/lessons/42895 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 동적계획법 주어진 최적화 문제를 재귀적인 방식으로 보다 작은 부분 문제로 나누고, 부분 문제를 풀어서 전체 문제의 해답에 이르는 방식이다. 어디 까지 하고 이를 다시 탐색하는 방법으로 탐색 범위를 한정 할 수 있다. 피보나치 수열을 동적계획법에 적용 동적계획법을 사용하면, 문제를 부분으로 쪼개서 이를 해결한다. 앞의 문제를 풀고 이를 사용하여 다음문제에 활용한다. 대표적인 문제는 Knapsack ..

https://school.programmers.co.kr/learn/courses/30/lessons/42626 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 스코빌 지수가 되었든, 아니든 수가 주어질 것이다. N개의 수중에 가장 작은 것과 두번 째로 작은수에 *2를 써서 더하는 것을 몇 번 해야되는지 알아내는 문제이다. 제한사항을 보면 효율성 테스트도 포함되어 있다. 정렬을 통해 1 부터 12까지 본다. 1과 2중 2에 x2를 해주면 5가 나오고 이것을 다시 원소의 순서대로 넣어줌 다시 반복을 실시한다 13의 경우, 가장 뒤에 있는 12보타 크므로 가..

비지도학습 : 데이터가 주어질 때, 데이터에 대한 정답이 주어지지 않음 차원축소를 통해 모델에서 Clustring을 활용하며 어떤 데이터의 포인트에 답이나 레이블 없이 데이터 의 군집을 찾아낸다 60% 강아지 40% 고양이의 경우는 없음, 확률적으로 이를 보일 수 있지만 현실세계에서는 그렇진 않다. Hard clustering은 선을 그어서 이를 분류한다. 각각의 클래스가 조금씩 0이나 1로 섞여있다, 라고 할때 이를 soft clustring이라고 한다. 자연적으로 데이터가 일어난다고 하고 클래스가 지나갈 때, 점차적으로 움직이게 된다. Softclustring을 사용하지 못할때, HardClustring을 사용함 HardClustering 은 비슷한 데이터 포인트 끼리 모으는데, 비슷하게 뭉친 클러스..

실습 맛보기 Keras Tokenizer의 이해 In [14]: # 샘플 문장 sample_text1 = "안녕하세요 저는 양혜림입니다." sample_text2 = "★여러분 모두 만나서 반갑습니다!!!" sample_text3 = "◆HI HELLO Nice To meet you ☆" sample_text4 = "즐거운 하루 되세요. 저는 양혜림입니다." In [15]: # keras Tokenizer import 합니다. from tensorflow.keras.preprocessing.text import Tokenizer In [16]: # word_index dic으로 저장 합니다. # 해당 결과를 통해 어떻게 토크나이징이 되었는지 특징을 파악 가능합니다. # 공백으로 분리, 일부 기호 삭제 됩..