데이터시럽

"AI 시대가 오면 더이상 개발자는 필요 없게 된다."뉴스 기사, 칼럼, 유튜브 영상 등 굉장히 많이 볼 수 있는 주제 입니다하지만 LLM 모델을 자주 사용해본 사람들이라면 적어도 지금은 그러지 않을것 이라는 것을 알 수 있을 것입니다.그렇다면 AI모델을 서포터의 역할로 대하며, 개발에 도움을 받는것은개발자가 할 수 있는 최적의 답이라고 생각할 수 있습니다.그렇다면 소프트웨어를 개발하는 개발자들이어떻게 하면 최적의 도움을 받을 수 있을지 고민하는 개발자들이 많을 것입니다.는그러한 개발자들에게 지침서가 되줄 수 있는 책입니다. 이 책은 현재 나온 AI모델 중 가장 인기가 많은 ChatGpt를 통해어떻게 개발을 효과적으로 할 수 있는지 자세하게 설명해주고 있습니다.저자가 생각하는 효과적으로 ChatGPT를 ..

최신 LLM 모델들을 공부하시다 보면JAX, Flax 라이브러리를 많이 들어보셨을 거라 생각합니다.JAX와 Flax는 아직 딥러닝 모델 시장에서 활성화 되지는 않았지만, 시장을 잠식해가고 있는 메타플랫폼스의 파이토치에대항마로 구글에서 최근에 밀어주고 있는 라이브러리 인데요,JAX와 Flax는 각각 2018년, 2020년에 구글리서치에서 개발하여 사용하고 있습니다.  지은이들은 모두의 연구소 'JAX/ Flax LAB'로 구성된 멤버분들이라고 합니다.모두의 연구소는 여러 LAB을 운영하면서,AI에 관한 여러 LAB을 운영하는 걸로 유명한데요,현업자들과 연구자분들이 뭉쳐서 책을 지으셨다고 합니다. 모두의 연구소의 풀잎스쿨을 여러번 참여한 경험이 있었는데요,다들 열정이 넘치고 적극적으로 활동해주셨던 분들이 많..

대한민국은 자바공화국이라고할 정도로 java가 많이 쓰입니다.이유는 전자정부프레임워크 표준프레임워크 포털 eGovFrame본문 내용 바로가기 대메뉴 바로가기 소개 구성 구성상세 버전별 구성 오픈소스 SW 현황 아키텍쳐 라이선스 적용사례 추진성과 기술지원내역 컨트리뷰션 센터소개 지원서비스 적용지원 서비스www.egovframe.go.kr에서 정부 및 공공기관, 공기업 등의 웹사이트에 자주 쓰이는 공통 기능들을 Java의 Spring 프레임워크와 유명 Java 라이브러리(MyBatis, Jackson, Apache Commons 등)를 가지고 미리 만들어 놓은 가이드를 통해 웹개발을 많이 진행하고 있어서 그렇습니다.(개발자로 취업을 하고 싶다면 java와javascript를 공부하라고 많이 하죠ㅠ) 하지만,..

러스트 맛집 제이펍에서 이번에 신간을 출시 했습니다. 입니다.러스트 언어는 최근 몇 년간 많은 주목을 받고 있는데요,2024년 2월 백악관에서 C와 C++의 사용 중단을 권고하는내용의 보고서를 발간했던 사건이 유명하죠,당시 C와 C++의 안전성에 대해 지적하며,안전한 프로그래밍언어로 러스트를 언급했습니다.https://www.ciokorea.com/news/327256 백악관, 'C'와 'C++' 사용 중단 촉구··· 전문가들 "시의적절한 권고"바이든 행정부가 버퍼 오버플로 및 기타 메모리 액세스 취약성을 유발하는 프로그래밍 언어에서 벗어날 것을 촉구했다. Image Crwww.ciokorea.com 러스트는 여러가지 특성이 있는데요,1. 메모리 안전성: 러스트는 컴파일 시간에 메모리 안전성을 강제하며...

파이썬 시계열 예측 분석은 데이터 과학 분야에서 실무자들에게 필수적인 시계열 예측 분석을 다루는 종합적인  방법에 대해 다룬 가이드라고 생각된다.이 책은 특히 데이터 사이언티스트, 분석가, 엔지니어 등 실무자들에게 유용한 내용을 담고 있다. 한 때, 데이터분석가의 꿈을 키웠던저에게는 매우 반가운 책이였습니다. 시계열 예측은 통계분석의 꽃이라고 생각된다. 표지의 그림은 라는 그림인데, 드 생소뵈레르라는 화가가 그린 그림이라고 한다. 생소뵈르의 작품들은 200년 전만 해도 세계 도시와 지역의 문화의 다양성을 보여줬는데,이를 빗대어 요즘 비슷비슷한 IT 책들 사이에서 독창성과 진취성을 나타내고자 이 표지를 선택했다고 한다. 대상독자는 다음과 같다. 통계 혹은 머신러닝에 처음 입문하는 사람들이 대상이되기 보단,..

개발자들은 어떻게 데이터를 관리하고 조작하는데 어떻게 효율적으로 할 수 있는지 개발 프로젝트 시, 항상 매우 중요하게 고려되는 사항입니다. SQL은 데이터를 관리하는데 있어서 최적의 도구라고할 수 있습니다. SQL을 통해 데이터의 흐름을 이해하고, 데이터베이스의 성능을 최적화하며, 비즈니스 요구사항에 맞는 데이터 솔루션을 설계할 수 있습니다.  또한, 데이터 분석가나 데이터 과학자와 협업할 때도 SQL은 중요한 커뮤니케이션 도구로 작용합니다.2023년 StackOverFlow 기준, SQL은 4위를 차지하며 개발언어들을 뒷바침해주는 데이터 언어로 자리매김을 하고 있습니다. https://survey.stackoverflow.co/2023/#most-popular-technologies-language S..

3월에 정보처리기사 필기시험을 보고 합격한 뒤, 2번의 낙방 끝에 결국 합격하게 되었다..ㅠ(정처기만 1년 공부함) 실기 합격한지 3달정도 지났는데 늦은 후기를 작성해본다. 난이도 https://namu.wiki/w/%EC%A0%95%EB%B3%B4%EC%B2%98%EB%A6%AC%EA%B8%B0%EC%82%AC/%EC%B6%9C%EC%A0%9C%EA%B2%BD%ED%96%A5 정보처리기사/출제경향 - 나무위키 2018년 1회 필기 합격률은 55%, 실기 합격률은 53.8%이다. 업무 프로세스 부분이 지문만 자세히 읽으면 쉽게 풀 수 있는 수준으로 나와서 15점을 거저 먹을 수 있었던게 큰 요인으로 작용한 것이 컸다 namu.wiki 나무위키에 쓴 출제경향처럼 실기는 제대로 하지 않은사람들은 거르겠다는 ..

회사 프로젝트 진행 시, Docker는 더이상 선택사항이 아닌, 필수사항인거 같다. 거기에 쿠버네티스나 docker-compose와 같이 Docker들을 관리할 수 있는 시스템은 얹을 뿐..., 분산 시스템 환경에서 대규모 컨테이너를 다룬다면 쿠버네티스가 최적의 선택지 이지만, 설치 뿐 아니라 관리가 만만치 않다는 단점이 있다. 그에 반해 docker swarm을 기반한 docker service을 이용한다면 쿠버네티스보다는 유연성은 떨어지지만, 관리 및 구현 난이도가 상대적으로 간단하기 때문에 대규모 시스템이 아니면 충분히 매력적인 선택지 이다. 이번 프로젝트에서 YOLOV5 서버를 구축하는 역할을 맡았다. inference를 사용할 inference.py를 작성하고 (yolov5의 detect.py에..

단일 nvidia docker로 docker 내부에서 nvidia gpu 사용시 --gpus all(또는 번호) 명령어를 붙여주면 gpu 사용이 가능하다. docker run -it --gpus all {image}:{tag} nvidia-smi 그런데 docker swarm에는 --gpus all처럼 gpu를 할당하는 명령어가 없다. swarm에서 gpu할당하여 docker service를 올려야 했기 때문에 docker swarm에 gpu를 할당하는 방법들을 찾아보았다. OS : ubnutu 18.04 설치 : docker, nvidia-docker 두가지 설치 된 상태 https://gist.github.com/tomlankhorst/33da3c4b9edbde5c83fc1244f010815c Ins..

설치방법 JDK version 11 설치 아파치 카프카 다운로드 리눅스에서 컨텐츠 추출 kafka 관리 플랫폼 컨덕터에서 제공해주는 설치방법을 참고하였다. https://www.conduktor.io/kafka/how-to-install-apache-kafka-on-linux/ https://www.conduktor.io/kafka/how-to-install-apache-kafka-on-linux/ www.conduktor.io Installing Java JDK 11 https://docs.aws.amazon.com/corretto/latest/corretto-11-ug/downloads-list.html Downloads for Amazon Corretto 11 - Amazon Corretto Tha..