IT (18) 썸네일형 리스트형 Linux에서 대량 파일 처리하기 linux에서 한 경로(폴더)에 파일이 몰려서 저장되어 있는 경우 일반적인 명령어인 ll, ls는 성능이 나오지 않고 심지어는 부하가 가서 서버가 다운되어 장애가 난적이 있었다... (일반적인 상황은 아니고 부하로 인한 메모리 과점 ➡ abrt daemon fail ➡ 서버 hang ➡ DB down) 파일 처리에도 신중을 기하고 로그 저장할때는 일자별 디렉토리 설정이 필수..! 다량의 파일 처리하기(리스트, 삭제, 이동) Linux 에서 하나의 디렉토리에 너무 많은 파일이 존재할 때는 심각한 I/O 속도 저하를 보이게 된다. 한 디렉토리 내에 적정한 파일 갯수가 이론적으로나 현실적으로 존재하게 되는 데, 이를 비웃기 bunnyandpooh.tistory.com [Network] IP 주소 클래스, 서브넷 마스크, CIDR 사이더 [vpc] https://docs.aws.amazon.com/ko_kr/vpc/latest/userguide/what-is-amazon-vpc.html [ipv4 vs ipv6] https://aws.amazon.com/ko/compare/the-difference-between-ipv4-and-ipv6/ [OSI 모델] https://aws.amazon.com/ko/what-is/osi-model/ [IP 클래스 · 서브넷 마스크 · 서브넷팅 계산법 💯 총정리] https://inpa.tistory.com/entry/WEB-IP-%ED%81%B4%EB%9E%98%EC%8A%A4-%EC%84%9C%EB%B8%8C%EB%84%B7-%EB%A7%88%EC%8A%A4%ED%81%AC-%EC%84%9C%EB%B.. MySQL Docker 구축 + 대소문자 문제 해결 window 10에서 spring-batch 프로젝트 환경구성을 위해 MySQL 구축 1. 환경세팅 (docker + intellij + docker plugin) Docker Desktop: The #1 Containerization Tool for Developers | Docker Docker Desktop is collaborative containerization software for developers. Get started and download Docker Desktop today on Mac, Windows, or Linux. www.docker.com 최고의 Java 및 Kotlin IDE인 IntelliJ IDEA를 다운로드하세요 www.jetbrains.com 2. docker-c.. GCP PDE (Professional Data Engineering) PDE Prep: BigQuery Essentials 푸는법 클라우드에 대해서 관심은 있었는데 어떻게 공부해야될까 고민하다가 Google Cloud의 자격증인 PDE를 공부해보고 있다. Professional Data Engineer Certification | Learn | Google Cloud A Google Certified Data Engineer creates data processing systems and machine learning models on Google Cloud. Learn how to prepare for the exam. cloud.google.com CloudSkillsBoost에서 강의를 듣던 중 한참동안 이론을 설명해주다가 BigQuery 실습이 나왔는데 그전까지도 실습에도 나오지 않았다! 대략적인 문제 설명과 푸는 방법 목표.. 맥북(MacBook) 스크린 캡처 프로그램 - Shottr 요즘 사용중인 맥북용 스크린 캡처 프로그램, 다른 프로그램도 썼었는데 지금은 shottr이 가장 기능이 좋은것 같다. 내가 가장 필요했던건 캡처한 뒤에 간단하게 텍스트 입력 / 도형 그리기 등 편집하고 노션에 사용하기 위해 이미지 사이즈를 조절하는 기능이 필요했는데 다 들어있다. 섬세한 부분까지 좋았던게 ⇧ (shift) + ⌘ (command) + 2로 캡처한 뒤에 복사해주면 알아서 캡처 프로그램이 종료되어서 일일히 프로그램을 종료하는 수고를 덜어주는 여러가지 장점이 있다. Shottr – screenshot app for pixel professionals Shottr is a free macOS screenshot app with scrolling screenshots, OCR, annotation.. ChatGPT 자동화를 위해서 필요한점 (LangChain, Python, Prompt Engineering) ChatGPT 모델에 효과적으로 질문하는 방법은 뭘까? ChatGPT 질의를 자동화 하기 위해서 Python의 LangChain 프레임워크를 활용 Python을 사용하기 때문에 데이터를 전처리하고 시각화 하는 과정이 필요하고 아래 패키지를 사용 ChatGPT가 이해할 수 있는 레벨으로 상세한 명령을 내리는것이 중요 LangChain으로 상세한 명령을 공장화(자동/대량생산) API는 보통 조회당 과금이 되기 때문에, LangChain Agent와 같이 함수 1회 실행에 API가 여러번 요청되는 경우 조심해야한다. DB를 직접 연결하는 것은 위험성이 있음. ChatGPT가 DB에 접속하여 학습할 수 있음 DB에 Write를 할 수 있음 코드 생산성 증가시키는 작업 외에도 창작(초안 작성)에 활용 파이썬으로 알고리즘 풀 때 꿀팁: 리스트와 문자열 그리고 변수형 프로그래밍 언어의 변수들은 Mutable(변하고)과 Immutable(안변하는) 유형으로 나뉜다. (차이) (유형별 변수형들은 맨아래에 정리해두었다.) 안변하는 유형의 변수형들은 함수를 통해 붙이기(s = "a"; s += "b")을 지원하지만 실상은 새로운 변수를 선언하면서 만들어지고 있는 것이다. ("a"가 저장된 s와 "ab"가 저장된 s의 id가 다름) 고로, 알고리즘을 풀때 Mutable Variable을 이용하여 푸는게 빠르다. In [9]: a Out[9]: ['1', '5', '1', '5'] In [10]: s = "a" In [11]: id(s) Out[11]: 140737384645504 In [12]: s += "b" In [13]: id(s) Out[13]: 242561211076.. [Algorithm 동기부여] 알고리즘 자동 업로드 크롬 확장 프로그램 Leethub(LeetCode + Github) 오랜만에 알고리즘을 풀었다. 나는 왜이렇게 머리가 돌아가지 않을까 정말 울고싶다. 앞으로 공부를 열심히 하기로 했다 그것이 새해니까.. 알고리즘을 풀때 github 잔디심기로 동기부여하기로 했다. Leethub라는 크롬 확장 프로그램이 있다. LeetCode와 LeetCode - The World's Leading Online Programming Learning Platform Level up your coding skills and quickly land a job. This is the best place to expand your knowledge and get prepared for your next interview. leetcode.com Github를 GitHub: Let’s build f.. [MacBook Application / 맥북 어플] cmd(terminal)를 iterm2로 바꿔보자 + 패키지관리 (homebrew) + 꾸미기 (oh-my-zsh) Oh My ZSH+ iTerm2로 터미널을 더 강력하게 ZSH란? medium.com 1. iterm2 설치 : 터미널에 탭도 추가할 수 있고 인터페이스 개선 2. homebrew 설치 : OSS(오픈소스소프트웨어) 패키지 관리 프로그램 3. oh-my-zsh 설치 : 명령어(git, docker 등) 추천 기능, 예상 명령어 기능 등 많은 기능이 있는것 같지만 나는 테마를 쓰기위해 사용한다. vim ~/.zshrc로 THEME 설정하러 가자 ZSH_THEME를 인기있는 "agnoster"로 바꾸고 source ~/.zshrc를 하게되면 터미널에 적용되는데 글씨체가 깨진다. 1. powerline 2. D2Coding 두가지 추천 폰트가 있는데 D2는 Naver에서 만든 국산이므로 먼저 사용해야될것 같아.. [MacBook Application / 맥북 어플] 윈도우 창 분할 하기 Spectacle 옆집은 기본으로 제공하는 윈도우 분할 기능을 맥북도 한번 해보자. 인기가 많은 Magnet도 좋지만 Magnet Every time you multitask with many apps open, you need all the windows arranged accordingly. Magnet makes this process swift and easy. In one drag to the edge of your display, you size any app into half of the screen. And by dragging its windows to corn apps.apple.com 나는 기본 기능을 쓰다가 불편함을 느꼈을때 업그레이드 하는것을 선호하는 편이라 무료 어플인 spectacle을 써보.. 이전 1 2 다음
