본문 바로가기

전체 글

(32)
Linux에서 대량 파일 처리하기 linux에서 한 경로(폴더)에 파일이 몰려서 저장되어 있는 경우 일반적인 명령어인 ll, ls는 성능이 나오지 않고 심지어는 부하가 가서 서버가 다운되어 장애가 난적이 있었다... (일반적인 상황은 아니고 부하로 인한 메모리 과점 ➡ abrt daemon fail ➡ 서버 hang ➡ DB down) 파일 처리에도 신중을 기하고 로그 저장할때는 일자별 디렉토리 설정이 필수..! 다량의 파일 처리하기(리스트, 삭제, 이동) Linux 에서 하나의 디렉토리에 너무 많은 파일이 존재할 때는 심각한 I/O 속도 저하를 보이게 된다. 한 디렉토리 내에 적정한 파일 갯수가 이론적으로나 현실적으로 존재하게 되는 데, 이를 비웃기 bunnyandpooh.tistory.com
[Network] IP 주소 클래스, 서브넷 마스크, CIDR 사이더 [vpc] https://docs.aws.amazon.com/ko_kr/vpc/latest/userguide/what-is-amazon-vpc.html [ipv4 vs ipv6] https://aws.amazon.com/ko/compare/the-difference-between-ipv4-and-ipv6/ [OSI 모델] https://aws.amazon.com/ko/what-is/osi-model/ [IP 클래스 · 서브넷 마스크 · 서브넷팅 계산법 💯 총정리] https://inpa.tistory.com/entry/WEB-IP-%ED%81%B4%EB%9E%98%EC%8A%A4-%EC%84%9C%EB%B8%8C%EB%84%B7-%EB%A7%88%EC%8A%A4%ED%81%AC-%EC%84%9C%EB%B..
MySQL Docker 구축 + 대소문자 문제 해결 window 10에서 spring-batch 프로젝트 환경구성을 위해 MySQL 구축 1. 환경세팅 (docker + intellij + docker plugin) Docker Desktop: The #1 Containerization Tool for Developers | Docker Docker Desktop is collaborative containerization software for developers. Get started and download Docker Desktop today on Mac, Windows, or Linux. www.docker.com 최고의 Java 및 Kotlin IDE인 IntelliJ IDEA를 다운로드하세요 www.jetbrains.com 2. docker-c..
GCP PDE (Professional Data Engineering) PDE Prep: BigQuery Essentials 푸는법 클라우드에 대해서 관심은 있었는데 어떻게 공부해야될까 고민하다가 Google Cloud의 자격증인 PDE를 공부해보고 있다. Professional Data Engineer Certification | Learn | Google Cloud A Google Certified Data Engineer creates data processing systems and machine learning models on Google Cloud. Learn how to prepare for the exam. cloud.google.com CloudSkillsBoost에서 강의를 듣던 중 한참동안 이론을 설명해주다가 BigQuery 실습이 나왔는데 그전까지도 실습에도 나오지 않았다! 대략적인 문제 설명과 푸는 방법 목표..
맥북(MacBook) 스크린 캡처 프로그램 - Shottr 요즘 사용중인 맥북용 스크린 캡처 프로그램, 다른 프로그램도 썼었는데 지금은 shottr이 가장 기능이 좋은것 같다. 내가 가장 필요했던건 캡처한 뒤에 간단하게 텍스트 입력 / 도형 그리기 등 편집하고 노션에 사용하기 위해 이미지 사이즈를 조절하는 기능이 필요했는데 다 들어있다. 섬세한 부분까지 좋았던게 ⇧ (shift) + ⌘ (command) + 2로 캡처한 뒤에 복사해주면 알아서 캡처 프로그램이 종료되어서 일일히 프로그램을 종료하는 수고를 덜어주는 여러가지 장점이 있다. Shottr – screenshot app for pixel professionals Shottr is a free macOS screenshot app with scrolling screenshots, OCR, annotation..
ChatGPT 자동화를 위해서 필요한점 (LangChain, Python, Prompt Engineering) ChatGPT 모델에 효과적으로 질문하는 방법은 뭘까? ChatGPT 질의를 자동화 하기 위해서 Python의 LangChain 프레임워크를 활용 Python을 사용하기 때문에 데이터를 전처리하고 시각화 하는 과정이 필요하고 아래 패키지를 사용 ChatGPT가 이해할 수 있는 레벨으로 상세한 명령을 내리는것이 중요 LangChain으로 상세한 명령을 공장화(자동/대량생산) API는 보통 조회당 과금이 되기 때문에, LangChain Agent와 같이 함수 1회 실행에 API가 여러번 요청되는 경우 조심해야한다. DB를 직접 연결하는 것은 위험성이 있음. ChatGPT가 DB에 접속하여 학습할 수 있음 DB에 Write를 할 수 있음 코드 생산성 증가시키는 작업 외에도 창작(초안 작성)에 활용
파이썬으로 알고리즘 풀 때 꿀팁: 리스트와 문자열 그리고 변수형 프로그래밍 언어의 변수들은 Mutable(변하고)과 Immutable(안변하는) 유형으로 나뉜다. (차이) (유형별 변수형들은 맨아래에 정리해두었다.) 안변하는 유형의 변수형들은 함수를 통해 붙이기(s = "a"; s += "b")을 지원하지만 실상은 새로운 변수를 선언하면서 만들어지고 있는 것이다. ("a"가 저장된 s와 "ab"가 저장된 s의 id가 다름) 고로, 알고리즘을 풀때 Mutable Variable을 이용하여 푸는게 빠르다. In [9]: a Out[9]: ['1', '5', '1', '5'] In [10]: s = "a" In [11]: id(s) Out[11]: 140737384645504 In [12]: s += "b" In [13]: id(s) Out[13]: 242561211076..
[부동산용어#3] 대출을 신청하면 얼마까지 받을 수 있을까? 대출 한도 (LTV, DTI, DSR) 새해가 되자 잊었던 자기계발에 대한 의지가 다시 타올랐고 부자가 되고자 하는 마음가짐이 다시 떠올랐다. 그래서 이전에도 깔짝 했었던 부동산 공부를 다시 시작했다. 돈이 없는 우리는 부동산을 손도 못대볼까? 그건 아니다. 리츠(유사 부동산 펀드)도 있지만 주식과 결이 같은것 같아서 직접 부동산 투자/실거주를 할 수 있는 대출을 알아보기로 한다. 1. 대출 받는법 (정말 간단하게) 대출가이드 직장명, 연소득, 입사일 등 고객정보를 입력합니다. (인증서 인증을 통해 온라인서류 제출 가능) * 허위기재로 인한 대출신청을 할 경우 위법한 행위로서 민/형사상 책임을 물을 수 있습니다. m.shinhansavings.com 한도 조회 -> 대출 신청 -> 대출 심사 -> 대출 승인 -> 대출 실행의 단계로 구성되어 ..