개발노트

개발 기초1. 싱글톤2. 지연(Lazy)3. 스레드4. IOCP5. 멀티 스레딩6. 멀티 프로세싱7. pub/sub8. rcp9. 원격 캐시10. 메시지 브로커11. OpenTelemetry12. 로깅13. 관심사 분리(cross cutting concern)14. DI15. DIP18. OAuth219. JWT20. 동시성 제어21. Race Condition22. SSL 통신1. Http 통신2. Socket 통신3. DNS4. CDN5. Nginx6. LB L4 L77. Reverse Proxy8. API Gateway9. CI/CD1. AWS K8s2. Service Node Pod3. VPC4. Docker5. Container6. Docker Compose 리눅스1. fork2. spwan3..

https://lick-today.vercel.app/ Lick Today | 매일 5개의 기타 릭#1 블루스 셔플 with 드럼 백킹 A major · Blues · 120 BPMlick-today.vercel.app https://github.com/DhongGyuOh/lick-today GitHub - DhongGyuOh/lick-todayContribute to DhongGyuOh/lick-today development by creating an account on GitHub.github.com

1. 새 프로젝트 생성 2. 서비스 계정 으로 접속 후, 서비스 계정 만들기https://console.cloud.google.com/iam-admin/serviceaccounts Google 클라우드 플랫폼로그인 Google 클라우드 플랫폼으로 이동accounts.google.com 3. 키 생성https://console.developers.google.com/apis/api/aiplatform.googleapis.com/overview?project=vertex-ai-20260411 Google 클라우드 플랫폼로그인 Google 클라우드 플랫폼으로 이동accounts.google.comVertex ai 활성화 https://console.cloud.google.com/apis/library/aip..

그냥 간단하게 보여주려고 씀 문자열 a + b 하는 코드를 워크 스페이스로 구성한다면 아래와 같다. 테스트 실행하기

https://blog.open-network.co.kr/dify-installation-windows#dify%EB%A5%BC-windows-%ED%99%98%EA%B2%BD%EC%97%90-%EC%84%A4%EC%B9%98%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95-0 Dify 설치하기(2) : Windows - Open Network SystemDocker Desktop, Windows WSL2, Git을 이용하여 터미널에서 설치하는 방법 | Difyblog.open-network.co.kr wsl 설치dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestartdi..

요즘 사이트들은 동적인 액션으로 랜더링된 html 을 가져올 수 있음(스크롤, 클릭, 로그인 등)이런 동작들을 브라우저에서 해주는게 Playwright 와 Selenium 임이걸로 매크로도 가능하겠는데? 요즘 사이트는React / Vue SPA버튼 클릭해야 데이터 나옴로그인 후 로딩스크롤해야 추가 로딩 (Infinite Scroll)AJAX로 데이터 호출이런 건 requests로는 빈 껍데기 HTML만 받음 🔥 Playwright의 역할진짜 브라우저를 실행 → JS 실행 → 렌더링 완료 → 완성된 DOM 가져오기예시)1. Chromium 실행 2. 페이지 접속 3. JS 실행 완료 대기 4. 버튼 클릭 5. 스크롤 6. 렌더링 완료된 HTML 획득Playwright 를 사용해본다.from playwri..

1) pandas를 이용해 DataFrame으로 정리하고 CSV 파일로 저장하는 방법을 정리한다.pandas 는Python에서 가장 많이 사용되는 데이터 분석 라이브러리다.표 형태 데이터 처리엑셀처럼 데이터 관리CSV 저장통계 분석 가능크롤링 이후 데이터 가공 단계에서 거의 필수라고 보면 된다.pip install pandas 2) DataFrame 생성import requestsfrom bs4 import BeautifulSoupimport pandas as pdurl = "https://example.com"res = requests.get(url)soup = BeautifulSoup(res.text, "lxml")titles = []contents = []# 예시: h2 = 제목 / p = 내용ti..

1) 페이지를 이동하면 page= 라는 파라미터에 숫자가 변경된다.2) for문 돌리기import requestsfrom bs4 import BeautifulSoupfor i in range(1, 5): response = requests.get(f'https://mroh1226.tistory.com/?page={i}') html = response.text soup = BeautifulSoup(html, 'lxml') titles = soup.select("strong.tit_post") print(f"Page {i}") for t in titles: print(t.get_text(strip=True))

soup 사용법# 1. 딱 하나만 확실히 찾고 싶을 때 (대부분 제목, 가격, 평점 등)elem = soup.find("태그이름", class_="클래스명") # ← 가장 많이 씀elem = soup.find("div", {"class": "prod_main_info"}) # dict 스타일 (가끔 class에 공백 여러 개 있을 때 유용)# 2. 여러 개를 리스트로 받고 싶을 때items = soup.find_all("li", class_="prod_item") # 결과: 리스트[, , ...]items = soup.find_all("div", attrs={"data-goodsno": True}) # 속성 존재 여부로 찾기# 3. CSS 선택자 스타일 (제일 ..

1) 파이썬 라이브러리 설치pip install requests beautifulsoup4 lxml Playwrightpython -m playwright installrequests → 웹 페이지 요청beautifulsoup4 → HTML 파싱lxml → 빠른 파서Playwright → 브라우저 동작브라우저 엔진 설치2) jupyter 설치파이썬 코드를 실행해주는 인터프리터pip install notebook 해도 됨 3) 파이썬 인터프리터 설치 4) 파서 연결하기import requestsfrom bs4 import BeautifulSoupresponse = requests.get('https://blog.naver.com/thebigsun')html = response.textsoup = Beaut..