나보단 잘하자

1. 셀레니움 만으로 로그인하기 2. 장고 템플릿을 통해 입력받아 로그인하기 3. 로그인 결과창에 맞는 정보 크롤링 그래서 왜 셀레니움인가? 잘 알려진 크롤링, 스크래핑 관련 웹 드라이버는 beautifulSoup4와 셀레니움이 있다. 내가 느낀 이 둘의 큰 특징은 beautifulSoup4: 아주 상당한 속도!! 하지만 오직 정적 데이터(html 등 데이터가 정적으로 유지되는)만 크롤링 가능. selenium: 아주 느린 속도... 하지만 자바스크립트 등 휙휙 변하는 동적 데이터도 크롤링이 가능하다! 그래서 로그인만 bs4를 사용하고 그 이후의 크롤링은 selenium으로 이용할 수 없을까 생각도 해 보았으나, 그러한 예시는 어디에도 없었다. 때문에 어쩔 수 없이 selenium을 사용하게 됐다. 로그..

jae04099.tistory.com/119?category=883054 [Python] VSCode로 Django 시작하기(venv 포함) 셀레니움 관련 프로젝트를 하려고 하다 장고를 공부하는 지경까지 와버렸다. 헷갈려서 몇번이고 다시 만들어보았던 윈도우 vscode로 장고 프로젝트 구조 만드는 방법을 쉽게 적어보려고 한다. vsc jae04099.tistory.com 위의 글 다음부터 시작합니다. 프로젝트 구조는 위와 같습니다. 프로젝트는 project라고, 앱은 app이라고 이름지어주는 것이 가독성이 좋습니다. html 파일은 loginapp 내에 templates라는 폴더를 만들어 넣을 것 입니다. css, image, javascript 파일은 loginapp 내에 static 폴더를 만들어 넣..

프로젝트 개발 계기학부시절, 기말고사가 끝나면 기다리게 되는 것은 랜덤한 날짜에 발표되는 성적이었다.이제는 본인 학교 성적이 발표가 되면 알림으로 떠서 오지만, 지금은 안정되었나 모르겠다. 가끔 알림이 안뜨는 경우도 있었다.또한, 이번 학기 성적을 확인하기 위해서는 상당히 복잡한 절차를 걸쳐서 들어갔어야 했다. 세어본 결과, 로그인 버튼 포함 5번을 클릭해야 한다.그래서 아이디와 비밀번호만 입력하면 바로 이번학기 성적이 뜨는 서비스가 있으면 어떨까 라는 생각 끝에 개발하게 됐다. 사용한 개발재료들파이썬 Django - 서버파이썬 Selenium - 학교 포털사이트 크롤링(파싱). bs4는 html과 css등 실시간으로 바뀌지 않는 정적인 데이터만 불러올 수 있다. 성적은 자바스크립트로 개발 돼, 업데이트..