07/21(수) 스파르타 대학생 코딩 불꽃반 3강

0. 홈페이지에 API 붙이기 복습

$(document).ready(function () 에 바로 empty를 쓰는게 인상적이었음. 페이지 로딩이 되자마자, 일단 empty로 다 비우고, 그다음 함수 호출해서 하려는 동작 실행하기

 

1. 파이썬 

venv 가상환경 설정하는게 인상적인 부분. 또 이부분에서 체크하나를 잘못해서 시간 꽤 잡아먹었다.

프로젝트별 공구함이라는 설명이 직관적이었다. 라이브러리 버전 통일들, 협업할때 효율적일거 같다는 생각을 했다. 저 버벅이는 것 때문에 구글링에서 가상환경 설정 관련 여러자료 봤던게 오히려, 저것의 배경을 이해하는데 도움 되지 않았나 싶다.

 

기본 문법 같은 경우는 많이 공부해서 익숙했음. 단 request 같은 패키지 이용해서 openapi 가져오는것이 많이 익숙해졌다. 자바스크립트에서 했던 것과도 유사했던 듯.

 

2. 크롤링

if a_tag is not None: 이라는 조건을 줌으로써 오류 안나게 만드는 부분 인상적. 크롤링 하다보면 깔끔한 데이터들이 많지는 않을텐데, 이런부분들 센스있게 캐치하는게 중요한듯.

#old_content > table > tbody > tr')  tr:nth-child(2) 이런식으로 이어질떄 2,3,4 뒤의 숫자만 바뀌는 것이니

tr까지만 끊고 for 문을 돌리는 것 인상적. 

그리고 그다음 요소들은 tr안에 있는 요소인 경우 tr 뒤의 것들로만 적어주면 된다는 것도 핵심이었음.

a_tag = movie.select_one('td.title > div > a') 이런것처럼

 

3. mongodb

데이터베이스가 눈으로 보이지 않는다. 라는게 신기했음 그리고 이걸 보기위한게 robo3t

그전에 대략적으로만 알았던 sql과 nosql의 차이를 확실히 알게 됨.

sql은 행, 열 생김새 정해진 엑셀에 데이터 넣는것과 유사. 데이터 분석 이런거엔 좋으나, 정형화 되어있는 만큼 많은 데이터가 이미 있을때 새로운 열 추가 이런게 쉽지 않다는 점. 그래서 무조건 sql이 좋은 건 아니구나 느꼈음.

 

nosql은 딕셔너리 형태로 데이터를 저장한다는 점이 신박함. 좀 더 자유도가 높아서 초기 스타트업, 서비스에 오히려 적합하다!

 

same_ages = list(db.users.find({'age':21},{'_id':False}))  특정 조건에 부합하는 데이터 보기, 그중에서 특정 열값은 안보게 만들 수도!

doc = { 'rank' : rank, 'title' : title, 'star' : star }, db.movies.insert_one(doc)

db에 새로운 값 삽입할때 딕트로 도큐먼트 만들어서 삽입.

 

크롤링 할떄 strip 사용, 문자열 인덱싱, split 이용해서 공백 기준으로 텍스트 분리 등이 유용하게 쓰였다.

 

4. 전반적인 느낀점

지금까지 코딩하면서 가장 미지의 세계였던 벡엔드 쪽을 건드리게 된게 좋았고, 크롤링도 항상 간단하겐 할 수 있지만, 이론은 알지만 실제로 할 자신은 없었는데 생각보다 할만하다는 것을 느낌. 기본 구조만 가지고 있다면 그거 가지고 변형해가면서 코딩해가는게 잘못된게 아니고, 자연스러운거 실용적인거 라는 것을 느낌. 

향후에 서비스 만들어볼때  빅데이터 관련이면 오히려 mysql같은 것보다 mongodb를 쓰는게 효율적일 떄도 있겠다는 걸 알게됨. 이런부분이 기획할때 도움 되지 않을까?

웹 만드는 거 할때, openapi, 크롤링, 그리고 내가 사전지식으로 알고 있는 간단한 데이터 분석등을 같이 적용해서 만들면 꽤 괜찮은게 나올 거 같음.

 

5. AI선배

문제점, 그리고 그것의 해결방안을 적어가는 식으로 했는데 역시 중요한 것은 이 보고서의 전체 양식, 목차를 어떤식으로 구성할지 라는 것을 느낌. 그것을 잘 만드냐 아니냐에따라서 들어가는 인풋이 다르고 헛짓거리 하냐 안하냐가 달라지는 거 같음. 단 어느정도는 글로써보고 작업 해봐야 더 효율적인 목차, 구성을 판단할 수 있는듯. 아직은 딱보면 그거에 적합한 구성을 바로 떠올리는 정도는 아니라 생각.

능력 기르자!!!! 시간좀 효율적으로 쓰게~!~!~!~!