python 기초정리

python으로 URL에서 자료 추출하기

• python 기본 라이브러리 urllib : 사용x, 더 강력한 온라인 라이브러리 사용하기 위해
• Request 사용o

HTML에서 정보 추출하기

• Beautiful Soup4

[Python3 / Mac ] 웹 크롤링을 위한 준비 - pip, requests, beautifulsoup4 설치

---

.string .text 차이점

.string 과 .text 차이가 무엇인가요 - 인프런 | 질문 & 답변

.string 태그 하위에 문자열을 객체화합니다. 문자열이 없으면 None을 반환합니다.

.text는 하위 자식 태그의 텍스트까지 문자열로 반환합니다. (유니코드 형식)

---

브라우저 응답 값과 크롤링 값이 다른 이유

크롤링에서는 User-Agent값을 상관하지 않지만 우리가 웹페이지를 들어갈 경우에는 User-Agent값이 관여해서
다르게 웹페이지를 내보내기 때문에 우리가 크롤링을 하여 보이는 값과 웹페이지로 들어갔을때 보여지는 값에
차이가 발생될 수 있다.

그러므로 크롤링을 할 때 User-Agent값을 넣어주게 되면 똑같이 동작이 되는 것을 확인할 수 있다.

import requests
from bs4 import BeautifulSoup

# URL = f"https://stackoverflow.com/jobs?q=python"
# headers = {"User-Agent" : 자신의 Agent(운영체제와 브라우저)에 대한 정보}

result = requests.get(URL,headers=headers)

User-Agent 값 확인하기

What is my user agent?

---

args *kwargs

def plus(a, b, *args, **kwargs):
    print(args)
    print(kwargs)
    return a + b

plus(1, 2, 1, 1, 1, 1, 1, 1, hello=True, my=True, name=True)

*args : 변수를 무제한으로 받을 수 있게 만듦

**kwargs : 키워드로 지정된 변수를 무제한으로 받을 수 있게 만듦

 

---

class

class    Car():
    windows = 4

porche = Car()
print(porche.windows)

>> 4

기본 형식

blueprint 설계도

구조체와 같이 내용물들을 담아서 저장할 수 있다.

 

class    Car():
    windows = 4

    def    start(self):
        print("start")

def hello():
    print("hello world")

class 안에 선언된 함수를 method라고 부른다.
hello에 경우에는 function

모든 method는 자기 자신을 첫 번째 argument로 가지기 때문에 self로 넣어주는 것이 좋다.

 

class    Car():
    windows = 4

print(dir(Car))

>> ['__class__', '__delattr__', '__dict__', '__dir__', '__doc__', 
        '__eq__', '__format__', '__ge__', '__getattribute__', '__gt__', 
        '__hash__', '__init__', '__init_subclass__', '__le__', '__lt__', 
        '__module__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', 
        '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', 
        '__weakref__', 'windows']

dir() : class안에 있는 모든 것들을 리스트로 보여준다.

 

str

해당 클래스가 호출될 경우 instance를 출력한다.

class    Car():
    windows = 4

porche = Car()
print(porche)
>> <__main__.Car object at 0x1085dcf70>

# =================================================

class    Car():
    windows = 4
    def __str__(self):
            return "hello"

porche = Car()
print(porche)
>> hello

class 내에 이미 존재하는 method를 가져와서 재정의 해주는 방식

 

init

생성자

class    Car():

    def __init__(self, **kwargs):
        self.windows = 4
        self.color = kwargs.get("color", "black")
        self.price = kwargs.get("price", "$20")

    def __str__(self):
        return "hello"

porche = Car(color="green", price="$40")
print(porche.color, porche.price)

mini = Car()
print(mini.color, mini.price)

>>green $40
    black $20

인스턴스를 만들 때 호출되는 특별한 메서드

 

상속

class    Car():

    def __init__(self, **kwargs):
        self.windows = 4
        self.color = kwargs.get("color", "black")
        self.price = kwargs.get("price", "$20")

    def __str__(self):
        return "hello"

class    convertible(Car):

def __init__(self, **kwargs):
        super().__init__(**kwargs)
        self.time = kwargs.get("time", 10)

def    take_off(self, **kwargs):
        return "taking off"

    def __str__(self):
        return "Car with no roof"

porche = convertible(color="green", price="$40")
print(porche)
print(porche.color)

>> Car with no roof
     green

super() : 부모 클래스를 호출하는 함수

super().init(**kwargs) 라는 문구를 적지 않았다면 init이 재선언이 되어

time 이라는 값만 남게 되지만 super를 호출하여 부모 클래스를 가져옴으로써 부모에 있는 값과

자식에 있는 값 모두 사용 가능

---

flask

from flask import Flask

app = Flask("SuperScrapper")

@app.route("/")

def    home():
    return ("HELLO! Welcome")

@app.route("/contact")

def    contact():
    return "Contact me!"

app.run(host="0.0.0.0")

@app.route() 에 경우에는 바로 밑에 있는 함수를 호출하는 방식

 

@app.route("/<username>")
def    contact(username):
    return f"Contact {username} me!"

위와 같은 방식으로 접속할 경우 URL/{username} 형식으로 들어가서 어떠한 값이 들어와도
Contact {username} me! 에 맞춰 반환이 된다

 

render_template

from flask import Flask, render_template

app = Flask("SuperScrapper")

@app.route("/")
def    home():
    return render_template("potato.html")

- main.py
- templates
        - potato.html

render_template : html 파일을 불러와서 적용시킨다

templates안에 있는 파일을 찾아서 적용시키는 방식
( templates 지정된 디렉터리 html 위치를 변경하거나 디렉토리 명이 다른 경우 실행이 되지 않음 )

 

request

from flask import Flask, render_template, request

@app.route("/report")
def report():
    word = request.args.get("word")
    return f"your word is {word}"

input으로 받은 argument 정보를 뽑아올 수 있다.

 

@app.route("/report")
def report():
    word = request.args.get("word")
    return render_template("report.html", SearchingBy=word)

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Job Search</title>
</head>
<body>
    <h1>Search Results</h1>
    <h3>You are looking for {{SearchingBy}}</h3>
</body>
</html>

이러한 형식으로 받을 값을 html에 넘겨줄 수 있다

---

flask vs Django

flask에 경우 적은 코드를 적어야 할 경우에는 나쁘지 않지만

실제로 db를 사용해야 하는 경우에는 Django보다 flask가 더 복잡하고 어려운 경우가 많다.

그래서 실제로는 flask를 잘 사용하지 않고 Django를 많이 사용하는 편