[tweepy] twitter API user 및 search 크롤링 함수

Posted on | In
트위터 API를 tweepy로 유저 및 키워드 검색을 통한 정보를 크롤링하는 함수 구현

Twitter_Crawler

How to Use

conn_api()

  • 트위터 API 정보 입력시 액세스 요청하는 함수

get_user_tweets()

  • 유저 타임라인의 트윗을 크롤링하는 함수
  • api : 트위터 API
  • username : 유저 ID 문자열

get_search_tweets()

  • 검색한 키워드의 트윗을 크롤링하는 함수
  • api : 상동
  • keyword : 검색할 키워드
  • page : 크롤링할 페이지 수

사용 예제

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
import tweepy

def conn_api(): # API 연결
    api_key = ''
    api_key_secret = ''
    access_token = ''
    access_token_secret = ''

    auth = tweepy.OAuthHandler(api_key, api_key_secret) # 핸들러 생성 및 개인정보 인증 요청
    auth.set_access_token(access_token, access_token_secret) # 액세스 요청

    return tweepy.API(auth) # twitter API 생성


def get_user_tweets(api, username): # user의 tweet data 크롤링
    result = api.user_timeline(username, tweet_mode='extended') # 140자 이상 문자열까지 크롤링
    return result

def get_search_tweets(api, keyword, page): # 검색어 데이터 크롤링
    result = []
    for i in range(1, page + 1):
        tweets = api.search(keyword)
        for tweet in tweets:
            result.append(tweet) # 크롤링 결과 삽입
    return result

for tweet in get_user_tweets(conn_api(), 'elonmusk'):
    print(tweet.full_text)
'''
@wadeanderson Noted. You should be able to press mic button & say “bug report …”
@coffeetabletsla @kimpaquette Ok
@kimpaquette A helpful case to consider, as the roads intersect at unusual angles
@pcgamer True
@bluemoondance74 @NASASpaceflight @SpaceX “Comes in discreet packaging”
@cnunezimages @SpaceX Well ya see we need to reach around the rocket to uhh …
@omespino 🤣
@SawyerMerritt @Tesla Absolutely! Tesla team rocks 💕
@Sushihunter2 @pitt_geoff @rajz06 @Tesla @Everman We use no cobalt at all in most of our cars & tiny amounts in others (going to zero soon), whereas phones & laptops primarily use cobalt
@RenataKonkoly @Erdayastronaut And booster used to be 70m, but this required an awkward half barrel width of steel, so now it’s 69m
@Nick_Stevens_Gr Haha so true of rocket engine development
@Teslarati @KlenderJoey https://t.co/lN4RH9u99a
@WholeMarsBlog Very much a beta calculation. It will evolve over time to more accurately predict crash probability.
@AaronS5_ Yes
FSD Beta request button goes live tonight, but FSD 10.1 needs another 24 hours of testing, so out tomorrow night
@thesheetztweetz Chris was an early employee of SpaceX, and made a significant contribution, but was not a cofounder
RT @SpaceX: More pics from @inspiration4x return → https://t.co/095WHX44BX https://t.co/Rxb49W4arV
https://t.co/2jsF5hTWCP
https://t.co/4QNllqZ75o
@SpaceXMR Maybe reality is a Rick & Morty episode
'''

for tweet in get_search_tweets(conn_api(), '샹치', 2):
    print(tweet.text)
'''
케이티가 자기가 없어도 살았으면 하는 바람이 큰 한편 케이티 죽음에 자신이 고통스러울지언정 자기 죽음에 케이티가 고통스러워하는 꼴은 절대 못볼 것 같은 샹치..영원히 같이 살아ㅠ
RT @shangkatynotbff: 혁명군 선봉장과 그를 사랑한 마지막 황가의 가족 설정을 성별 상관없이 사랑하는 편인데 얘네는 (내 기준) 둘 다 썩은 건 뒤집어 엎자 이미지라 이게 가능한가 싶고… 
텐링즈의 숨겨진 후계자 샹치와 텐링즈를 무너뜨…
@timeforshangchi 엔드게임은ㅋㅋㅋㅋㅋㅋ감독이 전에 나온 영화를 안보고 만들엇다고 인터뷰에서 말햇어요 걍 이거 넣으면 멋져보이겠지 하고 아무런 생각없이 넣은 게 많아요 아다리가 다 안맞는…그래서… https://t.co/ppFbBoCUfT
작업용 밥상도 생겼고 우울증이 심해지면 기초증상이 개인위생이나 청결은 기본이고 외모도 완전 방치하게 되어서 지금은 심기일전의 때! 하고 아쥬 저렴한 미용실을 발견해 펌했는데…머리손상이 기존에 하도 심해서 개… https://t.co/OWZR9nUW9z
RT @traceofjimin: [번역]

미국 배우 앤디 르(마블 신작 <샹치>의 데스 딜러 역) 지민 언급

#지민 #JIMIN https://t.co/a14jS0vfmr
RT @731yem: 사이좋은 형제들
#Thor #shangchi #샹치 https://t.co/uwqCKw792e
RT @traceofjimin: [번역]

미국 배우 앤디 르(마블 신작 <샹치>의 데스 딜러 역) 지민 언급

#지민 #JIMIN https://t.co/a14jS0vfmr
@mcu_guto 샹치가 빌런으로 흑화하든 아님 그냥 빠그라진 히어로로 남아있든... 케이티가 없으면 션이라는 이름도 아무런 의미가 없어지는 샹치가보고싶었어요...
RT @traceofjimin: [번역]

미국 배우 앤디 르(마블 신작 <샹치>의 데스 딜러 역) 지민 언급

#지민 #JIMIN https://t.co/a14jS0vfmr
RT @nookkaebb: 샹치 스토리 보드에 웬우 보면 진짜 걍.. 중국에 흔한 무술마스터 같은 머리스타일인데 아무래도 양조위한테 그런 머리를 시킬 순 없었던거지.... 그러니까 이런 꽃사슴같은 머리가 나왔지 https://t.co/oCqJD7vV…
@dropppthebeat 그니까요.... 샹치 굿즈 전부 유튜버한테 넘어가고 파는건 한개도 없어서 열받아요
RT @00tgamt: 만약에 내가 토니 아크 뽑는 웬우가 보고 싶다면 어쩔테지
#샹치 #웬우 #Avengers https://t.co/SzV7EQ8UTU
RT @sceneryoftoday: 샹치는 교포 이야기.. 인데.. 이걸 정확히 짚지 않으면 개빡치게 됨. 나의 HAN은 내 롤모델이 없다에서 오는 거라기 보단 내 롤모델의 머찜을 쉽게 없는 취급하는데서 오기 때문…..
@blue_2_5 저쪽집은 노잘젓네요.. 그래서 말인데 샹치는 굿즈를 더 내놔라
RT @sceneryoftoday: 샹치 인터뷰 보는데 “어릴 때 어땠어? 동양인 히어로 캐릭터는 없었잖아”라고 했더니 시무 리우가 약간 애매하게 “파워레인저는 봤는데”라고 하니까 약간 에이 그건 웃긴거지 이런식으로 넘어가는 장면을 지난주엔가 봤는데…
케이티가 자기가 없어도 살았으면 하는 바람이 큰 한편 케이티 죽음에 자신이 고통스러울지언정 자기 죽음에 케이티가 고통스러워하는 꼴은 절대 못볼 것 같은 샹치..영원히 같이 살아ㅠ
RT @shangkatynotbff: 혁명군 선봉장과 그를 사랑한 마지막 황가의 가족 설정을 성별 상관없이 사랑하는 편인데 얘네는 (내 기준) 둘 다 썩은 건 뒤집어 엎자 이미지라 이게 가능한가 싶고… 
텐링즈의 숨겨진 후계자 샹치와 텐링즈를 무너뜨…
@timeforshangchi 엔드게임은ㅋㅋㅋㅋㅋㅋ감독이 전에 나온 영화를 안보고 만들엇다고 인터뷰에서 말햇어요 걍 이거 넣으면 멋져보이겠지 하고 아무런 생각없이 넣은 게 많아요 아다리가 다 안맞는…그래서… https://t.co/ppFbBoCUfT
작업용 밥상도 생겼고 우울증이 심해지면 기초증상이 개인위생이나 청결은 기본이고 외모도 완전 방치하게 되어서 지금은 심기일전의 때! 하고 아쥬 저렴한 미용실을 발견해 펌했는데…머리손상이 기존에 하도 심해서 개… https://t.co/OWZR9nUW9z
RT @traceofjimin: [번역]

미국 배우 앤디 르(마블 신작 <샹치>의 데스 딜러 역) 지민 언급

#지민 #JIMIN https://t.co/a14jS0vfmr
RT @731yem: 사이좋은 형제들
#Thor #shangchi #샹치 https://t.co/uwqCKw792e
RT @traceofjimin: [번역]

미국 배우 앤디 르(마블 신작 <샹치>의 데스 딜러 역) 지민 언급

#지민 #JIMIN https://t.co/a14jS0vfmr
@mcu_guto 샹치가 빌런으로 흑화하든 아님 그냥 빠그라진 히어로로 남아있든... 케이티가 없으면 션이라는 이름도 아무런 의미가 없어지는 샹치가보고싶었어요...
RT @traceofjimin: [번역]

미국 배우 앤디 르(마블 신작 <샹치>의 데스 딜러 역) 지민 언급

#지민 #JIMIN https://t.co/a14jS0vfmr
RT @nookkaebb: 샹치 스토리 보드에 웬우 보면 진짜 걍.. 중국에 흔한 무술마스터 같은 머리스타일인데 아무래도 양조위한테 그런 머리를 시킬 순 없었던거지.... 그러니까 이런 꽃사슴같은 머리가 나왔지 https://t.co/oCqJD7vV…
@dropppthebeat 그니까요.... 샹치 굿즈 전부 유튜버한테 넘어가고 파는건 한개도 없어서 열받아요
RT @00tgamt: 만약에 내가 토니 아크 뽑는 웬우가 보고 싶다면 어쩔테지
#샹치 #웬우 #Avengers https://t.co/SzV7EQ8UTU
RT @sceneryoftoday: 샹치는 교포 이야기.. 인데.. 이걸 정확히 짚지 않으면 개빡치게 됨. 나의 HAN은 내 롤모델이 없다에서 오는 거라기 보단 내 롤모델의 머찜을 쉽게 없는 취급하는데서 오기 때문…..
@blue_2_5 저쪽집은 노잘젓네요.. 그래서 말인데 샹치는 굿즈를 더 내놔라
RT @sceneryoftoday: 샹치 인터뷰 보는데 “어릴 때 어땠어? 동양인 히어로 캐릭터는 없었잖아”라고 했더니 시무 리우가 약간 애매하게 “파워레인저는 봤는데”라고 하니까 약간 에이 그건 웃긴거지 이런식으로 넘어가는 장면을 지난주엔가 봤는데…
'''
0%