📌 간단 요약
- Node.js 설치
- 모듈 설치
- 키워드 정의
- 실행, 끝~
스레드 공식 API는 자신의 글과 관련된 동작만 지원하기 때문에 다른 사람의 인기있는 글을 가져올 수 없습니다.
그래서 웹 크롤러(수집기)를 써야 하는데, 이것도 스레드 로그인 여부 확인 등 제약이 많은데요.
이번 칼럼은 이 제약을 우회하여 특정 키워드를 넣었을 때 인기있는 글을 가져오는 프로그램 안내입니다.
저번 칼럼처럼 Node.js를 이용하여 PC에 저장해서 미니 캘린더로 과거 데이터를 볼 수 있게 되어 있고요.
아직 다듬어야 하는 부분이 좀 보입니다만, 우선 공유드립니다.
1. Node.js 설치
이 부분은 예전 글에서 2. node js 설치를 참고하여 주세요 .
2. 모듈 설치
작업 폴더를 하나 만듭니다.
해당 폴더에서 명령 프롬프트 창을 열고(탐색기 주소창에 cmd 입력) 아래 명령어를 입력합니다.
npm install axios cheerio rss-parser puppeteer
3. 키워드 정의
config.json 파일을 만들어서 아래와 같이 키워드를 정의합니다.
추출하고자 하는 키워드로 수정해 주세요.
{
"THREADS_KEYWORDS": ["1인창업", "AI마케팅", "AI수익화", "AI에이전트", "업무자동화", "사이드프로젝트"]
}
그리고 아래 파일들을 다운로드합니다.
4. 실행
명령 프롬프트에서 07.start.bat 파일을 실행하면 수집이 진행됩니다.
D:\workspace\threads.keyword.it>07.start.bat
D:\workspace\threads.keyword.it>node 07.fetch_threads_keywords.js
[Threads 실시간 크롤러] 엔진 가동 및 쓰레드 검색 스캐닝 시작...
[Threads] '1인창업' 키워드로 쓰레드 전체 검색 중...
-> '1인창업' 키워드 검색에서 4개의 실제 타인 글 수집 완료!
...
[PM 2:48:14] 💾 누적 업데이트 완료 (현재 날짜 총 25개 보관 중)
실행 완료 후 07.index.html 파일을 열면 추출된 스레드 게시물을 확인할 수 있습니다.
웹버전은 여기에서 확인하실 수 있습니다.
⚠️ 주의사항
가상 브라우저를 열어 실제 서핑하는 방식으로 동작하므로 (공백창이 하나 열림)
너무 자주 실행하면 과도한 크롤링으로 접속이 잠시 차단될 수 있습니다.
- 키워드 5개 정도: 1시간에 1번 실행 권장
- 키워드 5~10개 정도: 2시간 텀 권장
스레드 키워드 데이터를 추출하시면서 운영에 도움이 되시길 바랍니다.
여기까지 봐주셔서 감사합니다! 🎉