음성·유튜브 텍스트 변환 무료로 끝내기 (Whisper 로컬)

회의록, 강의 녹음, 유튜브 영상까지 음성 텍스트 변환을 완전 무료·무제한으로 끝내는 법. 파일을 서버에 올리지 않고 내 PC에서 바로 처리하는 Whisper 로컬 활용법을 정리했다.

TL;DR
클로바노트·다글로는 무료라지만 월 사용 시간에 한도가 있고, 파일이 외부 서버를 거친다. Whisper를 내 PC에 로컬로 설치하면 시간 제한도 없고 파일이 밖으로 나가지도 않는다. 설치는 5분이면 끝나고, 비개발자도 브라우저 화면만으로 다룰 수 있다.

녹음 파일 하나 텍스트로 바꾸려다가 결제 화면 앞에서 멈칫한 경험, 한 번쯤 있을 것이다. 클로바노트에 파일을 올렸더니 "이번 달 무료 시간이 모두 소진되었습니다"라는 안내가 뜬다. 다글로도 마찬가지다. 앱으로 직접 녹음하면 무제한이라지만, 이미 가진 녹음 파일이나 유튜브 링크를 올리려는 순간 한도가 걸린다. 강의 몇 개만 돌려도 월 무료 시간이 바닥나는 구조다.

여기서 드는 의문 하나. "애초에 시간 제한 자체가 없는 방법은 없을까?" 있다. 클로바노트나 다글로가 서버에서 대신 처리해주는 만큼 그 대가로 시간을 제한하는 것뿐, 그 처리 과정을 내 컴퓨터가 직접 떠맡으면 얘기가 달라진다. OpenAI가 공개한 음성 인식 모델 Whisper를 로컬에 설치하면 파일 길이나 개수와 무관하게, 그리고 완전히 무료로 음성을 텍스트로 바꿀 수 있다.

클로바노트·다글로 vs Whisper 로컬 — "무료"의 실제 조건

먼저 정직하게 비교하고 넘어가자. 클로바노트·다글로가 나쁜 서비스라서가 아니라, 각자 설계된 용도와 한계가 다르기 때문이다. 클로바노트는 개인정보 수집·활용에 동의하면 월 600분, 동의하지 않으면 월 300분까지 무료로 제공한다. 이 사용 시간은 매달 1일이 아니라 가입일 다음 날 자정 기준으로 갱신된다. 다글로는 앱으로 직접 녹음하면 무제한 무료지만, 이미 있는 파일이나 유튜브 링크를 업로드해서 변환하는 경우에는 무료 플랜 기준 월 20시간·하루 5회 수준의 한도가 있는 것으로 알려져 있다(요금제 개편이 잦은 편이라 이용 전 공식 요금제 페이지 확인을 권장한다).

두 서비스 모두 공통점이 하나 있다. 내가 올린 음성 파일이 일단 회사 서버로 전송된 뒤 그곳에서 텍스트로 변환된다는 점이다. 반면 Whisper를 로컬로 설치하면 파일이 내 컴퓨터 밖으로 나가는 일 자체가 없다. 변환도, 저장도 전부 내 하드디스크 안에서 끝난다.

항목	클로바노트	다글로	Whisper 로컬
무료 한도	월 300~600분	앱 녹음 무제한, 파일 업로드는 한도 있음	제한 없음(파일 길이·개수 무관)
데이터 위치	네이버 서버	다글로 서버	내 PC(외부 전송 없음)
화자 분리	지원	지원	추가 설정 시 지원(pyannote)
오프라인 사용	불가	불가	가능(모델 다운로드 이후)
비용	무료 + 유료 요금제	무료 + 유료 요금제	완전 무료(오픈소스)
진입 난이도	매우 쉬움(앱 설치만)	매우 쉬움(앱 설치만)	초기 설치 5분 필요

정리하면 이렇다. 짧은 녹음을 가끔 처리한다면 클로바노트·다글로로 충분하다. 하지만 강의를 몰아서 텍스트로 남기거나, 회사 미팅처럼 외부에 유출되면 안 되는 내용을 다룬다면 Whisper 로컬 쪽이 근본적으로 유리하다. 시간 제한이 아예 없고, 파일이 밖으로 나갈 경로 자체가 없기 때문이다.

Whisper란 — 음성이 텍스트가 되는 원리

Whisper는 OpenAI가 2022년 공개한 음성 인식(STT, Speech-to-Text) 모델이다. MIT 라이선스 오픈소스라서 개인이든 회사든 별도 비용 없이 다운로드해 사용할 수 있다. 지금은 large-v3 모델과 그 경량화 버전인 large-v3-turbo(줄여서 turbo)가 널리 쓰인다. turbo는 large-v3보다 디코더 레이어 수를 32개에서 4개로 줄여, 정확도는 거의 유지하면서 처리 속도를 크게 끌어올린 버전이다(공개 벤치마크 기준 약 6~8배 빠름 — 하드웨어와 측정 조건에 따라 편차가 있다).

Whisper가 소리를 문장으로 바꾸는 과정은 세 단계로 나눠 보면 이해하기 쉽다.

1. 멜 스펙트로그램 변환: 원본 오디오 파형을 사람의 귀가 소리를 인식하는 방식과 비슷한 주파수 그래프(스펙트로그램)로 바꾼다. 컴퓨터가 파형 그 자체보다 이 그래프를 훨씬 잘 다룬다.
2. 인코더 — 특징 압축: 이 그래프를 트랜스포머 인코더에 넣어 "이 구간에서 어떤 소리 특징이 나타났는가"를 숫자 벡터로 압축한다. 사람이 녹음을 들으며 억양·발음 패턴을 머릿속에 정리하는 과정과 비슷하다.
3. 디코더 — 토큰 순차 생성: 압축된 특징을 바탕으로 디코더가 단어(정확히는 토큰)를 한 개씩 예측해 문장을 완성한다. 앞서 생성한 단어를 참고해 다음 단어를 이어가는 방식이라, 문맥이 자연스럽게 이어진다.

여기서 로컬 처리의 보안 원리도 함께 짚을 필요가 있다. 클로바노트나 다글로처럼 서버에서 처리하는 서비스는 이 세 단계 전체가 회사 데이터센터의 GPU에서 실행된다. 즉 내 음성 파일이 인터넷을 거쳐 외부 서버로 전송되는 구간이 반드시 존재한다. 반면 Whisper를 로컬에 설치하면 위 세 단계가 전부 내 컴퓨터의 CPU 또는 GPU 안에서 끝난다. 인터넷 연결 없이도 동작하며, 파일이 외부로 나갈 네트워크 경로 자체가 실행 과정에 존재하지 않는다. "보안이 강하다"는 표현보다 정확히 말하면, 유출될 통로가 애초에 설계에 없다는 뜻이다.

5분 설치 — 비개발자도 시작하는 Whisper-WebUI

Whisper는 원래 명령줄(터미널)로 다루는 도구지만, 오픈소스 커뮤니티가 만든 Whisper-WebUI(jhj0517)를 쓰면 브라우저 화면만으로 조작할 수 있다. 코드를 한 줄도 몰라도 된다.

준비물

• 윈도우 PC (Git, Python 3.10~3.12, FFmpeg 필요 — 설치 스크립트가 대부분 자동 처리)
• 저장 공간 여유 5GB 이상 (모델 파일 다운로드용)
• GPU는 필수 아님. 없어도 CPU로 동작하지만 속도 차이가 크다(뒤에서 다룸)

설치 순서

1. GitHub에서 Whisper-WebUI 저장소를 내려받는다.
2. Install.bat을 실행한다. 필요한 패키지가 자동으로 설치된다.
3. start-webui.bat을 실행하면 로컬 웹 서버가 뜨고, 브라우저에 조작 화면이 열린다.
4. 모델 선택 메뉴에서 turbo를 고른다. 속도와 정확도 균형이 가장 좋아 일반 사용자에게 권장된다. 정확도를 극한까지 끌어올리고 싶다면 large-v3를 선택하면 된다.
5. 파일 업로드 칸에 음성 파일을 끌어다 놓고 실행 버튼을 누르면 끝이다. 결과는 TXT, SRT, VTT 등 원하는 형식으로 내려받을 수 있다.

파일 하나 처리하는 데 걸리는 시간은 원본 길이, 모델 종류, GPU 유무에 따라 크게 달라진다는 점만 기억해 두자. 자세한 속도 이야기는 아래 "한계와 주의점"에서 다룬다.

용도별 실전 활용 — 회의록·강의·인터뷰·유튜브

같은 Whisper라도 목적에 따라 설정을 조금씩 바꿔야 결과물의 품질이 달라진다. 네 가지 대표 사례로 나눠 보자.

회의록 — 화자 분리

여러 명이 참여한 회의 녹음은 "누가 말했는지" 구분이 되어야 진짜 회의록 역할을 한다. Whisper-WebUI는 pyannote 화자 분리 모델을 연동해 이 기능을 지원한다. 다만 pyannote 모델은 HuggingFace 계정으로 이용 약관에 동의하고 접근 토큰을 발급받아야 활성화된다. 한 번만 설정해두면 이후에는 클로바노트처럼 화자별로 구분된 텍스트를 받을 수 있다.

강의 녹음 — 긴 파일 처리

1시간 이상의 강의나 세미나 녹음처럼 긴 파일은 클로바노트라면 월 무료 시간을 순식간에 소진시키는 주범이다. Whisper 로컬은 파일 길이에 시간 한도가 없으므로, 여러 개를 밤새 돌려놓는 방식으로 대량 처리도 가능하다.

인터뷰 — 민감 정보는 로컬이 강점

취재, 상담, 법률·의료 관련 인터뷰처럼 발화 내용 자체가 민감한 경우 외부 서버를 거치지 않는다는 점이 실질적인 이점이 된다. 앞서 설명한 대로 로컬 처리는 데이터가 인터넷으로 나갈 경로가 없기 때문이다.

유튜브 자막 — 링크 입력으로 SRT 추출

Whisper-WebUI는 유튜브 링크를 직접 입력하면 오디오를 자동으로 내려받아 변환해준다. 유튜브 영상 텍스트 변환을 무료로 반복해서 돌려야 하는 상황(강의 아카이빙, 콘텐츠 리서치 등)에 특히 유용하다. 결과를 SRT 자막 파일로 뽑으면 영상 편집 툴에 바로 얹을 수 있다. 만약 GUI가 아니라 코드로 직접 파이프라인을 구성하고 싶다면 파이썬으로 유튜브 동영상 텍스트 변환하기 글을 참고하면 된다. 스크립트 형태로 커스터마이징하려는 경우에는 파이썬 음성 파일 텍스트 변환 기초부터 보는 것을 추천한다.

정확도 높이는 팁 — 모델 선택과 전처리

Whisper를 설치했다고 끝이 아니다. 같은 파일이라도 설정에 따라 정확도가 눈에 띄게 갈린다.

구분	turbo	large-v3
속도	매우 빠름	느림(turbo 대비 수 배)
정확도	대부분 언어에서 large-v2 수준	가장 정확, 특히 저자원 언어에서 우세
추천 상황	일반 회의·강의·유튜브	정확도가 절대적으로 중요한 인터뷰·기록

정확도를 더 끌어올리고 싶다면 다음 세 가지를 함께 챙기자.

• 노이즈 전처리: 배경 소음이 심한 녹음은 변환 전에 노이즈 제거 도구를 한 번 거치면 오인식이 줄어든다.
• 고유명사·전문용어 대응: Whisper는 initial prompt(초기 프롬프트) 입력을 지원한다. 회사명, 인명, 전문 용어를 미리 텍스트로 넣어주면 해당 단어를 맞게 인식할 확률이 올라간다.
• 모델 크기와 속도의 트레이드오프 이해: 급한 작업엔 turbo, 결과물을 최종본으로 써야 한다면 large-v3로 한 번 더 돌려서 대조하는 것도 방법이다.

한계와 주의점 — 언제는 로컬이 답이 아닌가

장점만 늘어놓는 건 정직하지 않다. Whisper 로컬 방식에도 분명한 한계가 있다.

• GPU 없는 PC는 느리다: CPU만으로 돌리면 대형 모델일수록 체감 속도가 크게 떨어진다. 짧은 녹음이라도 몇 배 시간이 더 걸릴 수 있다.
• 3시간 이상 긴 파일: 처리 자체는 가능하지만 컴퓨터를 오래 점유하게 된다. 급하게 결과가 필요한 상황이라면 미리 여유 시간을 두고 돌려야 한다.
• 방언·도메인 용어 오인식: 사투리가 강하거나 특정 업계 전문 용어가 많은 녹음은 상용 서비스 대비 오인식이 늘어날 수 있다. 이럴 때는 앞서 언급한 initial prompt로 보완하는 것이 현실적이다.

즉 "완전 무료·무제한"이라는 장점이 시간과 하드웨어 성능이라는 다른 자원으로 상쇄되는 구조라고 보면 된다. 가끔 짧은 파일만 처리한다면 굳이 로컬을 고집할 필요는 없다. 반복적으로, 대량으로, 민감한 내용을 다뤄야 할 때 로컬 방식의 이점이 커진다.

자주 묻는 질문(FAQ)

Q. Whisper는 정말 완전 무료인가요?
그렇다. Whisper 자체는 MIT 라이선스 오픈소스 모델이라 다운로드·사용에 비용이 들지 않는다. 필요한 것은 내 컴퓨터의 저장 공간과 처리 시간뿐이다.

Q. 인터넷 연결 없이도 사용할 수 있나요?
가능하다. 최초 설치 시 모델 파일을 한 번 내려받아야 하지만, 그 이후에는 인터넷 연결 없이 오프라인으로 변환할 수 있다.

Q. 한글 음성 텍스트 변환 정확도는 어느 정도인가요?
large-v3와 turbo 모두 한국어를 지원하며 일반적인 발화는 준수한 정확도를 보인다. 다만 사투리나 특정 전문 용어가 많은 녹음에서는 오인식이 늘 수 있어, initial prompt로 보완하는 것을 권장한다.

Q. 유튜브 링크를 넣으면 바로 텍스트로 변환되나요?
된다. Whisper-WebUI는 유튜브 URL을 입력하면 오디오를 자동으로 내려받아 변환하고, SRT 자막 형식으로도 내려받을 수 있다.

Q. 클로바노트처럼 화자 구분도 되나요?
pyannote 화자 분리 기능을 추가로 설정하면 가능하다. 초기에 HuggingFace 토큰 발급 등 한 번의 설정이 필요하지만, 이후에는 화자별로 구분된 텍스트를 얻을 수 있다.

정리

클로바노트와 다글로는 접근성은 좋지만 무료 사용 시간이라는 벽이 있고, 파일이 외부 서버를 거친다는 구조적 특성이 있다. Whisper를 로컬에 설치하면 이 두 가지 제약이 동시에 사라진다. 시간 한도 없이, 파일이 내 PC 밖으로 나가지 않는 상태로 회의록·강의·유튜브 영상을 텍스트로 바꿀 수 있다. 대신 설치라는 초기 문턱과 하드웨어 성능이라는 현실적 한계는 감수해야 한다. 음성 인식을 넘어 AI 도구 전반을 체계적으로 익히고 싶다면 2026 AI 공부 로드맵도 함께 참고해보길 권한다.

함께 읽으면 좋은 글

• 2026 AI 공부 로드맵 — 무료 강의·자격증·부트캠프 총정리
• 파이썬으로 음성 파일 텍스트 변환하기
• 파이썬으로 유튜브 동영상 텍스트 변환하기