라데온 그래픽 카드 사용자를 위한 Ollama + Open-Webui 딸깍 자동 설 스크립트

그동안 LLM은 별 관심이 없었는데 최근에 ComfyUI 커스텀 노드 만들때 젬미니 도움을 많이 받아서 (웹스크립트 부분에 지식이 전무한 상태라) 로컬로 굴리는걸 한번 해봤습니다.

일단 780m 내장 글카랑 9070으로 돌려봤는데 생각보다 잘 돌아가더군요.

제가 이쪽은 시작한지 하루이틀 밖에 안되서 솔직히 뭐가 좋은지 잘 모르겠습니다. 그냥 젬민이가 점마3 12b 추천해주길래 선택한 모델입니다. 프롬프트는 위처럼 ntp 시간 동기화 러스트 코드를 요청했고 해당 러스트 코드가 돌아가는지 아닌지는 검증은 하지 않았습니다. 단순히 얼마나 빨리 답하나만 봤습니다.

780m으로 16g vram 할당하고 돌렸을때 속도입니다. 젬민이가 말하길 저 response token이 흔히들 사람들이 말하는 속도 토큰이라고 하던데 초당 9.04개 나옵니다.

수치 보는 법은 모르겠고 일단 답변이 느릿느릿 나옵니다. 타이핑 잘 못하는 사람이랑 채팅하는거 처럼 천천히 올라오더군요.

이건 9070으로 돌렸을때 속도입니다. response token이 55.57나오는데 이건 충분히 쓸만했습니다. 뭔가 질문하면 gpu 웅 하더니만 주루룩 답글이 달리더군요.

뭐 사실 실사용 할 생각은 없고 나중에 채찍피티나 젬민이 무료 막히면 쓰는걸 고려해봐야겠습니다.

1. 주의사항

테스트는 Adrenalin 26.1.1 (WHQL Recommended) 드라이버를 사용했습니다.
780m, 9070에서만 테스트 해서 나머지 그래픽카드에서 정상작동은 확인하지 못했습니다. 해보시고 잘 작동하면 댓글 부탁드립니다.
내장 그래픽 카드를 사용시 vram에 최소 16g 이상 할당하는것을 추천합니다.
스크립트가 위치한 폴더 경로에 한글이 들어가면 안됩니다.

2. 스크립트

일일이 드래그 드롭해서 복사할거 없이 우측에 Copy 버튼을 누르면 클립보드로 복사됩니다.

복사한 내용을 메모장으로 저장해서 실행하면 됩니다.

Change logs

2026년 3월 30일

rocm을 포기하고 vulkan으로 돌아가도록 변경
etc\ollama -> etc\ollama_app 으로 변경

2026년 1월31일

Ollama랑 Open-webui 서버창이 독립적으로 뜨게 수정
필수폴더 생성 추가
허깅페이스 폴더 위치 변경 (이전에 설치했던분은 허깅페이스 폴더 이동시켜야 함)

0_Install.cmd

@echo off
chcp 65001 >nul
REM ---------------------------------------------------------------------------
REM 루트를 구함 ex) "c:\AI\"
set "ROOT_PATH=%~dp0"
set "PYTHON_PATH=%ROOT_PATH%ETC\python_embeded"
set "FFMPEG_PATH=%ROOT_PATH%ETC\ffmpeg"
set "OLLAMA_PATH=%ROOT_PATH%ETC\ollama_app"

set "PATH=%PYTHON_PATH%;%PYTHON_PATH%\Scripts;%FFMPEG_PATH%\bin;%SystemRoot%\System32;%SYSTEMROOT%\System32\WindowsPowerShell\v1.0\"
REM ---------------------------------------------------------------------------
REM 설치시 필요한 파일 저장하는 경로 (인터넷에서 두번 다운 받는거 안하기 위해)
set "INSTALLER_PATH=%ROOT_PATH%ETC\setup_files"
REM ---------------------------------------------------------------------------

cls
echo ---------------------------------------------------------------------------
echo 🔹라데온 그래픽카드 사용자를 위한 Ollama 자동설치 스크립트 입니다.
echo.
echo Date	: 2026-03-30
echo URL	: https://linsoo.pe.kr/47387/
echo ---------------------------------------------------------------------------
pause

REM ---------------------------------------------------------------------------
REM 필수 폴더 생성
REM INSTALLER_PATH 폴더 생성
mkdir "%INSTALLER_PATH%" 2>nul

echo ---------------------------------------------------------------------------
echo [INFO] ollama 체크
if not exist "%OLLAMA_PATH%" (
	echo [INFO] ollama 폴더 없음
	REM ------------------------------------------------------------
	setlocal enabledelayedexpansion
	(
		REM ------------------------------------------------------------
		mkdir "%OLLAMA_PATH%"
		set "URL_DOWNLOAD=https://github.com/ollama/ollama/releases/latest/download/ollama-windows-amd64.zip"
						  
		REM URL에서 파일명 추출
		for %%F in ("!URL_DOWNLOAD!") do set "TMP_FILENAME=%%~nxF"
		if not exist "%INSTALLER_PATH%\!TMP_FILENAME!" (
			echo [INFO] !TMP_FILENAME! 다운로드 중...
			curl -s -L "!URL_DOWNLOAD!" -o "%INSTALLER_PATH%\!TMP_FILENAME!"
		)
		
		echo [INFO] ollama 압축 해제 중...
		tar -xf "%INSTALLER_PATH%\!TMP_FILENAME!" -C "%OLLAMA_PATH%" --exclude="cuda_v12" --exclude="cuda_v13"
		REM ------------------------------------------------------------
		echo [INFO] ollama 설치 완료: %OLLAMA_PATH%
	)
	endlocal
)

echo ---------------------------------------------------------------------------
echo [INFO] ffmpeg 체크
if not exist "%FFMPEG_PATH%" (
	echo [INFO] ffmpeg 폴더 없음
	REM ------------------------------------------------------------
	setlocal enabledelayedexpansion
	(
		:: 기본 URL 설정
		set "URL_DOWNLOAD=https://github.com/GyanD/codexffmpeg/releases/download/8.0.1/ffmpeg-8.0.1-essentials_build.zip"

		REM URL에서 파일명 추출
		for %%F in ("!URL_DOWNLOAD!") do set "TMP_FILENAME=%%~nxF"
		if not exist "%INSTALLER_PATH%\!TMP_FILENAME!" (
			echo [INFO] !TMP_FILENAME! 다운로드 중...
			curl -s -L "!URL_DOWNLOAD!" -o "%INSTALLER_PATH%\!TMP_FILENAME!"
		)
		
		echo [INFO] ffmpeg 압축 해제 중...
		mkdir "%FFMPEG_PATH%"
		tar -xf "%INSTALLER_PATH%\!TMP_FILENAME!" -C "%FFMPEG_PATH%" --strip-components=1
		echo [INFO] ffmpeg 설치 완료: %FFMPEG_PATH%
	)
	endlocal
)

echo ---------------------------------------------------------------------------
echo [INFO] 파이썬 체크
if not exist "%PYTHON_PATH%" (
	echo [INFO] 파이썬 폴더 없음

	REM ------------------------------------------------------------
	REM pth파일 수정
	setlocal enabledelayedexpansion
	(
		:: 기본 URL 설정
		set "URL_PYTHON=https://www.python.org/ftp/python/3.11.9/python-3.11.9-embed-amd64.zip"

		REM URL에서 파일명 추출
		for %%F in ("!URL_PYTHON!") do set "PYTHON_FILENAME=%%~nxF"
		if not exist "%INSTALLER_PATH%\!PYTHON_FILENAME!" (
			echo [INFO] !PYTHON_FILENAME! 다운로드 중...
			curl -s -L "!URL_PYTHON!" -o "%INSTALLER_PATH%\!PYTHON_FILENAME!"
		)
		
		echo [INFO] 파이썬 압축 해제 중...
		mkdir "%PYTHON_PATH%"
		tar -xf "%INSTALLER_PATH%\!PYTHON_FILENAME!" -C "%PYTHON_PATH%"
		echo [INFO] 파이썬 설치 완료: %PYTHON_PATH%
		
		REM ----------------------------------------------------------
		set "PTH_FILE=tmp"
		for %%F in ("%PYTHON_PATH%\python???._pth") do (
			set PTH_FILE=%%F
		)
		set "TEMP_FILE=!PTH_FILE!.tmp"
		
		REM 파일 존재 확인
		if not exist "!PTH_FILE!" ( 
			echo [ERROR] 파일을 찾을 수 없습니다: !PTH_FILE!
			exit /b 1
		)
		REM ----------------------------------------------------------
		(
			for /f "usebackq delims=" %%A in ("!PTH_FILE!") do (
				set "line=%%A"

				REM '#import site' → 'import site'
				set "line=!line:#import site=import site!"
				REM call set "line=%%line:#import site=import site%%"
				echo !line!
			)

		) > "!TEMP_FILE!"
		
		REM 원본 파일 덮어쓰기
		move /Y "!TEMP_FILE!" "!PTH_FILE!" > nul

		for %%F in ("!PTH_FILE!") do set "FILENAME=%%~nxF"
		echo [DONE] !FILENAME! 파일 수정 완료: 
	)
	endlocal

	REM ------------------------------------------------------------
	echo [INFO] PIP 설치
	if not exist "%INSTALLER_PATH%\get-pip.py" (
		echo [INFO] get-pip.py 없음, 다운로드 시작...
		curl -s -L "https://bootstrap.pypa.io/get-pip.py" -o "%INSTALLER_PATH%\get-pip.py"
	)
	python.exe "%INSTALLER_PATH%\get-pip.py" 
	python.exe -s -m pip install --upgrade pip 
	python.exe -s -m pip install setuptools wheel
	echo [INFO] PIP 설치 완료
	
	echo [INFO] open-webui 설치
	python.exe -s -m pip install open-webui
) else (
	echo [INFO] open-webui 업데이트
	python.exe -s -m pip install --upgrade open-webui
)

echo ---------------------------------------------------------------------------
python.exe -s -m pip list
echo 설치 완료
echo ---------------------------------------------------------------------------
pause

1_Run.cmd

@echo off
chcp 65001 >nul
REM ---------------------------------------------------------------------------
REM 루트를 구함 ex) "c:\AI\"
set "ROOT_PATH=%~dp0"
set "PYTHON_PATH=%ROOT_PATH%ETC\python_embeded"
set "FFMPEG_PATH=%ROOT_PATH%ETC\ffmpeg"
set "OLLAMA_PATH=%ROOT_PATH%ETC\ollama_app"

set "PATH=%PYTHON_PATH%;%PYTHON_PATH%\Scripts;%FFMPEG_PATH%\bin;%SystemRoot%\System32;%SYSTEMROOT%\System32\WindowsPowerShell\v1.0\"
REM ---------------------------------------------------------------------------
REM ollama 환경변수.
set "OLLAMA_MODELS=%ROOT_PATH%models"
set "OLLAMA_HOST=127.0.0.1"
set "OLLAMA_ORIGINS=http://127.0.0.1:3000"

REM 1시간동안 안쓰면 언로딩한다 30분은 30m 숫자만 쓰면 초단위.
set "OLLAMA_KEEP_ALIVE=1h"
set "OLLAMA_VULKAN=1"

REM ---------------------------------------------------------------------------
REM open-webui 환경변수. (https://docs.openwebui.com/getting-started/env-configuration)
set "DATA_DIR=%ROOT_PATH%openwebui_data"
REM 허깅페이스 관련 파일도 결국엔 open-webui 관련 파이썬 파일이 쓰는거라 여기로 몰아줌.
set "HF_HOME=%DATA_DIR%\huggingface_home"
set "CORS_ALLOW_ORIGIN=http://127.0.0.1:9999"
set "OLLAMA_BASE_URL=http://127.0.0.1:11434"

REM 싱글유저모드(로그인 기능 없앰)
set "WEBUI_AUTH=false"

REM ---------------------------------------------------------------------------
REM 필수 폴더 생성.
mkdir "%OLLAMA_MODELS%" 2>nul
mkdir "%DATA_DIR%" 2>nul
mkdir "%HF_HOME%" 2>nul
REM ---------------------------------------------------------------------------
start "Ollama-Server" %OLLAMA_PATH%\ollama serve

title Open-Webui
python.exe -s "%PYTHON_PATH%\Scripts\open-webui.exe" serve --port 9999

2_Update.cmd

@echo off
chcp 65001 >nul
REM ---------------------------------------------------------------------------
REM 루트를 구함 ex) "c:\AI\"
set "ROOT_PATH=%~dp0"
set "PYTHON_PATH=%ROOT_PATH%ETC\python_embeded"
set "PATH=%PYTHON_PATH%;%PYTHON_PATH%\Scripts"

REM ---------------------------------------------------------------------------
echo [INFO] open-webui 업데이트
python.exe -s -m pip install --upgrade open-webui

pause

동작 구조는 우선 올라마 서버가 백그라운드로 동작하고 open-webui 서버가 백그라운드로 돌면서 올라마서버랑 통신하고 유저는 웹브라우저로 open-webui 에 접속해서 사용하는겁니다.

1._run.cmd를 실행하고 잠시 뒤 웹브라우저에 http://127.0.0.1:9999/ 로 접속하면 됩니다.

3. 후기

아! 엔비디아꺼 살껄…
llama.cpp는 rocm 최신으로 바로바로 적용해줘서 그냥 최신버전 쓰면 되는데 ollama 윈도우용은 rocm에 별 관심 없는건지 업데이트도 안해주네요.
하지만 context 용량 신경 안쓰고 써도 된다는 장점 하나 때문에 버릴수가 없네요.

늘 그렇듯이 문제가 터지면 근성과 기합 그리고 노력으로 극복하세요.

Comments

2의 “라데온 그래픽 카드 사용자를 위한 Ollama + Open-Webui 딸깍 자동 설 스크립트”에 대한 답변

ㅇㅇ

2026년 1월 25일

8845hs의 npu는 오늘도 장식용

답글
1. Linsoo
  
  2026년 1월 25일
  
  amd 이놈들은 NPU로 인공지능 돌릴수 있다 해놓고 지들이 공식적으로 배포하는 AI툴도 NPU 안쓰고 DirectML 씁니다 -_-;; (옵션이 불칸이랑 directML 둘중 하나 선택이었죠)

답글 남기기 응답 취소

이 사이트는 Akismet을 사용하여 스팸을 줄입니다. 댓글 데이터가 어떻게 처리되는지 알아보세요.