꼭대기에 대한 상상

bitsandbytes 이슈 삽질기

rapsealk — Mon, 4 Sep 2023 08:46:32 +0900

원문: https://www.backend.ai/ko/blog/2023-07-bitsandbytes-issue

bitsandbytes 이슈 삽질기

Backend.AI 팀은 고객들에게 항상 귀를 기울이고 있습니다. 2023년, NGC Catalog1(NVIDIA GPU Cloud)에서 제공하는 컨테이너 환경에서 특정 패키지를 실행할 때 에러가 발생한다는 이슈가 개발팀에 전달되었

www.backend.ai

2022년을 돌아보는 회고록

rapsealk — Sat, 7 Jan 2023 22:59:36 +0900

2022년 마지막 근무를 했던 12월 30일에 팀원분들과 연말을 기념하는 커피챗 미팅을 잡게 되었다. 팀 리드님께서 한 해를 되돌아보며 기억하자는 의미에서 "기년회"를 제안해 주셨고, 덕분에 나도 어떤 시간을 보냈었는지 돌이켜 볼 수 있는 기회가 되었다. 기년회에 대한 내용은 이 블로그를 참고하시길 바란다.

올해는 어떤 항목들로 기억을 분류해 보면 좋을까 고민을 하다가 시간순으로 나열해 보기로 했다.

기억 뽑아내는 중 (출처: 해리포터와 혼혈왕자)

1월

2021년 10월부터 12월까지 진행하던 프로젝트의 1차 시연을 성공적으로 마치고, 최종 배포를 위한 안정화 작업을 진행했다. 이 프로젝트는 데스크톱 환경에서 실행되는 Electron 기반 클라이언트로 아래와 같은 특징들로 인하여 그동안 개발했던 프로그램들과 결을 달리 하는데, 이에 적합한 개발 방법을 끝내 찾지 못하고 마무리하게 된 것 같아 아쉬움이 많이 남는다.

- 사용자 PC의 시간을 강제로 변경한다. 이 기능은 관리자 권한을 필요로 하는데, 프로그램을 실행할 때 "관리자 권한으로 실행"을 선택할 수 있는 Windows와는 달리 macOS에서는 터미널에서 sudo 명령어로 시작해야 했다. 대상 사용자가 터미널을 하지 않는 (개발직군 외의) 일반적인 PC 사용자인 점을 생각했을 때 썩 유쾌한 방법은 아니었던 것 같다.

- 백그라운드에서 실행되고 있는 음성 파일이 진행됨에 따라 이벤트를 발생시켜야 한다. 문제는 이 이벤트가 웹페이지를 이동하거나 스크립트를 실행시키는 것이었는데, 매우 당연하게도 사용자의 네트워크 환경에 따라 로딩 속도에 차이가 있었다. 따라서 웹페이지의 로딩이 끝나는 시점을 알아야 했는데, 당시의 접근 방법이었던 DomContentLoaded 이벤트로는 이미지 등의 리소스들의 로딩 시점은 알 수 없었다.

그 외에도 마우스 커서를 일시적으로 변경하거나 Electron WebView에서 내부 DOM에 접근하는 스크립트를 실행하는 등 매우 도전적인 이슈들이 많았다. 당시에 작성했던 글이 하나 있는데, 지금 돌이켜보면 나름 재밌는 이슈였던 것 같다.

2월

첫 커리어를 시작했던 직장에서 퇴사했다. 당시 사내의 소프트웨어 개발 업무를 전담하여 진행하는 과정에서 많은 고민들이 생겼었다.

- 개발 능력에 대한 자신감과 생산력이 떨어졌다.

- 업무적으로나 일상적으로나 사람을 만날 일이 없으니 갈수록 외로움이 커졌다.

그러던 중 커뮤니티를 통해 한 시니어와 깊은 대화(라기보다는 검증의 시간)를 할 기회가 생겼는데, 여기에서 큰 충격을 받게 되었다. 그 결과 조금 갑작스럽지만 퇴사를 결정하게 되었고, 7개월 간의 여정을 마치고 집으로 돌아오게 되었다.

3월

Back to the basic이라는 마음가짐으로 나를 검증하는 시간을 가지기로 했다. 지금까지 알고 있다고 생각했던 내용들을 다시 확인하는 과정을 거쳤으며, 조금 더 나은 개발 방법을 찾기 위하여 새로운 사이드 프로젝트를 진행하였다. 어차피 백수였기 때문에 시간은 많았으므로 매일매일 조금씩이라도 꾸준히 진행하려고 했다. 소위 말하는 "잔디심기"를 신경 쓰는 편은 아니지만, 이 기간 동안만큼은 내가 어떻게 진행했는지를 나타내는 하나의 지표가 되어 줄 수는 있을 것 같다.

3월 14일부터 5월 6일까지

4월

한 달간의 수련을 끝마치고 다시 이력서를 작성하고 구직 활동을 시작했다.

5월

5월 9일 래블업 주식회사에 입사했다.

6월

6월 14일부터 전문연구요원으로서 병역을 시작하게 되었다.

7월

Raft 합의 알고리즘 공부를 시작했다. 이 게시물의 끝을 지어보려 한다.

Raft 합의 알고리즘

8월

9월

새로운 프로젝트인 Backend.AI FastTrack 개발에 참여하게 되었다.

Backend.AI MLOps 플랫폼 FastTrack을 소개합니다. | Lablup Blog

이번 글에서는 Backend.AI의 MLOps 플랫폼인 FastTrack을 소개합니다.

blog.lablup.com

10월

논산훈련소에 다녀오게 되었다. 3주라는 시간이 참 길게 느껴지는 곳이었다. 대한민국의 모든 장병들에게 무한한 존경을 표하고 싶다.

11월

12월

Go언어와 CUDA Runtime API(cudart)

rapsealk — Sun, 24 Apr 2022 17:05:10 +0900

기존에 Python으로 작성했던 프로젝트를 Go로 다시 작성하는 과정에서 CUDA와 관련하여 문제가 발생했다. Python의 경우 cuda-python이라는 패키지가 공식적으로 지원되는 데 반해, 아직 Go에는 그런 것이 존재하지 않았다. Go에서 CUDA의 기능을 이용하기 위한 방법들을 찾아보다가, cgo라는 것을 이용하여 C 코드를 실행할 수 있다는 것을 알 수 있었다. cgo에 대한 자세한 내용은 아래의 글을 참고하시기 바란다.

C? Go? Cgo! - The Go Programming Language

C? Go? Cgo! Andrew Gerrand 17 March 2011 Introduction Cgo lets Go packages call C code. Given a Go source file written with some special features, cgo outputs Go and C files that can be combined into a single Go package. To lead with an example, here’s a

go.dev

cgo를 사용하기 위해서는 import "C" 구문 바로 이전에 주석의 형태로 C 코드를 작성하면 되는데, 이것을 preamble이라고 부른다. 이렇게 작성된 코드는 Go 런타임에서 C 패키지를 통해 접근이 가능해진다. 또한 #cgo 지시자를 통해 컴파일러에 옵션을 전달할 수 있다. 이 글에서는 gcc를 사용하였으며, CUDA Runtime API를 사용하기 위하여 아래와 같은 형태로 작성하였다.

// #cgo CFLAGS: -I/usr/local/cuda/include
// #cgo LDFLAGS: -L/usr/local/cuda/lib64 -lcudart
// #include <cuda_runtime_api.h>
import "C"

이제 Go에서 CUDA Runtime API를 사용할 수 있게 되었다. 코드를 작성하기에 앞서, 아래의 문서를 통해 CUDA Runtime API의 명세를 확인할 수 있다.(본 글에서는 cudaGetDeviceCount, cudaGetDeviceProperties 등 Device Management 관련 API만을 사용한다.)

CUDA Runtime API :: CUDA Toolkit Documentation (nvidia.com)

CUDA Runtime API :: CUDA Toolkit Documentation

Destroy all allocations and reset all state on the current device in the current process. Explicitly destroys and cleans up all resources associated with the current device in the current process. It is the caller's responsibility to ensure that the resour

docs.nvidia.com

이제 본격적으로 Go 코드를 작성해 보도록 하겠다.

1. cudaGetDeviceCount

cudaGetDeviceCount는 사용 가능한 CUDA Device의 갯수를 읽어오는 함수로, 그 명세는 아래와 같다.

__host____device__cudaError_t cudaGetDeviceCount ( int* count )

함수에 전달한 int형 주소값인 count를 역참조하여 CUDA Device의 갯수 정보를 입력하고, 함수의 반환값으로는 에러의 유무를 전달하여 정상적으로 처리되었는지를 알 수 있게 한다. 이 API를 Go로 사용하기 위하여 아래와 같이 작성할 수 있다.

import "errors"

var ErrCUDAInvalidValue = errors.New("This indicates that one or more..")

func CUDAGetDeviceCount() (int32, error) {
    var deviceCount C.int
    if C.cudaGetDeviceCount(&deviceCount) != 0 {
        return 0, ErrCUDAInvalidValue
    }
    return int32(deviceCount), nil
}

이때 C 함수에는 *C.int 자료형을 전달하고, Go 함수에서 반환할 때는 int32 자료형으로 변환했음에 유의하자.

2. cudaGetDeviceProperties

cudaGetDeviceProperties는 n번째 CUDA Device의 정보를 읽어오는 함수로, 그 명세는 아래와 같다.

__host__cudaError_t cudaGetDeviceProperties ( cudaDeviceProp* prop, int  device )

마찬가지로 함수에 전달한 cudaDeviceProp형 주소값인 prop을 역참조하여 device 번째에 해당하는 CUDA Device의 정보를 입력하고, 함수의 반환값으로는 에러의 유무를 전달한다. 이 API를 Go로 사용하기 위하여 아래와 같이 작성할 수 있다.

import (
    "encoding/hex"
    "fmt"
)

func CUDAGetDeviceProperties(device int32) (C.struct_cudaDeviceProp, error) {
    var prop C.struct_cudaDeviceProp
    if C.cudaGetDeviceProperties(&prop, C.int(device)) != 0 {
        return prop, ErrCUDAInvalidValue
    }
    c_uuid := []byte(C.GoString(&prop.uuid.bytes[0]))
    uuid := make([]byte, hex.EncodedLen(len(c_uuid)))
    hex.Encode(uuid, c_uuid)
    fmt.Println("Name:", C.GoString(&prop.name[0]))
    fmt.Println("UUID:", string(uuid))
    fmt.Println("Total Global Memory:", prop.totalGlobalMem)
    return prop, nil
}

이때 C에서 정의된 struct cudaDeviceProp {...}과 같은 구조체는 C.struct_cudaDeviceProp과 같은 형태로 접근할 수 있다. 또한 C.GoString은 *_Ctype_char을 인자로 받기 때문에, []_Ctype_char 자료형인 prop.name을 &prop.name[0]의 형태로 참조하였다.

Hello, MLRD!
GPU Device count: 1
Name: NVIDIA GeForce GTX 1660 Ti
UUID: cfd68e3d1d6d95b3e8240890188f0536
Total Global Memory: 6441992192

하루종일 삽질한 결과 방법을 찾아낼 수 있었다.

참고: https://github.com/rapsealk/go-cuda

[Web] Drop Event 발생시키기

rapsealk — Wed, 15 Dec 2021 01:17:52 +0900

* 이 글에서 나오는 프로그램은 웹사이트를 돌아다니며 미술관에서 작품을 안내하는 도슨트처럼 각 사이트의 내용을 설명해주는 기능을 한다. 사용자는 프로그램에 내장된 WebView를 통해 일정 시간마다 각 사이트로 이동하게 되고, 매 사이트에 도착할 때마다 그곳을 설명하는 나레이션이 실행된다.

프로그램을 개발하는 과정에서 재밌는 요구사항이 있었다. 이 프로그램에서 방문하는 사이트 중에는 아래와 같은 사이트도 있었다.

https://musiclab.chromeexperiments.com/Spectrogram/

Chrome Music Lab

Music is for everyone. Play with simple experiments that let anyone, of any age, explore how music works.

musiclab.chromeexperiments.com

이 사이트는 다양한 소리의 스펙트로그램을 시각화하여 보여주는 기능을 제공한다. 플룻, 하프, 휘파람 등의 샘플 소리들을 기본적으로 제공해주며, 마이크를 통해 입력된 소리를 이용할 수도 있다. 또한 드래그 앤 드롭을 통해 midi 이외의 오디오 파일의 실행도 지원해준다.

Chrome Music Lab의 Spectrogram 서비스

이 재미난 사이트에서 주어진 요구사항은 아래와 같다.

현재 실행되고 있는 나레이션의 스펙트로그램을 보여주도록 한다.

이 요구사항을 충족하기 위해 밟아온 단계들을 차례로 정리하고자 한다.

0. 가상 Element 파헤치기

사용자의 마이크 입력을 전달받기 위해서는 아래에 있는 여러 버튼들 중 가장 왼쪽에 있는 버튼을 클릭해야 한다. 이 과정을 자바스크립트로 구현하는 과정에서 버튼의 클래스 이름을 알아내고 아래와 같은 방식으로 접근했다.

document.getElementsByClassName('music-box__buttons__button');

하지만 결과는 텅 빈 HTMLCollection[]가 돌아올 뿐이었다. 몇 번의 시행착오를 통해 해당 요소가 iframe을 통해 불러온 것이며, 가상 Element로 이루어졌음을 확인할 수 있었다. 가상 Element는 사용자의 입력이 발생하기 전에는 Element에 접근이 되지 않는 것 같다. 아래와 같은 iframe 태그를 찾을 수 있었고, 실제 기능을 수행하는 페이지의 주소를 알아낼 수 있었다.

<iframe id="experimentFrame"></iframe>

https://musiclab.chromeexperiments.com/spectrogram-service/?ln=ko

3D Spectrogram

musiclab.chromeexperiments.com

1. StereoMix

첫 번째로 사용한 방법은 StereoMix를 이용한 방법이다. 정확히는 Chrome Music Lab의 마이크 기능을 이용하기 위하여 StereoMix를 통해 소리를 전달하도록 하였다.

StereoMix는 현재 스피커에 출력되고 있는 소리를 녹음할 수 있도록 해주는 가상 오디오 입력 장치다. 오디오 입력 장치를 StereoMix로 설정한 후 마이크 버튼을 누르면 실행 중인 소리를 그대로 입력으로 전달할 수 있다.

Stereo Mix 오디오 장치 (Windows)

StereoMix의 설정 방법은 아래와 같다.

Realtek High Definition Audio (SST) 드라이버를 설치한다.
제어판 > 하드웨어 및 소리 > 소리로 이동한 후, 녹음 장치를 스테레오 믹스로 설정한다.

이렇게 설정한 후 정상적으로 기능이 작동함을 확인할 수 있었다. 하지만 이런 방법에는 아래와 같은 문제점이 있었다.

실행 PC에 Realtek 드라이버가 설치되었음을 보장할 수 없다.
오디오 입력 장치를 임의로 설정/변경하는 방법을 찾지 못했다. (레지스트리로 접근했지만..)

따라서 별도의 설정이 필요하지 않은 드래그 앤 드롭 기능을 이용하는 방법으로 변경하기로 했다.

2. Drop Event

드래그 앤 드롭 기능을 이용하기 위해서는 'drop' 이벤트를 어떻게 처리하는지 확인할 필요가 있었다. 따라서 해당 페이지에서 동작하는 자바스크립트 코드를 분석하기로 했다. 그렇게 지옥문이 열렸다.

https://musiclab.chromeexperiments.com/js/app.js

2-1. 어떤 Element가 이벤트를 처리하는가?

아름다운 minify가 적용되어 덤으로 난독화까지 적용된 모습이었다. 우선 'drop' 이벤트에 대한 처리 방식을 찾아야 했기 때문에, 'drop' 단어를 검색해봤다. 그 결과 아래와 같은 처리 함수가 등록되었음을 확인할 수 있었다.

function (n) {
	n.preventDefault(), n.stopPropagation(), e.addClass("pointer-events"), i();
	var s = n.originalEvent.dataTransfer;
	s && s.files.length && s.items[0] && "audio/midi" !== s.items[0].type
		? $.each(s.files, function (n, i) {
			i.type.indexOf("audio") > -1
				? ($("#loadingMessage").text(i.name), $("#loadingSound").show(0), r(i), e.removeClass("active"), e.removeClass("pointer-events"))
					: t.text("Only sound files will work here.");
		})
		: t.text("Only sound files will work here.");
}

이제 저 처리 함수가 어떤 Element에 등록되었는지 확인해야 했다. 이것을 확인하기 위하여 사용자가 파일을 드롭하는 영역에 'drop' 이벤트 리스너를 추가하였고, 파일을 드랍했을 때 실제로 반응하는 Element가 무엇인지 확인했다.

2-2. 어떻게 파일을 전달할 것인가?

위의 이벤트 처리 함수를 보면 dataTransfer에 담긴 파일을 처리하는 방식임을 알 수 있었다. 그렇다면 이제 audio/mp3 파일을 dataTransfer에 담아서 전달해주기만 하면 될 것 같다. dataTransfer에 대한 내용은 아래에서 확인할 수 있었다.

https://developer.mozilla.org/en-US/docs/Web/API/HTML_Drag_and_Drop_API/Drag_operations

Drag Operations - Web APIs | MDN

The following describes the steps that occur during a drag and drop operation.

developer.mozilla.org

https://developer.mozilla.org/ko/docs/Web/API/DataTransfer

DataTransfer - Web API | MDN

The DataTransfer object is used to hold the data that is being dragged during a drag and drop operation. It may hold one or more data items, each of one or more data types. For more information about drag and drop, see HTML Drag and Drop API.

developer.mozilla.org

2-3. 아뿔싸! originalEvent가 무엇인가?

jQuery에서는 DOM Event 객체를 jQuery.Event 객체로 래핑하여 사용함을 알 수 있었다.

https://api.jquery.com/category/events/event-object/

Event Object | jQuery API Documentation

The current DOM element within the event bubbling phase. An optional object of data passed to an event method when the current executing handler is bound. The element where the currently-called jQuery event handler was attached. Returns whether event.preve

api.jquery.com

Visual Studio Code와 Docker를 이용한 원격 코딩

rapsealk — Thu, 7 Oct 2021 16:25:24 +0900

필자는 2019년 다음과 같은 글을 작성하였다. (https://rapsealk.tistory.com/10)

하지만 시간은 흐르고, 이제는 Linux 환경을 넘어 Docker를 다룰 줄 아는 것이 기본 소양인 시대가 되었다.

Docker

준비사항: Visual Studio Code, Docker가 실행 중인 (원격) 서버

참고: https://code.visualstudio.com/docs/containers/ssh

Connect to Docker engine running on a remote machine

Connect via SSH to Docker engine running on a remote machine and use the remote machine as a development environment for Visual Studio Code.

code.visualstudio.com

[0] 현재 PC에 접속할 서버에 대한 fingerprint가 저장된 상태인지 확인한다. 처음 접속하는 경우라면, 아래의 명령어를 통해 서버에 접속하기 위한 fingerprint를 생성 및 저장할 수 있다.

> ssh <USER>@<HOSTNAME>[:<PORT>]

[1] Visual Studio Code에서 필요로 하는 Extension을 설치해 준다.

VSCode: Docker

VSCode: Remote - Container

VSCode: Remote - SSH

[2] File > Preferences > Settings에 들어간 후 docker.host 항목에 접속할 ssh 서버 주소를 입력한다.

[3] Ctrl+Shift+P를 누른 후, Remote-Containers: Attach to Running Container...를 선택한다.

Attach to Running Container...

오픈 소스 컨트리뷰션 도전기

rapsealk — Tue, 20 Apr 2021 14:02:38 +0900

1. 해당 소프트웨어를 사용하는 유저들의 니즈를 파악할 수 있다.

2. 소프트웨어 프로젝트의 운영 방식과 소통 방법을 이해하고 경험할 수 있다.

발견한 이슈:

- github.com/microsoft/AirSim/issues/1711

Is it possible to manually specify the communication port? · Issue #1711 · microsoft/AirSim

Is it possible to manually specify the communication port between the server and the python client? I want to do this so that I can start multiple instances of the environment and have multiple pyt...

github.com

커밋 목록:

- github.com/microsoft/AirSim/commit/c88ffafffa7b272fceb1728376660b2074852eac

Added RpcLibPort to change rpc port easily (#1711) · microsoft/AirSim@c88ffaf

Permalink This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository. Browse files Added RpcLibPort to change rpc port easily (#1711) Loading branch information Showing 7 changed files with 44 additions

github.com

- github.com/microsoft/AirSim/commit/ed12bf75624df553dff06a30a149363c6c040535

fixed RpcLibPort following advice (#1981) · microsoft/AirSim@ed12bf7

Permalink This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository. Browse files fixed RpcLibPort following advice (#1981) Loading branch information Showing 3 changed files with 2 additions and 16 de

github.com

최종 PR(Pull Request):

- github.com/microsoft/AirSim/pull/1981

Added RpcLibPort to change rpc port easily (#1711) by rapsealk · Pull Request #1981 · microsoft/AirSim

I found issue number #1711 while I was trying to change default rpc port, and thought it might be handy if there is a variable with common value. Thank you!

github.com

Windows 환경에서 virtualenv 사용하기

rapsealk — Tue, 23 Mar 2021 19:23:39 +0900

Python 프로젝트를 운용할 경우, 모듈들이 중복되거나 꼬이는 현상을 막기 위하여 독립된 공간이 필요할 때가 있다. 이럴 때 사용할 수 있는 것이 바로 virtualenv(이하 venv)다.

Windows 환경에서 virtualenv를 사용하기 위해서는 PowerShell을 "관리자 권한으로 실행"한 후 아래의 명령어를 실행시켜야 한다.

Set-ExecutionPolicy Unrestricted -Force

이후 여느 환경과 동일하게 사용하면 된다.

source venv/Scripts/activate

PTR

rapsealk — Tue, 24 Nov 2020 22:27:25 +0900

기록을 남긴다.

* (Deep) Reinforcement Learning

- Playing Atari with Deep Reinforcement Learning, 2013

> 키워드: Deep Q Network

> 링크: arxiv

개인정보처리방침

rapsealk — Wed, 26 Feb 2020 21:05:45 +0900

이 앱은 아래와 같은 이유로 안드로이드 권한을 필요로 합니다.

- android.permission.CAMERA : 기기의 전면 카메라를 이용하여 사용자의 얼굴을 인식하기 위함.

Kotlin 키워드 정리

rapsealk — Fri, 24 Jan 2020 18:35:07 +0900

Java에서 사용하던 키워드 중 Kotlin에서 대응되는 키워드 목록을 (Java -> Kotlin) 형태로 나열해보려 한다.

* native -> external

Java에서는 JNI(Java Native Interface)를 이용하여 C++로 작성된 함수를 실행할 때 native 키워드를 이용해서 함수를 선언해준다.

public native void print_hello();

Kotlin에서는 external 키워드를 이용하여 아래와 같이 선언할 수 있다.

public external fun print_hello()

...