Required library version not found: libbitsandbytes_cuda100.so.
See original GitHub issueCUDA SETUP: Required library version not found: libbitsandbytes_cuda100.so. Maybe you need to compile it from source? CUDA SETUP: Defaulting to libbitsandbytes.soโฆ
================================================ERROR===================================== CUDA SETUP: CUDA detection failed! Possible reasons:
- CUDA driver not installed
- CUDA not installed
- You have multiple conflicting CUDA libraries
- Required library not pre-compiled for this bitsandbytes release!
CUDA SETUP: If you compiled from source, try again with
make CUDA_VERSION=DETECTED_CUDA_VERSION
for example,make CUDA_VERSION=113
. ================================================================================
CUDA SETUP: Something unexpected happened. Please compile from source: git clone git@github.com:TimDettmers/bitsandbytes.git cd bitsandbytes CUDA_VERSION=100 python setup.py install CUDA SETUP: Required library version not found: libbitsandbytes_cuda100.so. Maybe you need to compile it from source? CUDA SETUP: Defaulting to libbitsandbytes.soโฆ
================================================ERROR===================================== CUDA SETUP: CUDA detection failed! Possible reasons:
- CUDA driver not installed
- CUDA not installed
- You have multiple conflicting CUDA libraries
- Required library not pre-compiled for this bitsandbytes release!
CUDA SETUP: If you compiled from source, try again with
make CUDA_VERSION=DETECTED_CUDA_VERSION
for example,make CUDA_VERSION=113
. ================================================================================
CUDA SETUP: Something unexpected happened. Please compile from source: git clone git@github.com:TimDettmers/bitsandbytes.git cd bitsandbytes CUDA_VERSION=100 python setup.py install CUDA SETUP: Required library version not found: libbitsandbytes_cuda100.so. Maybe you need to compile it from source? CUDA SETUP: Defaulting to libbitsandbytes.soโฆ
================================================ERROR===================================== CUDA SETUP: CUDA detection failed! Possible reasons:
- CUDA driver not installed
- CUDA not installed
- You have multiple conflicting CUDA libraries
- Required library not pre-compiled for this bitsandbytes release!
CUDA SETUP: If you compiled from source, try again with
make CUDA_VERSION=DETECTED_CUDA_VERSION
for example,make CUDA_VERSION=113
. ================================================================================
CUDA SETUP: Something unexpected happened. Please compile from source: git clone git@github.com:TimDettmers/bitsandbytes.git cd bitsandbytes CUDA_VERSION=100 python setup.py install CUDA SETUP: Something unexpected happened. Please compile from source: git clone git@github.com:TimDettmers/bitsandbytes.git cd bitsandbytes CUDA_VERSION=100 python setup.py install โญโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโ Traceback (most recent call last) โโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฎ โ <ipython-input-7-65e7934da4b6>:1 in <module> โ โ <ipython-input-4-a13b85735819>:18 in init โ โ <ipython-input-4-a13b85735819>:31 in _load_dependencies โ โ โ โ /root/venv/lib/python3.7/site-packages/transformers/pipelines/init.py:727 in pipeline โ โ โ โ 724 โ โ framework=framework, โ โ 725 โ โ task=task, โ โ 726 โ โ **hub_kwargs, โ โ โฑ 727 โ โ **model_kwargs, โ โ 728 โ ) โ โ 729 โ โ โ 730 โ model_config = model.config โ โ โ โ /root/venv/lib/python3.7/site-packages/transformers/pipelines/base.py:257 in โ โ infer_framework_load_model โ โ โ โ 254 โ โ โ โ ) โ โ 255 โ โ โ โ โ 256 โ โ โ try: โ โ โฑ 257 โ โ โ โ model = model_class.from_pretrained(model, **kwargs) โ โ 258 โ โ โ โ if hasattr(model, โevalโ): โ โ 259 โ โ โ โ โ model = model.eval() โ โ 260 โ โ โ โ # Stop loading on the first successful load. โ โ โ โ /root/venv/lib/python3.7/site-packages/transformers/models/auto/auto_factory.py:464 in โ โ from_pretrained โ โ โ โ 461 โ โ elif type(config) in cls._model_mapping.keys(): โ โ 462 โ โ โ model_class = _get_model_class(config, cls._model_mapping) โ โ 463 โ โ โ return model_class.from_pretrained( โ โ โฑ 464 โ โ โ โ pretrained_model_name_or_path, *model_args, config=config, **hub_kwargs, โ โ 465 โ โ โ ) โ โ 466 โ โ raise ValueError( โ โ 467 โ โ โ f"Unrecognized configuration class {config.class} for this kind of AutoM โ โ โ โ /root/venv/lib/python3.7/site-packages/transformers/modeling_utils.py:2231 in from_pretrained โ โ โ โ 2228 โ โ โ model = cls(config, *model_args, **model_kwargs) โ โ 2229 โ โ โ โ 2230 โ โ if load_in_8bit: โ โ โฑ 2231 โ โ โ from .utils.bitsandbytes import get_keys_to_not_convert, replace_8bit_linear โ โ 2232 โ โ โ โ โ 2233 โ โ โ logger.info("Detected 8-bit loading: activating 8-bit loading for this model โ โ 2234 โ โ โ โ /root/venv/lib/python3.7/site-packages/transformers/utils/bitsandbytes.py:10 in <module> โ โ โ โ 7 โ import torch โ โ 8 โ import torch.nn as nn โ โ 9 โ โ โ โฑ 10 โ import bitsandbytes as bnb โ โ 11 โ โ 12 if is_accelerate_available(): โ โ 13 โ from accelerate import init_empty_weights โ โ โ โ /root/venv/lib/python3.7/site-packages/bitsandbytes/init.py:6 in <module> โ โ โ โ 3 # This source code is licensed under the MIT license found in the โ โ 4 # LICENSE file in the root directory of this source tree. โ โ 5 โ โ โฑ 6 from .autograd._functions import ( โ โ 7 โ MatmulLtState, โ โ 8 โ bmm_cublas, โ โ 9 โ matmul, โ โ โ โ /root/venv/lib/python3.7/site-packages/bitsandbytes/autograd/_functions.py:5 in <module> โ โ โ โ 2 import warnings โ โ 3 โ โ 4 import torch โ โ โฑ 5 import bitsandbytes.functional as F โ โ 6 โ โ 7 from dataclasses import dataclass โ โ 8 from functools import reduce # Required in Python 3 โ โ โ โ /root/venv/lib/python3.7/site-packages/bitsandbytes/functional.py:13 in <module> โ โ โ โ 10 from typing import Tuple โ โ 11 from torch import Tensor โ โ 12 โ โ โฑ 13 from .cextension import COMPILED_WITH_CUDA, lib โ โ 14 from functools import reduce # Required in Python 3 โ โ 15 โ โ 16 # math.prod not compatible with python < 3.8 โ โ โ โ /root/venv/lib/python3.7/site-packages/bitsandbytes/cextension.py:121 in <module> โ โ โ โ 118 โ โ raise RuntimeError(โโโ โ โ 119 โ โ CUDA Setup failed despite GPU being available. Inspect the CUDA SETUP outputs to โ โ 120 โ โ If you cannot find any issues and suspect a bug, please open an issue with detal โ โ โฑ 121 โ โ https://github.com/TimDettmers/bitsandbytes/issuesโโโ) โ โ 122 โ lib.cadam32bit_g32 โ โ 123 โ lib.get_context.restype = ct.c_void_p โ โ 124 โ lib.get_cusparse.restype = ct.c_void_p โ โฐโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโโฏ RuntimeError: CUDA Setup failed despite GPU being available. Inspect the CUDA SETUP outputs to fix your environment! If you cannot find any issues and suspect a bug, please open an issue with detals about your environment: https://github.com/TimDettmers/bitsandbytes/issues
Issue Analytics
- State:
- Created a year ago
- Comments:8 (2 by maintainers)
Top GitHub Comments
Hey all, Tim is busy writing a new paper and I am completely swamped at work. I should be able to look into this in 7-14days from now. Weโre doing this in our free time.
Thanks for your patience, Titus
On Thu, Nov 24, 2022, 14:05 yang @.***> wrote:
Any progress?