[Бенчмаркинг PaddlePaddle] Реализация пайплайна для PaddlePaddle #508

IgorKonovalovAleks · 2024-03-03T20:54:50Z

No description provided.

IgorKonovalovAleks · 2024-03-20T23:05:13Z

valentina-kustikova · 2024-03-21T11:00:42Z

src/inference/inference_paddlepaddle.py

+    for name in outputs:
+        output_tensor = predictor.get_output_handle(name)
+        output_data = output_tensor.copy_to_cpu()
+        result.append(output_data)


Здесь не должен создаваться словарь, в котором ключами являются названия выходов, с значениями - соответствующие тензора?

valentina-kustikova · 2024-03-21T11:02:26Z

src/inference/inference_paddlepaddle.py

+    if (output_names is None) or (len(result) != len(output_names)):
+        raise ValueError('The number of output tensors does not match the number of corresponding output names')
+    if task == 'classification':
+        return {output_names[i]: result[i] for i in range(len(result))}


Согласно описанному выше комментарию, если сделать так, как там написано, то здесь можно просто вернуть результат.

valentina-kustikova · 2024-03-21T11:02:58Z

src/inference/inference_paddlepaddle.py

+    config = paddle_infer.Config(args.model_path, args.params_path)
+    config.enable_memory_optim()
+    if args.device == 'GPU':
+        config.enable_use_gpu(1000, 0)


Что за магическая константа 1000?

размер выделенной помяти в gpu, 1000 - позмер из всех найденых мной примеров

valentina-kustikova · 2024-03-21T12:15:18Z

src/inference/inference_paddlepaddle.py

+    parser.add_argument('-t', '--task',
+                        help='Output processing method. Default: without postprocess',
+                        choices=['segmentation', 'classification', 'detection', 'yolo_tiny_voc', 'yolo_v2_coco',
+                                 'yolo_v2_tiny_coco', 'yolo_v3_tf', 'mask-rcnn'],


Здесь надо оставить только те задачи, до которых поддерживается валидация выходов.

valentina-kustikova · 2024-03-21T12:15:56Z

src/inference/inference_paddlepaddle.py

+                        default=None,
+                        type=str,
+                        nargs=1,
+                        dest='delegate_ext')


Этот параметр явно не относится к PaddlePaddle, неудачный копи-паст :)

valentina-kustikova · 2024-03-21T12:16:07Z

src/inference/inference_paddlepaddle.py

+                        default=None,
+                        type=str,
+                        nargs=1,
+                        dest='delegate_options')


И этот тоже :) Посмотрите список параметров на предмет их необходимости в текущей реализации вывода.

valentina-kustikova · 2024-03-21T12:16:46Z

src/inference/inference_paddlepaddle.py

+                        dest='labels')
+    parser.add_argument('--report_path',
+                        type=Path,
+                        default=Path(__file__).parent / 'tflite_inference_report.json',


tflite_inference_report? Может все-таки paddle_inference_report?

valentina-kustikova · 2024-03-21T12:18:59Z

src/inference/inference_paddlepaddle.py

+        time_infer, _ = loop_inference(number_iter, test_duration)(inference_iteration)(get_slice,
+                                                                                        input_info, predictor)
+    else:
+        result, exec_time = inference_with_output(get_slice, input_info, predictor, outputs)


Я не уверена в необходимости функции inference_with_output. См. комментарии ниже.

IgorKonovalovAleks · 2024-03-25T19:22:30Z

@valentina-kustikova

valentina-kustikova

@IgorKonovalovAleks, в целом все хорошо, можно двигаться дальше.

…dlepaddle_inference # Conflicts: # src/inference/inference_paddlepaddle.py

ismukhin · 2024-09-13T13:41:51Z

tests/smoke_test/configs/dl_models/resnet50_paddle.xml

+            <InputName>inputs</InputName>
+            <OutputNames></OutputNames>
+            <ThreadCount></ThreadCount>
+            <InterOpParallelismThreads></InterOpParallelismThreads>


За что отвечает параметр InterOpParallelismThreads?

Вопрос, можно ли настроить параметры параллелизма (число потоков и другое) при выводе библиотеки?

ismukhin · 2024-09-13T13:42:21Z

tests/smoke_test/configs/dl_models/resnet50_paddle.xml

+            <ThreadCount></ThreadCount>
+            <InterOpParallelismThreads></InterOpParallelismThreads>
+            <IntraOpParallelismThreads></IntraOpParallelismThreads>
+            <KmpAffinity></KmpAffinity>


За что отвечает параметр KmpAffinity?

valentina-kustikova · 2024-10-07T13:09:38Z

@IgorKonovalovAleks, надо обновить 4 ридми-файла:

Корневой файл https://github.com/itlab-vision/dl-benchmark/blob/master/README.md. Добавить фреймворк.
Файл с параметрами запуска инференса https://github.com/itlab-vision/dl-benchmark/blob/master/src/inference/README.md. Здесь добавить информацию по аналогии с другими фреймворками.
Файл ридми для бенчмарка https://github.com/itlab-vision/dl-benchmark/blob/master/src/benchmark/README.md. Добавить информацию по аналогии с другими фреймворками.
Файл ридми для шаблонов конфигураций https://github.com/itlab-vision/dl-benchmark/blob/master/src/configs/README.md. Добавить информацию по аналогии с другими фреймворками + положить в директорию https://github.com/itlab-vision/dl-benchmark/tree/master/src/configs пример шаблонной конфигурации.

…dlepaddle_inference

IgorKonovalovAleks · 2024-10-24T10:01:06Z

@valentina-kustikova версия финальная, можно проверять

valentina-kustikova · 2024-10-24T18:58:07Z

docker/PaddlePaddle/Dockerfile

+ARG PADDLE_VERSION=2.5.2
+RUN pip3 install --upgrade pip && \
+    pip3 install opencv-python requests PyYAML docker
+RUN export LD_LIBRARY_PATH=/root/miniconda3/lib:${LD_LIBRARY_PATH}


Не очень уверена, что у нас всегда установка будет проходить сюда. @ismukhin, что скажете?

По смыслу этой строки быть не должно. У нас сейчас явно miniconda ставится только для Caffe, чтобы работать в нужном окружении с архивными пакетами.

results/validation/validation_results_paddlepaddle.md

valentina-kustikova · 2024-10-24T19:04:07Z

src/benchmark/frameworks/paddlepaddle/paddlepaddle_parameters_parser.py

+        self.input_name = None
+        self.output_names = None
+        self.nthreads = None
+        self.delegate = None


Кажется, что этого параметра нет при запуске инференса с помощью PaddlePaddle. Проверьте, пожалуйста.

valentina-kustikova · 2024-10-24T19:04:15Z

src/benchmark/frameworks/paddlepaddle/paddlepaddle_parameters_parser.py

+        self.output_names = None
+        self.nthreads = None
+        self.delegate = None
+        self.delegate_options = None


Аналогичный комментарий.

valentina-kustikova · 2024-10-24T19:06:09Z

src/inference/README.md

@@ -15,6 +15,7 @@
 1. Deep Graph Library (DGL, PyTorch-based).
 1. RKNN.
 1. ncnn.
+2. PaddlePaddle.


Почему 2. вместо 1.?

valentina-kustikova · 2024-10-24T19:08:27Z

src/inference/README.md

+  между блокирующими операциями. По умолчанию не установлен и выбирается
+  TensorFlow автоматически.
+- `--raw_output` - работа скрипта без логов. По умолчанию не установлен.
+- `--restrisct_gpu_usage` - ограничение использования видеокарт до 1-й. По умолчанию не установлен.


Также параметра нет. Проверьте, пожалуйста, корректность всего списка параметров.

valentina-kustikova · 2024-10-24T19:09:20Z

src/inference/inference_paddlepaddle.py

+                        type=bool,
+                        dest='raw_output')
+    parser.add_argument('-nthreads', '--number_threads',
+                        help='Number of threads to use for inference on the CPU. (1 by default)',


Удалите, пожалуйста, точку перед скобкой.
help='Number of threads to use for inference on the CPU (1 by default)'

valentina-kustikova · 2024-10-24T19:11:42Z

src/inference/inference_paddlepaddle.py

+                        dest='report_path')
+    parser.add_argument('--time', required=False, default=0, type=int,
+                        dest='time',
+                        help='Optional. Time in seconds to execute topology.')


Удалите, пожалуйста, точку в конце предложения перед закрытием кавычки

src/inference/inference_paddlepaddle.py

valentina-kustikova · 2024-10-24T19:20:22Z

@IgorKonovalovAleks, посмотрела код, написала замечания. Там еще висят открытые вопросы с прошлого ревью, отработайте их, пожалуйста. Спасибо!

ismukhin · 2024-10-25T17:08:44Z

docker/PaddlePaddle/Dockerfile

+ARG PADDLE_VERSION=2.5.2
+RUN pip3 install --upgrade pip && \
+    pip3 install opencv-python requests PyYAML docker
+RUN export LD_LIBRARY_PATH=/root/miniconda3/lib:${LD_LIBRARY_PATH}


По смыслу этой строки быть не должно. У нас сейчас явно miniconda ставится только для Caffe, чтобы работать в нужном окружении с архивными пакетами.

ismukhin · 2024-10-25T17:09:19Z

docker/PaddlePaddle/config_tf2.yml

@@ -0,0 +1,30 @@
+models:


Нужно переименовать конфиг

ismukhin · 2024-10-25T17:10:42Z

docker/PaddlePaddle/Dockerfile

+
+RUN python3 setup.py install_core
+
+RUN accuracy_check -c config_tf2.yml -m ../../../resnet50 -s sample


Копипаст имени файла конфига из tf2, предлагаю заменить имя на config_pdpd.yml или же просто config.yml.

ismukhin · 2024-10-25T17:12:38Z

src/benchmark/README.md

@@ -21,6 +21,7 @@ the following frameworks:
 - [Apache TVM][tvm] (Python API).
 - [RKNN][rknn].
 - [Spektral][spektral] (Python API).
+- [PaddlePaddle][paddlepaddle] (PythonAPI).


Python API (пробел нужно вставить)

src/benchmark/frameworks/paddlepaddle/paddlepaddle_parameters_parser.py

IgorKonovalovAleks · 2024-10-26T22:46:23Z

@valentina-kustikova поправил замечания

valentina-kustikova · 2024-10-27T07:23:25Z

results/paddlepaddle_models_checklist.md

+
+## Public models (Open Model Zoo)
+
+Represented deep models are available in [Open Model Zoo][omz].


Здесь какой-то баг, либо ссылка неправильная, либ это не Open odel Zoo.

valentina-kustikova · 2024-10-27T07:23:55Z

results/validation/validation_results_paddlepaddle.md

+-|-|-|
+resnet-50 |Mean values - [123.675,116.28,103.53],<br>scale value - [58.395,57.12,57.375]|0.9931559 Granny Smith<br>0.0009120 piggy bank, penny bank<br>0.0007721 bell pepper<br>0.0007689 tennis ball<br>0.0005548 candle, taper, wax light|
+PPLCNet_x1_0_infer |Mean values - [123.675,116.28,103.53],<br>scale value - [58.395,57.12,57.375]|0.2785943 Granny Smith<br>0.2241544 piggy bank, penny bank<br>0.0404602 saltshaker, salt shaker<br>0.0131707 soap dispenser<br>0.0114298 lemon
+|


Уехал разделитель на новую строку почему-то

src/inference/README.md

src/inference/inference_paddlepaddle.py

tests/smoke_test/configs/dl_models/resnet50_paddle.xml

valentina-kustikova · 2024-10-27T07:31:30Z

@valentina-kustikova поправил замечания

@IgorKonovalovAleks, не все и не везде :) написала.

IgorKonovalovAleks · 2024-10-29T08:24:39Z

@valentina-kustikova

valentina-kustikova

@IgorKonovalovAleks, осталось пара вопросов.

src/benchmark/frameworks/paddlepaddle/paddlepaddle_parameters_parser.py

valentina-kustikova · 2024-10-29T15:35:27Z

src/inference/inference_paddlepaddle.py

+
+
+def main():
+    args = cli_argument_parser()


@IgorKonovalovAleks, здесь вопрос также открыт.

valentina-kustikova · 2024-10-31T09:47:27Z

@ismukhin, посмотрите, пожалуйста. Если все хорошо, то мержите.

ismukhin · 2024-11-02T21:06:08Z

src/inference/inference_paddlepaddle.py

+
+            log.info(f'Performance results:\n{json.dumps(inference_result, indent=4)}')
+    except Exception as e:
+        log.warning('uncaught error: {0}'.format(str(e)))


Лучше, наверное, единообразно отлавливать и выводить исключения:

log.error(traceback.format_exc()) sys.exit(1)

init

8f8ca1e

IgorKonovalovAleks changed the title ~~init~~ PaddlePaddle inference Mar 3, 2024

valentina-kustikova changed the title ~~PaddlePaddle inference~~ [Бенчмаркинг PaddlePaddle] Реализация пайплайна для PaddlePaddle Mar 4, 2024

valentina-kustikova marked this pull request as draft March 4, 2024 05:17

IgorKonovalovAleks added 4 commits March 10, 2024 21:41

style fix, input fix

d39ce82

style fix

5853169

gpu device support

56d0529

style 1

3ccef36

valentina-kustikova reviewed Mar 21, 2024

View reviewed changes

parser arguments + output handling fix

a216280

valentina-kustikova reviewed Mar 27, 2024

View reviewed changes

IgorKonovalovAleks added 16 commits April 20, 2024 21:39

parameters parser

fcedaec

init

571a573

style fix, input fix

e4f28c8

style fix

8e3bbaf

gpu device support

8eae024

style 1

d30fbdc

parser arguments + output handling fix

472f920

parameters parser

62177bc

config + model download

770b1df

Merge remote-tracking branch 'origin/paddlepaddle_inference' into pad…

12a50a3

…dlepaddle_inference # Conflicts: # src/inference/inference_paddlepaddle.py

config fix

a59847c

config fix 1

1358078

framework wrapper

1658a07

command line fix

c1de22c

command line fix 1

2eb6594

command line fix 2

9f18ee2

IgorKonovalovAleks and others added 3 commits May 11, 2024 17:35

Dockerfile added

4dc1cff

validation results

beeaed1

Merge branch 'master' into paddlepaddle_inference

8433b04

IgorKonovalovAleks marked this pull request as ready for review September 12, 2024 08:42

ismukhin reviewed Sep 13, 2024

View reviewed changes

paddlepaddle url updated

34d14b3

IgorKonovalovAleks added 3 commits October 10, 2024 15:46

paddlepaddle readme updates

e8c8b19

Merge remote-tracking branch 'origin/paddlepaddle_inference' into pad…

b4dbc87

…dlepaddle_inference

docker fix

c0406bb

valentina-kustikova reviewed Oct 24, 2024

View reviewed changes

ismukhin reviewed Oct 25, 2024

View reviewed changes

IgorKonovalovAleks added 2 commits October 27, 2024 01:09

requested fixes

66f1e71

line length fix

7628abf

valentina-kustikova reviewed Oct 27, 2024

View reviewed changes

requested changes 2

e94eb90

valentina-kustikova reviewed Oct 29, 2024

View reviewed changes

general try-catch

9141c43

valentina-kustikova previously approved these changes Oct 31, 2024

View reviewed changes

ismukhin reviewed Nov 2, 2024

View reviewed changes

try-except format

c28dacb

IgorKonovalovAleks dismissed valentina-kustikova’s stale review via c28dacb November 7, 2024 09:15

ismukhin approved these changes Nov 7, 2024

View reviewed changes

ismukhin merged commit 2976a9d into itlab-vision:master Nov 7, 2024
5 checks passed


		RUN python3 setup.py install_core

		RUN accuracy_check -c config_tf2.yml -m ../../../resnet50 -s sample


		## Public models (Open Model Zoo)

		Represented deep models are available in [Open Model Zoo][omz].

[Бенчмаркинг PaddlePaddle] Реализация пайплайна для PaddlePaddle #508

[Бенчмаркинг PaddlePaddle] Реализация пайплайна для PaddlePaddle #508

Conversation

IgorKonovalovAleks commented Mar 3, 2024

IgorKonovalovAleks commented Mar 20, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

IgorKonovalovAleks commented Mar 25, 2024

valentina-kustikova left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

valentina-kustikova commented Oct 7, 2024

IgorKonovalovAleks commented Oct 24, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

valentina-kustikova commented Oct 24, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

IgorKonovalovAleks commented Oct 26, 2024

Choose a reason for hiding this comment

Choose a reason for hiding this comment

valentina-kustikova commented Oct 27, 2024

IgorKonovalovAleks commented Oct 29, 2024

valentina-kustikova left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

valentina-kustikova commented Oct 31, 2024

Choose a reason for hiding this comment