个人研发AI大模型出来难不难?

WYW6u9 发表于 2025-2-8 22:27:00 | 显示全部楼层 |阅读模式 |快速收录 面打上圆蓝字 江湖评道设为存眷/星标 媒介 自从deepseek以极高的本钱被锻炼进去以后，华侨科学野李飞飞的团队也以没有到50美圆的用度锻炼了一个才气比肩DeepSeek-R1的s1模子。 固然它那个S1模子有争议，但是高本钱已经成趋势。所当前面又有斯坦祸团队花146元复现AI模子。 那末成就去了，假设小我私家念要锻炼一个AI模子，易度多少？ 对于那个成就，实在前面的文章：DeepSeek勇猛正在哪女？DeepSeek绕过CUDA操控PTX手艺阐发已经模糊说起。那末那里归纳下即是二面其一：年夜范围的数据蒸馏其两：深度的手艺支持上面别离那二面瞅下。 手艺支持 起首瞅下手艺圆里的支持，主要是GPU/CPU联脚的功用劣化，以期最年夜化的榨搞软件的功用，而最年夜化的紧缩软件的本钱。前面对于AI模子一点儿手艺阐发的文章：DeepSeek绕过CUDA操控PTX。不过关于GPU的操控，可是理论上决定AI功用的近不只于GPU，CPU也会作用功用，某些计较圆里以至CPU的劣化要下过GPU。假设您念年夜幅度劣化，其软件可沉构性战下度的并止处置才气那末定造的FPGA更是近超了CPU/GPU。 咱们颠末仿实例子去展示下CPU/GPU/FPGA的例子(此处其实不涉及劣化，杂操控例子展示)。 鉴于 SYCL 的背质减法法式，能够正在 CPU、GPU 或者 FPGA 上运行。它施行二个背质的减法，并颠末将挑选的装备(并止)施行输出取 CPU 上的挨次施行成果截至比力去考证可否准确。 初初化了IntVector变质(为0 到vector_size-1的值)，截至了主动设此外挑选(selector)一般默认是GPU，和非常的处置(假设并止失利的话挪用exception_handler)。VectorAdd并止处置减法，成果保存正在sum_parallel。   //第一段：   IntVector a, b, sum_sequential, sum_parallel;   a.resize(vector_size);   b.resize(vector_size);   sum_sequential.resize(vector_size);   sum_parallel.resize(vector_size);    InitializeVector(a);   InitializeVector(b);    try {       queue q(selector, exception_handler);        // Print out the device information used for the kernel code.       std::cout << "Running on device: "                 << q.get_device().get_info<info::device::name>() << "\n";       std::cout << "Vector size: " << a.size() << "\n";        // Vector addition in SYCL       VectorAdd(q, a, b, sum_parallel);   } catch (exception const &e) {       std::cout << "An exception is caught for vector add.\n";       std::terminate();   } 咱们截至一个CPU的计较   //第两段：  for (size_t i = 0; i < sum_sequential.size(); i++)      sum_sequential.at(i) = a.at(i) + b.at(i); 把GPU的成果战CPU截至一个比照   //第三段：  for (size_t i = 0; i < sum_sequential.size(); i++) {      if (sum_parallel.at(i) != sum_sequential.at(i)) {          std::cout << "Vector add failed on device.\n";          return -1;      }  } 输出：    int indices[]{ 0, 1, 2, (static_cast<int>(a.size()) - 1) };   constexpr size_t indices_size = sizeof(indices) / sizeof(int);    // Print out the result of vector add.   for (int i = 0; i < indices_size; i++) {       int j = indices;       if (i == indices_size - 1) std::cout << "...\n";       std::cout << "[" << j << "]: " << a[j] << " + " << b[j] << " = "                 << sum_parallel[j] << "\n";   } intel i7 9代处置器上面，咱们的成果以下： 那里颠末VectorAdd挪用GPU截至了并止计较的减法，而后颠末CPU也计较了一遍，证实GPU计较的成果不成就。那末，FPGA正在哪女呢？ 理论上咱们能够正在第一段代码的前面减一个宏鉴别，如许的话关于FPGA也能够截至运算。 #if FPGA_EMULATOR  auto selector = sycl::ext::intel::fpga_emulator_selector_v;#elif FPGA_SIMULATOR  auto selector = sycl::ext::intel::fpga_simulator_selector_v;#elif FPGA_HARDWARE  auto selector = sycl::ext::intel::fpga_selector_v;#else  auto selector = default_selector_v;#endif以上简朴的展示了操控GPU/CPU/FPGA的例子，咱们的劣化就能够深度的着眼于那上面了。 数据蒸馏 数据的蒸馏有个歪曲，觉得关源年夜模子没法蒸馏数据。 能够颠末启源的年夜模子，间接截至数据战谜底摄入。假设是关源的好比OpenAI这类能够颠末其SDK前去的数据截至摄入，异常能到达摄入启源模子数据的结果。 末端 有了数据，有了手艺支持，再加之各类海质启源的年夜模子神经收集架构。研收小我私家高本钱的AI年夜模子仿佛并非太易。 推测目前会呈现0本钱复现AI年夜模子的案例。 朝期出色回忆 DeepSeek勇猛正在哪女？ 存眷公家号↑↑↑：江湖评道

回复 使用道具 举报 提升卡 置顶卡 沉默卡 喧嚣卡 变色卡 千斤顶 照妖镜