https://songqikong.github.io/ 白嫖 Codex 体验的实践记录 - 如何让 Codex 使用你的 Kiro 额度（本文使用Deepseek优化语言） 听朋友说 Codex + GPT 模型有神秘加成，但公司只提供 Kiro 订阅，好在 Kiro 订阅里本身就带了 GPT 模型 —— 这种情况下怎么才能白嫖 Codex 的体验？有的兄弟有的，以下就是我的成功实践。 前提准备 WSL 或其他 Linux 发行版（本文以 Linux 环境为例） 有效的 Kiro 订阅（个人账号或 SSO 登录均可） kiro-gateway —— 把 Kiro 订阅包装成本地 API 网关 cc-switch-cli —— 把 Codex 的 Responses API 请求转换成 Chat Completion API... Sat, 01 Aug 2026 00:00:00 -0400 https://songqikong.github.io/2026-08-01-codex-using-kiro-credits/ https://songqikong.github.io/2026-08-01-codex-using-kiro-credits/ 点云的自回归预训练 - Ⅰ. Abstract Large language models (LLMs) based on the generative pre-training transformer (GPT) [44] have demonstrated remarkable effectiveness across a diverse range of downstream tasks. Inspired by the advancements of the GPT, we present PointGPT, a novel approach that extends the concept of GPT to point clouds, addressing the challenges... Tue, 21 Nov 2023 00:00:00 -0500 https://songqikong.github.io/2023-11-21-pointgpt/ https://songqikong.github.io/2023-11-21-pointgpt/ 用通用预训练范式保存3D基础模型的方法 - Ⅰ. Abstract In contrast to numerous NLP and 2D computer vision foundational models, the learning of a robust and highly generalized 3D foundational model poses considerably greater challenges. This is primarily due to the inherent data variability and the diversity of downstream tasks. In this paper, we introduce a comprehensive... Sun, 05 Nov 2023 00:00:00 -0400 https://songqikong.github.io/2023-11-05-ponderv2/ https://songqikong.github.io/2023-11-05-ponderv2/ 基于去噪和去量化的单幅图像HDR重建 - Ⅰ. Abstract Most consumer-grade digital cameras can only capture a limited range of luminance in real-world scenes due to sensor constraints. Besides, noise and quantization errors are often introduced in the imaging process. In order to obtain high dynamic range (HDR) images with excellent visual quality, the most common solution... Thu, 02 Nov 2023 00:00:00 -0400 https://songqikong.github.io/2023-11-02-hdr/ https://songqikong.github.io/2023-11-02-hdr/ Ⅰ. Abstract Point cloud completion aims to recover the complete shape based on a partial observation. Existing methods require either complete point clouds or multiple partial observations of the same object for learning. In contrast to previous approaches, we present Partial2Complete (P2C), the first self-supervised framework that completes point cloud... Tue, 17 Oct 2023 00:00:00 -0400 https://songqikong.github.io/2023-10-17-p2c/ https://songqikong.github.io/2023-10-17-p2c/ 凯明最新劲爆力作 - 〇. Autoencoder [1] Auto-encoder是一个基本的生成模型，更重要的是它提供了一种encoder-decoder的框架思想，广泛的应用在了许多模型架构中。简单来说，Auto-encoder可以看作是如下的结构： Encoder(编码器)：它可以把原先的图像压缩成更低维度的向量。 Decoder(解码器)：它可以把压缩后的向量还原成图像，通常它们使用的都是神经网络。 Encoder接收一张图像（或是其他类型的数据）（hidden layer）输出一个低维的vector，它也可称为Embedding或者code，然后将vector输入到Decoder中就可以得到重建后的图像，希望它和输入图像越接近越好，即最小化重建误差（reconstruction error）。Auto-encoder本质上就是一个自我压缩和解压的过程。具体如下图： 第一个流程图：假设输入是一张图片，有784个像素，输入一种network的Encoder（编码器）后，输出一组远小于784的code vector，认为这是一种紧凑的表示。 第二个流程图：输入是一组code vector，经过network的Decoder（解码器）之后可以输出原始图片。 两者单独来看都是无监督学习，不能独立训练，因为不知道输出是什么。所以将两者结合起来训练。 去噪自编码器(DAE)是一类破坏输入信号，并学习来重建原始未损坏信号的自编码器。一系列方法可以被认为是不同种类的DAE，例如，屏蔽像素或去除颜色通道。 Ⅰ. Abstract This paper shows that masked autoencoders (MAE) are scalable self-supervised learners for computer vision. Our MAE approach is simple: we mask random patches of the input image and reconstruct the missing pixels. It... Tue, 17 Oct 2023 00:00:00 -0400 https://songqikong.github.io/2023-10-17-masked-autoencoders/ https://songqikong.github.io/2023-10-17-masked-autoencoders/ 数值计算问题中向量化运算远好于循环运算 - Sun, 15 Oct 2023 00:00:00 -0400 https://songqikong.github.io/2023-10-15-loop-to-vetor-calculate/ https://songqikong.github.io/2023-10-15-loop-to-vetor-calculate/ Multi-Resource Interleaving for Deep Learning Training, SIGCOMM 2022 Ⅰ. Abstract Training Deep Learning (DL) model requires multiple resource types, including CPUs, GPUs, storage IO, and network IO. Advancements in DL have produced a wide spectrum of models that have diverse usage patterns on different resource types. Existing DL schedulers focus... Sat, 07 Oct 2023 00:00:00 -0400 https://songqikong.github.io/2023-10-07-multi-resource-interleaving/ https://songqikong.github.io/2023-10-07-multi-resource-interleaving/ 在图论中，最大加权匹配问题是一个经典的组合优化问题，通常用于求解二分图中的最佳匹配。下面我会解释一下这个问题的基本概念： 二分图（Bipartite Graph）：一个图可以被分为两个不相交的集合，通常称为左集合和右集合，其中每个顶点都属于其中一个集合。如果图的每一条边都连接一个左集合中的顶点和一个右集合中的顶点，那么这个图就是一个二分图。 匹配（Matching）：在一个二分图中，匹配是指一组不相交的边，它们的端点分别属于左集合和右集合，没有两条边共享同一个顶点。如果一个顶点属于某个匹配，那么它就被匹配了，否则它是未匹配的。 加权图（Weighted Graph）：每条边都有一个关联的权重或成本。在最大加权匹配问题中，我们要找到一组边的匹配，使得这些边的权重之和最大。 最大加权匹配问题的目标是在给定的二分图中找到一种匹配方式，使得匹配的边的权重之和达到最大。这个问题可以用于各种实际应用，例如稳定婚姻问题、任务分配问题等。 让我们通过一个具体的例子来说明最大加权匹配问题。考虑以下二分图，其中有一些任务和工人，每个任务和工人之间都有一个特定的成本或权重，我们的目标是找到一种匹配方式，使得总成本最小化： 任务（左集合）： A, B, C 工人（右集合）： X, Y, Z 下面是每个任务和工人之间的成本： A - X: 2 A - Y: 3 A - Z: 4 B - X: 3 B - Y: 2 B - Z: 1 C - X: 5 C - Y: 1 C... Sat, 07 Oct 2023 00:00:00 -0400 https://songqikong.github.io/2023-10-07-blossom-algorithm/ https://songqikong.github.io/2023-10-07-blossom-algorithm/ SCoDA:Domain Adaptive Shape Completion for Real Scans, CVPR 2023 Ⅰ. Abstract 3D shape completion from point clouds is a challenging task, especially from scans of real-world objects. Considering the paucity of 3D shape ground truths for real scans, existing works mainly focus on benchmarking this task on synthetic data, e.g.... Thu, 28 Sep 2023 00:00:00 -0400 https://songqikong.github.io/2023-09-28-scoda-introduction/ https://songqikong.github.io/2023-09-28-scoda-introduction/ 迁移学习与领域适应的区别 - 1. 简介 在本教程中，我们将探讨迁移学习和领域适应的差异和细微差别。迁移学习是一个广义术语，描述将从一个机器学习问题中获得的知识用于另一个机器学习问题。域适应描述了迁移学习的一种特殊情况，它仅涵盖数据域的变化。 2. 经典监督学习 为了阐明迁移学习，我们将其与经典的监督机器学习问题进行了比较。为了更好地理解，我们使用狗和猫图片的示例数据集。 2.1. 结构 在经典设置中，我们有一个数据集 A 形式，我们提取我们的特征 X 。对于这些特征，我们需要标签 ，例如，具有高级特征的图片，狗的脚，狗的脸和狗的身体 Y ，我们分配标签狗。因此，我们有一个函数将集合特征的值分配给我们的集合标签。 当我们在生产中使用模型时，我们有一个不同但相似的数据集，它仍然显示狗和猫。它仍然将这些图片分配给相同的标签“狗”和“猫”。 在这张图片中，我们可以看到两个数据集 A 和 B ，它们不同但相似： 3. 迁移学习 迁移学习描述了机器学习技术的集合，这些技术与类似于经典监督案例的结构一起工作。相比之下，它也可以处理截然不同的数据集和要素。 3.1. 迁移学习蓝图 让我们看一下迁移学习过程的结构。正如我们所看到的，标签和预测函数可以改变： 此外，我们的结构与监督学习相似。但是，与此形成鲜明对比的是，在迁移学习的情况下，没有一个构建块必须是相同的。两个机器学习设置之间的联系是预测函数的利用，用于创建第二个预测函数F。 应该注意的是，在这种情况下，源和目标的步骤是不同的。迁移学习还包括其他情况，例如，只有标签不同，特征相同。 涵盖相同标签和截然不同但相似的数据集的情况的实例也是一种迁移学习。我们将在有关域适应的部分中介绍这一点。 3.2. 迁移学习示例 让我们将此概念应用于我们的狗和猫图片示例。现在想象一下，我们有第二个数据集，显示牛和马的图片。牛和马与猫明显不同。 然而，它们都是哺乳动物，它们有四只脚，形状相似。作为解决方案，我们可以获取描述我们想要检测的物体形状的图层，无论是狗、牛还是马，并冻结它们。冻结意味着我们把它们从我们的预测函数中剔除，把它们放在我们的预测函数f g中，并训练函数 g，而不训练我们的冻结层： 我们可以看到右侧的层是绿色的，这表明我们必须在为源域创建预测函数时对其进行训练。另一方面，预测 g 是使用源域中已经存在的冻结层创建的。在训练过程中，冻结层保持不变。 4. 域适应 如前所述，领域适应是迁移学习的一个特例。 4.1. 蓝图 在领域适应中，我们只更改底层数据集，从而更改机器学习模型的功能。但是，功能空间保持不变。预测函数 f 保持不变： 4.2. 应用... Sat, 23 Sep 2023 00:00:00 -0400 https://songqikong.github.io/2023-09-23-domain-adaptation-versus-transfer-learning/ https://songqikong.github.io/2023-09-23-domain-adaptation-versus-transfer-learning/ SnowflakeNet Point Cloud Completion by Snowflake Point Deconvolution with Skip-Transformer, ICCV 2021 & TPAMI 2023 - Ⅰ Abstract Point cloud completion aims to predict a complete shape in high accuracy from its partial observation. However, previous methods usually suffered from discrete nature of point cloud and unstructured prediction of points in local regions, which makes it hard to reveal fine local geometric details on the complete... Fri, 15 Sep 2023 00:00:00 -0400 https://songqikong.github.io/2023-09-15-snowflakenet-introduction/ https://songqikong.github.io/2023-09-15-snowflakenet-introduction/ CNN训练练习 & 问题总结 - Part Ⅰ: 代码练习 MNIST 数据集分类：构建简单的CNN对 mnist 数据集进行分类。同时，还会在实验中学习池化与卷积操作的基本作用。 CIFAR10 数据集分类：使用 CNN 对 CIFAR10 数据集进行分类， 使用 VGG16 对 CIFAR10 分类， 1.1 MNIST 数据集分类 图1-1. DataLoader ​ DataLoader是用来加载数据集样本的类，创建DataLoader时需要指定数据集、transform、batch大小、以及是否随机读取样本。 ​ Pytorch中已经内置好的许多数据集，使用的时候只需要使用datasets方法获取就可以了，但是如果是自己构建数据集，就需要重写Dataset类，并重写读取image与target的方法。 图1-2. 全连接神经网络与CNN ​ 通过全连接神经网络和CNN的对比，我们发现CNN的Loss和Acc都比全连接神经网络要强，体现出CNN更为强大的泛化能力。 图1-2. 全连接神经网络与CNN ​ 经过将样本像素打乱后，CNN的正确率大幅下降甚至不如全连接网络，因此我们知道CNN强大的泛化能力，是因为它能学习到图像相邻像素之间的关系，此乃空间上的联系。 ​ 这让我联想起RNN，RNN能够学习到得输入序列的前后顺序的关系，这是时间上的联系，如果将CNN与RNN结合在一起，岂不是空间与时间上的信息都能学习到？是不是能够处理视频信息呢？ 1.2 CIFAR10 数据集分类 ​ CIFAR10数据集不同于MINST，他的每个Class有更多的特征需要学习，我最直观的体现是在Colab上用T4跑的好慢，以前记得可以用V100呀，怎么不能用了，抠门。 图1-3. 魔改版LeNet准确率 ​ 可以看到这个网络模型在CIFAR10上的准确率确实低，关于改进方法，练习中给出的代码只训练了10轮，我修改为训练50轮后再训练，但是正确率并没有提升。 图1-4. 训练50轮 Part Ⅱ... Wed, 19 Jul 2023 00:00:00 -0400 https://songqikong.github.io/2023-07-19-summer-train-record-2/ https://songqikong.github.io/2023-07-19-summer-train-record-2/ Pytorch代码训练 & 深度学习问题的思考 - Part Ⅰ: 代码练习 在谷歌 Colab 上完成 pytorch 代码练习中的 2.1 pytorch基础练习、2.2 螺旋数据分类，关键步骤截图，并附一些自己的想法和解读。 1.1 Pytorch基础练习 ​ 在接触Pytorch之前，我只知道Numpy是Python里一个非常强大的数据处理工具，特别是Numpy的ndarray，提供了非常多处理数组的函数；所以在用过Pytorch后我好奇的第一个问题就是，为什么放着现成的ndarray不用，而去使用一个名为Tensor的数据结构？搜索以后，所有的结果都指向一个答案：Tensor能使用GPU进行运算，而numpy不行，那么问题又来了，为什么呢？ numpy与tensor分别实现转置数列 图1. Tensor和Numpy分别实现转置数列 显卡与挖矿： ​ 在过去几年显卡挖矿的浪潮里，我了解了些关于所谓挖矿的一些原理：用显卡不断进行hash运算；这便是显卡最擅长的事情，用成千的流处理器单元并行计算加减乘除。这也许能解释为什么需要GPU进行运算，但是不能解释是如何让GPU进行运算的。 Cuda与TensorCore： ​ Nvidia显卡的CUDA工具套件一直是其对抗竞争对手AMD的一大利器，已经在AI加速运算领域处于绝对领先地位。很明显，了解CUDA是如何工作的就等于明白了Tensor使用GPU进行运算的真相。 ​ 自Volta架构起，Nvidia在其显卡中引入了Tensor Core这一特殊的Unit，使其单精度运算运算能力比上一世代提升了12倍，而其CUDA工具套件就是访问Tensor Core的api接口。这下终于真相大白：Tensor在其数据结构中实现了CUDA套件提供的API，所以其能够使用GPU进行运算。 图2. 在Pytorch中选择GPU或CPU进行运算 1.2 螺旋数据分类 ​ 在生成螺旋数据部分，我认为最重要的是理解N/D/C/H在X和Y中的含义；X 为特征矩阵，它为样本集中的每个样本确定一个特征向量，因为在二维坐标系中所谓的特征无非是x轴坐标与y轴坐标，因此每个样本只有两个特征维度且就是x轴坐标与y轴坐标；Y为样本标签，因此它只是一个one-hot，用来标记每一个Point的类别。 图3. X与Y的Tensor ​ 在课程2中给出了两个用Sequential表示的网络结构，第一个为单层感知机，包含一个输入层与输出层；第二个网络在输入层和输出层之间增加了一个Relu激活函数，网络的准确率大为提升（50% -> 95%）。我认为在此需要思考的问题是：为什么加入Relu激活函数以后会使网络的正确率大幅度提高呢？ ​ 这个问题我在之前的学习中也思考过，我在此给出我的答案：全连接神经网络是一个线性分类器，单层感知机无法解决分类问题中的异或问题，因为其决策边界是线性的，体现不出二维世界的坐标关系；激活函数的引入，可以将线性的值域扩展到非线性的域中，为决策边界带来非线性的因素，更能体现二维世界的坐标关系。 图4. 加入Relu激活函数与未加Relu函数的对比 Part Ⅱ: 问题总结 思考下面的问题：1、AlexNet有哪些特点？为什么可以比LeNet取得更好的性能？ 2、激活函数有哪些作用？... Tue, 11 Jul 2023 00:00:00 -0400 https://songqikong.github.io/2023-07-11-summer-train-record-1/ https://songqikong.github.io/2023-07-11-summer-train-record-1/