@DerNarr 回答得很全面，但并不完全正确。正好我现在学的就是天文，献丑答一发。
【主序星形成有没有质量上限？】
有的，但跟黑洞没有关系，具体原因文末讲。
当恒星的质量大到一定程度，它向外的光/热压就会开始把附近的星云物质推离，从而限制了恒星的质量上限。这个叫爱丁顿光度极限，大家记住爱丁顿极限就好了。爱丁顿光度极限因星而异，把太阳喂到爱丁顿极限后的质量和把比邻星喂到爱丁顿极限后的质量是不一样的，就好像一个胖子越吃越胖、越吃越胖，胖到一个程度就吃不下去了，这个“程度”就叫爱丁顿极限。
爱丁顿极限也是天文学家区分天上那个亮点到底是恒星还是活动星系核的重要标杆，这点和问题关联不大，之后有人问了再回答。
【主序星(包括红矮星、蓝巨星）是怎么形成的？】
恒星都诞生于一片分子云之中。相比其他星云，分子云是星云中密度更大的一类，它们往往温度比较低，星际等离子体在这里冷却下来，原子形成分子。出于种种原因，暗物质网也好，量子涨落也好，超级爸爸文明在某处丢下的一块石头也好，或者生来如此，这星云内的质量分布不是完全均匀的，物质就会在引力的作用下开始往这些密度更高的区域迁徙，分子聚成团，分子团聚成更大的分子团……最后，一个比太阳系还大的气团被引力聚拢，内部压力迫使氢原子之间突破了库伦界限（想象一下春节回家被逼婚，或者把两颗磁铁同极硬怼到一起然后给它焊死），电磁斥力被强相互作用力击败，点燃氢核聚变，就这样形成了一颗恒星。注意，恒星的形成不是一瞬间的事，核聚变反应的速率不是瞬间就达到了100%的，在核反应一路给油的过程中，恒星还会继续吸收附近的物质，这种状态下的恒星叫原恒星。
就好像有的人出生贫寒，有的人含着银汤匙，有的恒星出生时就有丰富的物质在它身边，有的恒星就得跟它邻居家的孩子参与内卷，还有的干脆就没有那么多物质，最后形成的恒星质量当然就不一样，所以才有了红矮星、黄矮星、蓝巨星这些分类。红矮星和蓝巨星都是主序星（主序星看DerNarr贴出来的费罗图，此不赘述），只不过质量不同，核反应速率不同，导致其温度不同，而一颗恒星发出的光主要来自其黑体辐射，温度越高，颜色越蓝，这也是我们只听说过蓝巨星和红巨星、也听说过红矮星，但从没见过蓝矮星的原因。所谓赫萝图，其实是把能观测到的所有恒星按照温度/颜色、光度/绝对星等排列了起来，然后根据一颗恒星在赫萝图上的位置给它分的类。这张赫萝图比DerNarr发的那张信息更多，我发在这里供大家参考：
在这里顺便说一句，之所以科学家把可见光定义为380-750nm波长的电磁辐射，是因为这就是人能看到的光谱；而人（还有很多自然界的动物）演化出了感知这特定波长的能力，就是因为太阳发出的光主要也在这个频率（由此也可以推导出，只要玻尔兹曼常数在全宇宙都是一样的，不管在哪个星球表面演化出的高等动物，只要有视觉器官，他们的可见光谱就不会跟我们的差太远）。
【红巨星是怎么形成的？】
红巨星是中小质量主序星（黄矮星、红矮星）的老年形态，大质量恒星老了形成的是红超巨星，二者的形成机理大同小异，不过既然问题问的是红巨星，就答红巨星吧。
在开始前要明确一点，主序星只有内核才参与核反应，太阳上从内往外什么光球层色球层全都是热量的搬运工以及帮忙维持核反应所需压力的配重，占整个恒星质量的90%左右，也就是说一颗恒星究其一生也不过只有10%的质量才真正参与了核反应。别看这只有10%，它可是承包了这恒星全生命周期内的主要热量来源，不然怎么叫“主”序星呢？（不是）
氢核聚变反应的产物是氦-4，这是种很高冷的物质，因为它在一般情况下不参与任何物理化学反应。随着恒星岁数的增加，它内核会产生越来越多的氦-4，这些氦-4的比重又比氢大，喜欢沉在最底下，也就是内核的中央，渐渐地，氢核反应的区域就像野火一样往外移，野火烧过的地方便留下了高冷的氦-4。随着核反应区域往外移，恒星外壳的物质受光/热压增大，也跟着往外移，红巨星的“巨”就出来了。因为星核以外的地方压力没有星核大，恒星外壳聚变的速率远不如原本的内核，导致热量输出不如从前，恒星温度便低了下来，红巨星的“红”就是这么来的。
红巨星发展到后期，壳内聚变减缓，最后停止，但产生的大量氦还堆积在恒星的内核。因为这些氦不参加核反应，不会产生光辐射，就没有光/热压；没有了光/热压，引力就占了上风。于是，整个内核的质量就全压在了这些氦原子身上，直接把它们的原子结构压碎，形成了电子简并态物质。
关于简并态物质有很多很有趣的现象，我在之前一片回答里有写：
有哪些超出一般认知的极端物质？
红巨星的结局就是外壳扩散到星际空间，变成一片行星状星云，而内核变成一颗白矮星。白矮星有很多很有趣的性质，比如当它质量超过1.3倍太阳质量，可以触发碳爆炸（Carbon Detonation，也就是极短时间内的大规模碳-碳聚变。此类聚变通常是Ia型超星系的能量来源）形成Ia型超新星（Type Ia Supernovae）给天文学家当“标准烛光（Standard Candle)”用。
详情：
IA型超新星——宇宙的标准烛光--中国数字科技馆 (cdstm.cn)
红超巨星的演化过程跟红巨星的区别是红超巨星还多了个像洋葱一样聚变的步骤，洋葱的每一层都是一个不同的核反应，形成的物质也不同，最里面那一层聚变到铁就停下来了，因为铁的比结合能最高，聚变也最难。再往后的过程可以看这个问题下DerNarr的回答，他这方面答得还是不错的：
主序星，红巨星，蓝巨星，红矮星怎么形成的？主序星行成有没有质量上限？
所以为啥星云不能一步到位形成黑洞？
除了上文说过的爱丁顿极限导致星云物质会首先形成恒星，并停止质量的进一步聚集，还有一个就是黑洞的定义。
有一个很常见的误区就是【物体的质量大到一定程度就会形成黑洞】，这是不正确的。如果真的是这样，为什么银河系中央的人马座A变成了黑洞，而质量比人马座大很多很多很多倍的银河系没有变成黑洞呢？因为这些人忽略了史瓦兹半径这个概念的存在。史瓦兹半径指的是把一个物体压缩成黑洞时这个物体的半径，把这句话每个字记住，然后看看有没有哪个字是和质量有关的。假设这个物体的逃逸速度是光速，那么只要代入逃逸速度公式里其他的变量，就能算出任何一个物体的施瓦西半径。
不难看出，一个物体的施瓦西半径是其质量的方程，这就证明了任何质量的物体都可以变成黑洞，只要它被压缩得够小。（看着每天早晚高峰挤成沙丁鱼罐头的北京地铁十号线，我突然有个大胆的想法……木哈哈哈哈）
而对于恒星而言，除了有爱丁堡极限的限制，还有它内部核聚变产生的光/热压和引力相对抗，从而避免了该恒星坍缩到它的施瓦西半径以下。即使是核聚变以及停止了的白矮星和中子星，也有电子与中子简并压避免密度的进一步上升，所以一步到位形成黑洞是不可能的，除非一开始的主序星实在太大，或者中子星吸积了它伴星的质量并突破了奥本海默极限。
